Данные

Kaggle Bitcoin Historical Data

Задание

Группируем данные по дням (Timestamp), за каждый день вычисляем среднюю цену (мат. ожидание по значениям Low и High), выводим в файл интервалы дат (начиная с начальной даты в наборе данных), за которые средняя дневная цена менялась не менее чем на 10% от даты начала интервала, вместе с минимальными и максимальными значениями Open и Close за все дни внутри интервала.

Параллельное чтение данных

Нет смысла параллельно читать данные из NFS, так как в реальности файлы с данными будут лежать только на NFS сервере. То есть другие узлы лишь отправляют сетевые запросы на NFS сервер, который уже читает реальные данные с диска и лишь затем отправляет их другим узлам.

Чтобы этого избежать, нужно на всех машинах скопировать файлы с данными в их реальные файловые системы. Например в папку /data.

# На каждом узле создаем директорию /data
sudo mkdir /data
sudo chown $USER /data

# Копируем данные
cd /mnt/shared/supercomputers/data
cp data.csv /data/

Сборка

Проект обязательно должен быть расположен в общей директории для всех узлов, например, в /mnt/shared/supercomputers/build. Перед запуском указать актуальный путь в run.slurm.

make

make run

Обязательно должны быть запущены все 4 нода. Результат будет в out.txt.