Параллельное чтение данных
This commit is contained in:
10
run.slurm
10
run.slurm
@@ -5,8 +5,14 @@
|
||||
#SBATCH --cpus-per-task=2
|
||||
#SBATCH --output=out.txt
|
||||
|
||||
# Количество CPU потоков на узел (должно соответствовать cpus-per-task)
|
||||
export NUM_CPU_THREADS=2
|
||||
# Путь к файлу данных (должен существовать на всех узлах)
|
||||
export DATA_PATH="/mnt/shared/supercomputers/data/data.csv"
|
||||
|
||||
# Доли данных для каждого ранка (сумма определяет пропорции)
|
||||
export DATA_READ_SHARES="10,12,13,13"
|
||||
|
||||
# Размер перекрытия в байтах для обработки границ строк
|
||||
export READ_OVERLAP_BYTES=131072
|
||||
|
||||
cd /mnt/shared/supercomputers/build
|
||||
mpirun -np $SLURM_NTASKS ./bitcoin_app
|
||||
|
||||
Reference in New Issue
Block a user