Эксперимент направлен на изучение свойств сильных взаимодействий в непертурбативной (nonperturbative ) области, при измерении спиновой структуры протона и дейтрона, а также при разработке трехмерной модели нуклона.
На сайте ЦИВК эксперимент SPD размещает варианты программного обеспечения в системе CVMFS . Для обработки использует 2200 ядер. Как один из проектов NICA может для своих задач занимать до 4000 ядер. Для хранения данных используются системы хранения EOS, EOS-SPD (eos.jinr.ru = 2000.00TB, eos-spd.jinr.ru = 7200TB ).
Оборудование:
18 серверов
3 управляющих (метаданные): 4×1.5ТБ NVMe
2xIntel Xeon Gold 6526Y , 16 ядер, HT
512ГБ ОЗУ
15 дисковых: 24×20ТБ SAS + 2×1.5ТБ NVMe
2xIntel Xeon Silver 4510, 12 ядер, HT
512ГБ ОЗУ
Сеть 100Гбит/с
7.2 ПБ полная емкость дисков
24 группы по 15 дисков
11+4 QRAIN (27% избыточности)
5.3 ПБ доступного объема под данные
Можно потерять четыре узла (или диска в группе)
Протоколы доступа к данным :
xrootd (порт 1094)
http(s) (порт 8000)
Аутентификация:
Сертификат X.509 от SPD IAM
Kerberos ОИЯИ (только для членов коллаборации с учетной записью в SPD IAM)
Токен JWT от SPD IAM (пока выключено)
Администрирование:
SSH по ключу из внутренней сети ОИЯИ
Распределение доступного дискового пространства:
90% под управлением Rucio, как часть распределенной системы хранения;
10% для данных участников эксперимента, пользователей ЦИВК.
Ресурсы и Сервисы SPD:
• CA, VOMS/IAM, CVMFS
• Cloud (IaaS, dedicated VM, spinning disks and SSD)
• CICC (Slurm batch, grid ARC6 CE)
• Govorun HPC, HybriLIT
• Disk and tape storage (EOS physical space 2000.00TB. , grid SE)
• GitLab, Indico, docdb, video conference, project management, etc.
• MICC
Принципы вычислительной системы
• Jobs -> tasks -> trains of tasks -> workflows
• Files -> datasets
• Собирать и хранить метаданные каждого workflow/task/job, dataset/file and события
• Расширенные стратегии управления сроком службы данных: некоторые файлы должны быть удалены немедленно, другие будут храниться до конца производства, третьи будут храниться в течение некоторого периода после сбора, а наиболее важные данные должны храниться вечно.
• Сосредоточение внимания на использовании контейнеров как универсального ответа на разнообразие версий программного обеспечения в вычислительных центрах: мы публикуем версию SpdRoot с тегами на CVMFS, чтобы каждый мог ее использовать.
• Мы имеем в виду многопроцессорные, многопоточные и не x86 архитектуры современного оборудования.
— продолжается разработка платформы на основе Gaudi для SPD, которая заменит SpdRoot на основе структуры ROOT.
Production
• CVMFS как точка входа в «официальные» версии SpdRoot.
• Production setups на CVMFS в форме frozen sandboxes
• Каждый новый production означает новый каталог со всеми зависимостями от CVMFS
• Каждый production в CVMFS соответствует пути с тем же именем в
EOS
• Роль «production» в VOMS для пользователей запускающих mass production
• Каталог для хранения результатов production на EOS со строгими правами доступа в чтобы случайно не удалить