Запуск задач на обработку данных эксперимента CMS осуществляется 16-ти ядерным пилотами и для них доступны все вычислительные ресурсы. Используется менеджер рабочей нагрузки Slurm. В грид-среде используется Advanced Resource Connector (ARC) — промежуточное ПО для грид-вычислений. Оно обеспечивает общий интерфейс для передачи вычислительных задач различным распределенным вычислительным системам и может включать грид-инфраструктуры различного размера и сложности.
В качестве основных систем хранения данных используются системы dCache и EOS, кроме того — для домашних директорий пользователей, используется система хранения afs и система cvmfs — для хранения ПО проектов (cvmfs — система распределённого доступа и организации версий ПО коллабораций и групп пользователей cvmfs — для хранения ПО проектов) .
2024 году выполнен большой объем работ по переходу на операционную систему (ОС) AlmaLinux 9 в связи с окончанием жизненного цикла ОС СentOS 7. Выполнен ряд работ по эксплуатации и развитию системы хранения данных dCache-Enstore. Значительные работы выполнены по модификации Enstore. В их числе конверсия кода с python2 на python3, организация параллельного выполнение запросов на монтирование/размонтирование лент в магнитофонах, что значительно улучшило время этих операций, повышение пропускной способности обработки большого потока запросов на передачу данных.
Вычислительная ферма (CE).
2023-2024
2023Q4:
HEP-SPEC06: 84*433.15+14*610+80*1100+140*431.88+56*610+14*625.31+80*109:
323820.54 HEP-SPEC06;
486 вычислительных узлов;
20096 cores;
Average HEP-SPEC06 per Core = 16.11
Системы Хранения (SE)
Хранения данных обеспечивается системи : dCache, роботизированным
ленточным хранилищем, использующим для работы ПО Enstore и систему EOS.
2023: dCache: disks: 2023Q1=11.02 PB; 2023Q2=11.76 PB; 2023Q4=12.44 PB; 2023Q4: CMS @ dsk: 12439.87 TB dteam @ dsk: 3.21 TB OPS @ dcache dsk: 4.36 TB CMS @ dcache mss: 2657.20 TB DTEAM @ dcache mss 4.51 TB OPS @ dcache mss 4.51 TB Tapes@Enstore: 35562.00 TB tape robot: allocated capacity for T1 CMS logic library 51.5PB: IBM TS3500(11.5PB) для EOSCTA IBM T4500(40PB) CMS+NICA EOS: 2023Q4=23328.10 TB; 2023Q3=22203.82 TB; 2023Q2=21829.01 TB; 2023Q1=16582.35 TB; EOSCTA: 11000 TB; CVMFS: capacity is 140TB 4 squid сервера cache CVMFS, 1 сервер stratum-0, 2 сервера stratum-1, 4 squid. Всего: EOS(23328.1 TB) + dcache_disk(12439.87 TB) + tapes(51500 TB) + CVMFS(140 TB) = 87407,97TB
2023Q2: dCache — добавлены 6 серверов (Qtech QSRV-462402_4) = ~2.3 PB ; выведены — 15 серверов (Supermicro rda017-rda031~2017г.в)= ~1.719 PB
ПО:
2023Q1:
ОС: Scientific Linux release 7.9.
EOS 5.1.9 (постоянно меняется)
dCache 8.2
Enstore 6.3
Batch Slurm 20.11
grid UMD4 + EPEL, актуальные версии
ARC-CE
