Сайт T1_RU_JINR обеспечивает функционирование:
- вычислительного комплекса,
- системы хранения данных ,
- GRID системы,
- сервиса передачи данных,
- информационного сервиса (мониторинг серверов, хранилищ, передачи данных; информационных сайтов).
Для запуска задач на обработку данных используется менеджер рабочей нагрузки Slurm. В грид-среде используется Advanced Resource Connector (ARC) — промежуточное ПО для грид-вычислений. Оно обеспечивает общий интерфейс для передачи вычислительных задач различным распределенным вычислительным системам и может включать грид-инфраструктуры различного размера и сложности.
В качестве основных систем хранения данных используются системы dCache и EOS. Для домашних директорий пользователей — система хранения afs и cvmfs — для хранения ПО проектов (система распределённого доступа и организации версий ПО коллабораций и групп пользователей cvmfs — для хранения ПО проектов) .
Конфигурация фермы ОИЯИ Тир1 ( T1_RU_JINR ).
Вычислительная ферма (CE).
CE: 2025Q1
2025Q1 HEP-SPEC06: 84*433.15+14*610+80*1100+140*431.88+56*610+14*625.31+80*1093.98 Total: 323820.54 HEP-SPEC06 Total: 20096 cores Average HEP-SPEC06 per Core = 16.11
Системы хранения (SE).
SE: 2025Q1
EOS 20013TB cvmfs 140TB afs 12.5 TB dcache = 12450,84TB mss = 2362,23 TB Tapes @ Enstore = 35562,00 TB EOSCTA робот TS3500 объёмом 11 ПБ (не WLCG) ленточный робот 90 PB
ПО: 20205Q1:
CentOS Scientific Linux release 7.9, AlmaLinux9 (eos, некоторые wns ), EOS, cvmfs, openafs, slurm, VOMS, UMD, ARC-CE, RUCIO, ALICE VObox, WLCG standard program stack, BDII top, BDII site, glite, XROOTD, GCC, C++, GNU Fortran, dCache, Enstore EOSCTA
2024 году выполнен большой объем работ по переходу на операционную систему (ОС) AlmaLinux 9 в связи с окончанием жизненного цикла ОС СentOS 7. Выполнен ряд работ по эксплуатации и развитию системы хранения данных dCache-Enstore. Значительные работы выполнены по модификации Enstore. В их числе конверсия кода с python2 на python3, организация параллельного выполнение запросов на монтирование / размонтирование лент в магнитофонах, что значительно улучшило время этих операций, повышение пропускной способности обработки большого потока запросов на передачу данных.
=====================================================================
====================================================================
Вычислительная ферма (CE).
2023-2024
2023Q4:
HEP-SPEC06: 84*433.15+14*610+80*1100+140*431.88+56*610+14*625.31+80*109:
323820.54 HEP-SPEC06;
486 вычислительных узлов;
20096 cores;
Average HEP-SPEC06 per Core = 16.11
Системы Хранения (SE)
Хранения данных обеспечивается системи : dCache, роботизированным
ленточным хранилищем, использующим для работы ПО Enstore и систему EOS.
2023: dCache: disks: 2023Q1=11.02 PB; 2023Q2=11.76 PB; 2023Q4=12.44 PB; 2023Q4: CMS @ dsk: 12439.87 TB dteam @ dsk: 3.21 TB OPS @ dcache dsk: 4.36 TB CMS @ dcache mss: 2657.20 TB DTEAM @ dcache mss 4.51 TB OPS @ dcache mss 4.51 TB Tapes@Enstore: 35562.00 TB tape robot: allocated capacity for T1 CMS logic library 51.5PB: IBM TS3500(11.5PB) для EOSCTA IBM T4500(40PB) CMS+NICA EOS: 2023Q4=23328.10 TB; 2023Q3=22203.82 TB; 2023Q2=21829.01 TB; 2023Q1=16582.35 TB; EOSCTA: 11000 TB; CVMFS: capacity is 140TB 4 squid сервера cache CVMFS, 1 сервер stratum-0, 2 сервера stratum-1, 4 squid. Всего: EOS(23328.1 TB) + dcache_disk(12439.87 TB) + tapes(51500 TB) + CVMFS(140 TB) = 87407,97TB
2023Q2: dCache — добавлены 6 серверов (Qtech QSRV-462402_4) = ~2.3 PB ; выведены — 15 серверов (Supermicro rda017-rda031~2017г.в)= ~1.719 PB
ПО:
2023Q1:
ОС: Scientific Linux release 7.9.
EOS 5.1.9 (постоянно меняется)
dCache 8.2
Enstore 6.3
Batch Slurm 20.11
grid UMD4 + EPEL, актуальные версии
ARC-CE
Инфраструктура и Сервисы сайта Tier1, 2024
Инфраструктура и Сервисы сайта Tier1, 2023
Инфраструктура и Сервисы сайта Tier1, 2022
Инфраструктура и Сервисы сайта Tier1, 2021
Инфраструктура и Сервисы сайта Tier1, 2020
Инфраструктура и Сервисы сайта Tier1, 2019
Инфраструктура и Сервисы сайта Tier1, 2018
Инфраструктура и Сервисы сайта Tier1, 2017
Инфраструктура и Сервисы сайта Tier1, 2016