Сайт T1_RU_JINR обеспечивает функционирование:
- вычислительного комплекса,
- системы хранения данных ,
- GRID системы,
- сервиса передачи данных,
- информационного сервиса (мониторинг серверов, хранилищ, передачи данных; информационных сайтов).
Для запуска задач на обработку данных используется менеджер рабочей нагрузки Slurm. В грид-среде используется Advanced Resource Connector (ARC) — промежуточное ПО для грид-вычислений. Оно обеспечивает общий интерфейс для передачи вычислительных задач различным распределенным вычислительным системам и может включать грид-инфраструктуры различного размера и сложности.
В качестве основных систем хранения данных используются системы dCache и EOS. Для домашних директорий пользователей — система хранения afs и cvmfs — для хранения ПО проектов (система распределённого доступа и организации версий ПО коллабораций и групп пользователей cvmfs — для хранения ПО проектов) .
Конфигурация фермы ОИЯИ Тир1 ( T1_RU_JINR ).
Вычислительная ферма (CE).
2025Q3:
23360 cores; perfomance 427920.04 HEP-SPEC06; Average HEP-SPEC06 per Core = 18.32; CMS может занять все ядра, NICA до 4000 ядер
2025Q1:
468 вычислительных узлов; 20096 ядер; Производительность 323820.54 HEP-SPEC06 : 84*433.15+14*610+80*1100+140*431.88+56*610+14*625.31+80*1093.98 средняя производительность 16.11 HEP-SPEC06 per Core
2023-2024:
HEP-SPEC06: 84*433.15+14*610+80*1100+140*431.88+56*610+14*625.31+80*109: Производительность 323820.54 HEP-SPEC06;
486 вычислительных узлов;
20096 cores;
Average HEP-SPEC06 per Core = 16.11
Системы хранения (SE).
2025Q3:
EOS: 20445.18 TB MPD EOS: 7030.71 TB CMS @ dcache dsk Total: 12299.02 TB 12299016.95 GB DTEAM @ dcache dsk Total: 3.87 TB 3865.39 GB OPS @ dcache dsk Total: 3.22 TB 3220.33 GB CMS @ dcache mss Total: 2289.26 TB 2289258.94 GB DTEAM @ dcache mss Total: 1.93 TB 1932.72 GB OPS @ dcache mss Total: 3.22 TB 3221.20 GB Tapes @ Enstore Total: 57948,00 TB CMS: 20744,00 TB Ленточныероботы: 101.5PB, IBM TS3500(11.5PB) +IBM T4500(90PB) CVMFS: 2 squid serverscache CVMFS :140 TB
2025Q1:
EOS 20013 TB;
MPD EOS 7030.71 TB;
cvmfs 140 TB;
afs 12.5 TB;
dcache 12450.84 TB;
mss 2362.23 TB;
Tapes @ Enstore 35496,00 TB буфер на отдельной установке dCache;
Ленточное Хранилище 91.5 PB;
Робот TS3500 обслуживается установкой CTA объёмом 11PB (не WLCG);
Робот TS4500 обслуживается 2-мя установками обновременно -
Enstore и CTA
2024:
dCache: disks: 2023Q1=11.02 PB; 2023Q2=11.76 PB; 2023Q4=12.44 PB; 2023Q4: CMS @ dsk: 12439.87 TB dteam @ dsk: 3.21 TB OPS @ dcache dsk: 4.36 TB CMS @ dcache mss: 2657.20 TB DTEAM @ dcache mss 4.51 TB OPS @ dcache mss 4.51 TB Tapes@Enstore: 35562.00 TB tape robot: allocated capacity for T1 CMS logic library 51.5PB: IBM TS3500(11.5PB) для EOSCTA IBM T4500(40PB) CMS+NICA EOS: 2023Q4=23328.10 TB; 2023Q3=22203.82 TB; 2023Q2=21829.01 TB; 2023Q1=16582.35 TB; EOSCTA: 11000 TB; CVMFS: capacity is 140TB 4 squid сервера cache CVMFS, 1 сервер stratum-0, 2 сервера stratum-1, 4 squid. Всего: EOS(23328.1 TB) + dcache_disk(12439.87 TB) + tapes(51500 TB) + CVMFS(140 TB) = 87407,97TB
ПО:
2025Q3:
Scientific Linux 7.9 и Alma Linux 9.6 EOS 5.2.32 dCache 8.2, Enstore 6.3. SLURM 25.05.3 grid UMD4 + EPEL (текущая версия) UMD4/5 + EPEL (текущая версия) ARC-CE FairSoft FairRoot MPDroot
2025Q2:
Поддержка дистрибутива ОС RHEL7 и клонов — SL7, SLC7, Centos7 закончилась. На большинстве машин ЦИВК (Тир2, Тир1) мы переходим на ОС Alma Linux 9. Эта ОС является почти полным клоном RHEL9.
2025Q1:
CentOS Scientific Linux release 7.9, AlmaLinux9 (eos, некоторые wns ), EOS, cvmfs, openafs, slurm, VOMS, UMD, ARC-CE, RUCIO, ALICE VObox, WLCG standard program stack, BDII top, BDII site, glite, XROOTD, GCC, C++, GNU Fortran, dCache, Enstore EOSCTA
2024 году выполнен большой объем работ по переходу на операционную систему AlmaLinux-9 в связи с окончанием жизненного цикла ОС СentOS-7. Выполнен ряд работ по эксплуатации и развитию системы хранения данных dCache-Enstore. Значительные работы выполнены по модификации Enstore. В их числе конверсия кода с python2 на python3, организация параллельного выполнение запросов на монтирование/размонтирование лент в магнитофонах, что значительно улучшило время этих операций, повышение пропускной способности обработки большого потока запросов на передачу данных.
=====================================================================
====================================================================
Вычислительная ферма (CE).
2023-2024
2023Q4:
HEP-SPEC06: 84*433.15+14*610+80*1100+140*431.88+56*610+14*625.31+80*109:
323820.54 HEP-SPEC06;
486 вычислительных узлов;
20096 cores;
Average HEP-SPEC06 per Core = 16.11
Системы Хранения (SE)
Хранения данных обеспечивается системи : dCache, роботизированным
ленточным хранилищем, использующим для работы ПО Enstore и систему EOS.
2023-2024: dCache: disks: 2023Q1=11.02 PB; 2023Q2=11.76 PB; 2023Q4=12.44 PB; 2023Q4: CMS @ dsk: 12439.87 TB dteam @ dsk: 3.21 TB OPS @ dcache dsk: 4.36 TB CMS @ dcache mss: 2657.20 TB DTEAM @ dcache mss 4.51 TB OPS @ dcache mss 4.51 TB Tapes@Enstore: 35562.00 TB tape robot: allocated capacity for T1 CMS logic library 51.5PB: IBM TS3500(11.5PB) для EOSCTA IBM T4500(40PB) CMS+NICA EOS: 2023Q4=23328.10 TB; 2023Q3=22203.82 TB; 2023Q2=21829.01 TB; 2023Q1=16582.35 TB; EOSCTA: 11000 TB; CVMFS: capacity is 140TB 4 squid сервера cache CVMFS, 1 сервер stratum-0, 2 сервера stratum-1, 4 squid. Всего: EOS(23328.1 TB) + dcache_disk(12439.87 TB) + tapes(51500 TB) + CVMFS(140 TB) = 87407,97TB
2023Q2: dCache — добавлены 6 серверов (Qtech QSRV-462402_4) = ~2.3 PB ; выведены — 15 серверов (Supermicro rda017-rda031~2017г.в)= ~1.719 PB
ПО:
2023Q1:
ОС: Scientific Linux release 7.9.
EOS 5.1.9 (постоянно меняется)
dCache 8.2
Enstore 6.3
Batch Slurm 20.11
grid UMD4 + EPEL, актуальные версии
ARC-CE
Инфраструктура и Сервисы сайта Tier1, 2024
Инфраструктура и Сервисы сайта Tier1, 2023
Инфраструктура и Сервисы сайта Tier1, 2022
Инфраструктура и Сервисы сайта Tier1, 2021
Инфраструктура и Сервисы сайта Tier1, 2020
Инфраструктура и Сервисы сайта Tier1, 2019
Инфраструктура и Сервисы сайта Tier1, 2018
Инфраструктура и Сервисы сайта Tier1, 2017
Инфраструктура и Сервисы сайта Tier1, 2016