Сайт T1_RU_JINR обеспечивает функционирование:
- вычислительного комплекса,
- системы хранения данных ,
- GRID системы,
- сервиса передачи данных,
- информационного сервиса (мониторинг серверов, хранилищ, передачи данных; информационных сайтов).
Для запуска задач на обработку данных используется менеджер рабочей нагрузки Slurm. В грид-среде используется Advanced Resource Connector (ARC) — промежуточное ПО для грид-вычислений. Оно обеспечивает общий интерфейс для передачи вычислительных задач различным распределенным вычислительным системам и может включать грид-инфраструктуры различного размера и сложности.
В качестве основных систем хранения данных используются системы dCache и EOS. Для домашних директорий пользователей — система хранения afs и cvmfs — для хранения ПО проектов (система распределённого доступа и организации версий ПО коллабораций и групп пользователей cvmfs — для хранения ПО проектов) .
Конфигурация фермы ОИЯИ Тир1 ( T1_RU_JINR ).
Вычислительная ферма (CE).
2025Q3:
23360 cores; perfomance 427920.04 HEP-SPEC06; Average HEP-SPEC06 per Core = 18.32; CMS может занять все ядра, NICA до 4000 ядер
2025Q1:
468 вычислительных узлов; 20096 ядер; Производительность 323820.54 HEP-SPEC06 : 84*433.15+14*610+80*1100+140*431.88+56*610+14*625.31+80*1093.98 средняя производительность 16.11 HEP-SPEC06 per Core
Системы хранения (SE).
2025Q3:
EOS: 20445.18 TB MPD EOS: 7030.71 TB CMS @ dcache dsk Total: 12299.02 TB 12299016.95 GB DTEAM @ dcache dsk Total: 3.87 TB 3865.39 GB OPS @ dcache dsk Total: 3.22 TB 3220.33 GB CMS @ dcache mss Total: 2289.26 TB 2289258.94 GB DTEAM @ dcache mss Total: 1.93 TB 1932.72 GB OPS @ dcache mss Total: 3.22 TB 3221.20 GB Tapes @ Enstore Total: 57948,00 TB CMS: 20744,00 TB Ленточныероботы: 101.5PB, IBM TS3500(11.5PB) +IBM T4500(90PB) CVMFS: 2 squid serverscache CVMFS :140 TB
2025Q1:
EOS 20013 TB;
MPD EOS 7030.71 TB;
cvmfs 140 TB;
afs 12.5 TB;
dcache 12450.84 TB;
mss 2362.23 TB;
Tapes @ Enstore 35496,00 TB буфер на отдельной установке dCache;
Ленточное Хранилище 91.5 PB;
Робот TS3500 обслуживается установкой CTA объёмом 11PB (не WLCG);
Робот TS4500 обслуживается 2-мя установками обновременно -
Enstore и CTA
ПО:
2025Q3:
Scientific Linux 7.9 и Alma Linux 9.6 EOS 5.2.32 dCache 8.2, Enstore 6.3. SLURM 25.05.3 grid UMD4 + EPEL (текущая версия) UMD4/5 + EPEL (текущая версия) ARC-CE FairSoft FairRoot MPDroot
2025Q2:
Поддержка дистрибутива ОС RHEL7 и клонов — SL7, SLC7, Centos7 закончилась. На большинстве машин ЦИВК (Тир2, Тир1) мы переходим на ОС Alma Linux 9. Эта ОС является почти полным клоном RHEL9.
2025Q1:
CentOS Scientific Linux release 7.9, AlmaLinux9 (eos, некоторые wns ), EOS, cvmfs, openafs, slurm, VOMS, UMD, ARC-CE, RUCIO, ALICE VObox, WLCG standard program stack, BDII top, BDII site, glite, XROOTD, GCC, C++, GNU Fortran, dCache, Enstore EOSCTA
2024 году выполнен большой объем работ по переходу на операционную систему AlmaLinux-9 в связи с окончанием жизненного цикла ОС СentOS-7. Выполнен ряд работ по эксплуатации и развитию системы хранения данных dCache-Enstore. Значительные работы выполнены по модификации Enstore. В их числе конверсия кода с python2 на python3, организация параллельного выполнение запросов на монтирование/размонтирование лент в магнитофонах, что значительно улучшило время этих операций, повышение пропускной способности обработки большого потока запросов на передачу данных.