Сайт T1_RU_JINR обеспечивает функционирование:
- вычислительного комплекса,
- системы хранения данных ,
- GRID системы,
- сервиса передачи данных,
- информационного сервиса (мониторинг серверов, хранилищ, передачи данных; информационных сайтов).
Для запуска задач на обработку данных используется менеджер рабочей нагрузки Slurm. В грид-среде используется Advanced Resource Connector (ARC) — промежуточное ПО для грид-вычислений. Оно обеспечивает общий интерфейс для передачи вычислительных задач различным распределенным вычислительным системам и может включать грид-инфраструктуры различного размера и сложности.
В качестве основных систем хранения данных используются системы dCache и EOS. Для домашних директорий пользователей — система хранения afs и cvmfs — для хранения ПО проектов (система распределённого доступа и организации версий ПО коллабораций и групп пользователей cvmfs — для хранения ПО проектов) .
Конфигурация фермы ОИЯИ Тир1 ( T1_RU_JINR ).
Вычислительная ферма (CE).
2025Q1
468 вычислительных узлов; 20096 ядер; Производительность 323820.54 HEP-SPEC06 : 84*433.15+14*610+80*1100+140*431.88+56*610+14*625.31+80*1093.98 средняя производительность 16.11 HEP-SPEC06 per Core
Системы хранения (SE).
2025:
EOS 20013 TB;
MPD EOS 7030.71 TB;
cvmfs 140 TB;
afs 12.5 TB;
dcache 12450.84 TB;
mss 2362.23 TB;
Tapes @ Enstore 35496,00 TB буфер на отдельной установке dCache;
Ленточное Хранилище 91.5 PB;
Робот TS3500 обслуживается установкой CTA объёмом 11PB (не WLCG);
Робот TS4500 обслуживается 2-мя установками обновременно -
Enstore и CTA
ПО:
2025Q2
Поддержка дистрибутива ОС RHEL7 и клонов — SL7, SLC7, Centos7 закончилась. На большинстве машин ЦИВК (Тир2, Тир1) мы переходим на ОС Alma Linux 9. Эта ОС является почти полным клоном RHEL9.
20205Q1
CentOS Scientific Linux release 7.9, AlmaLinux9 (eos, некоторые wns ), EOS, cvmfs, openafs, slurm, VOMS, UMD, ARC-CE, RUCIO, ALICE VObox, WLCG standard program stack, BDII top, BDII site, glite, XROOTD, GCC, C++, GNU Fortran, dCache, Enstore EOSCTA
2024 году выполнен большой объем работ по переходу на операционную систему AlmaLinux-9 в связи с окончанием жизненного цикла ОС СentOS-7. Выполнен ряд работ по эксплуатации и развитию системы хранения данных dCache-Enstore. Значительные работы выполнены по модификации Enstore. В их числе конверсия кода с python2 на python3, организация параллельного выполнение запросов на монтирование/размонтирование лент в магнитофонах, что значительно улучшило время этих операций, повышение пропускной способности обработки большого потока запросов на передачу данных.
=====================================================================
====================================================================
Вычислительная ферма (CE).
2023-2024
2023Q4:
HEP-SPEC06: 84*433.15+14*610+80*1100+140*431.88+56*610+14*625.31+80*109:
323820.54 HEP-SPEC06;
486 вычислительных узлов;
20096 cores;
Average HEP-SPEC06 per Core = 16.11
Системы Хранения (SE)
Хранения данных обеспечивается системи : dCache, роботизированным
ленточным хранилищем, использующим для работы ПО Enstore и систему EOS.
2023: dCache: disks: 2023Q1=11.02 PB; 2023Q2=11.76 PB; 2023Q4=12.44 PB; 2023Q4: CMS @ dsk: 12439.87 TB dteam @ dsk: 3.21 TB OPS @ dcache dsk: 4.36 TB CMS @ dcache mss: 2657.20 TB DTEAM @ dcache mss 4.51 TB OPS @ dcache mss 4.51 TB Tapes@Enstore: 35562.00 TB tape robot: allocated capacity for T1 CMS logic library 51.5PB: IBM TS3500(11.5PB) для EOSCTA IBM T4500(40PB) CMS+NICA EOS: 2023Q4=23328.10 TB; 2023Q3=22203.82 TB; 2023Q2=21829.01 TB; 2023Q1=16582.35 TB; EOSCTA: 11000 TB; CVMFS: capacity is 140TB 4 squid сервера cache CVMFS, 1 сервер stratum-0, 2 сервера stratum-1, 4 squid. Всего: EOS(23328.1 TB) + dcache_disk(12439.87 TB) + tapes(51500 TB) + CVMFS(140 TB) = 87407,97TB
2023Q2: dCache — добавлены 6 серверов (Qtech QSRV-462402_4) = ~2.3 PB ; выведены — 15 серверов (Supermicro rda017-rda031~2017г.в)= ~1.719 PB
ПО:
2023Q1:
ОС: Scientific Linux release 7.9.
EOS 5.1.9 (постоянно меняется)
dCache 8.2
Enstore 6.3
Batch Slurm 20.11
grid UMD4 + EPEL, актуальные версии
ARC-CE
Инфраструктура и Сервисы сайта Tier1, 2024
Инфраструктура и Сервисы сайта Tier1, 2023
Инфраструктура и Сервисы сайта Tier1, 2022
Инфраструктура и Сервисы сайта Tier1, 2021
Инфраструктура и Сервисы сайта Tier1, 2020
Инфраструктура и Сервисы сайта Tier1, 2019
Инфраструктура и Сервисы сайта Tier1, 2018
Инфраструктура и Сервисы сайта Tier1, 2017
Инфраструктура и Сервисы сайта Tier1, 2016