Инфраструктура и Сервисы сайта Tier1 (T1_RU_JINR)

Сайт   T1_RU_JINR обеспечивает  функционирование:

  • вычислительного комплекса,
  • системы хранения данных ,
  • GRID системы,
  • сервиса передачи данных,
  • информационного сервиса  (мониторинг серверов, хранилищ, передачи данных;  информационных сайтов).

Для запуска  задач на обработку данных   используется менеджер рабочей нагрузки Slurm.  В грид-среде используется Advanced Resource Connector (ARC) — промежуточное ПО для грид-вычислений. Оно обеспечивает общий интерфейс для передачи вычислительных задач различным распределенным вычислительным системам и может включать грид-инфраструктуры различного размера и сложности.

В качестве основных систем хранения данных используются системы dCache и EOS.  Для  домашних директорий пользователей —    система хранения afs и   cvmfs — для хранения ПО проектов (система распределённого доступа и организации версий ПО коллабораций и групп пользователей  cvmfs — для хранения ПО проектов) .

Конфигурация  фермы ОИЯИ Тир1 ( T1_RU_JINR ).

Вычислительная ферма (CE).

CE:  2025Q1

2025Q1

HEP-SPEC06: 84*433.15+14*610+80*1100+140*431.88+56*610+14*625.31+80*1093.98
Total: 323820.54 HEP-SPEC06
Total: 20096 cores
Average HEP-SPEC06 per Core = 16.11

Системы хранения (SE).

SE: 2025Q1

 EOS  20013TB


 cvmfs  140TB
 

afs  12.5 TB
 

dcache = 12450,84TB
 

mss = 2362,23 TB


Tapes @ Enstore = 35562,00 TB
 

EOSCTA робот TS3500 объёмом 11 ПБ  (не WLCG)
 

ленточный робот 90  PB

ПО:   20205Q1:

 CentOS Scientific Linux release 7.9,
 AlmaLinux9 (eos, некоторые wns ),
 EOS,
 cvmfs,
 openafs,
 slurm,
 VOMS,
 UMD,
 ARC-CE,
 RUCIO,
 ALICE VObox,
 WLCG standard program stack,
 BDII top,
 BDII site,
 glite,
 XROOTD,
 GCC,
 C++,
 GNU Fortran,
 dCache,
 Enstore
 EOSCTA

2024 году выполнен большой объем работ по переходу на операционную систему (ОС) AlmaLinux 9 в связи с окончанием жизненного цикла ОС СentOS 7. Выполнен ряд работ по эксплуатации и развитию системы хранения данных dCache-Enstore. Значительные работы выполнены по модификации Enstore. В их числе конверсия кода с python2 на python3, организация параллельного выполнение запросов на монтирование / размонтирование лент в магнитофонах, что значительно улучшило время этих операций, повышение пропускной способности обработки большого потока запросов на передачу данных.

=====================================================================

====================================================================

 

Вычислительная ферма (CE).

2023-2024

2023Q4: 
HEP-SPEC06: 84*433.15+14*610+80*1100+140*431.88+56*610+14*625.31+80*109:

323820.54 HEP-SPEC06; 

486 вычислительных узлов; 

20096 cores;

Average HEP-SPEC06 per Core = 16.11

Системы Хранения  (SE)

Хранения данных  обеспечивается системи :  dCache, роботизированным
ленточным хранилищем, использующим  для работы ПО  Enstore и систему EOS.

2023:

dCache:  

disks:
        2023Q1=11.02 PB;  
        2023Q2=11.76 PB; 
        2023Q4=12.44 PB;
         
2023Q4: 
         CMS @ dsk: 12439.87 TB 
         dteam @ dsk: 3.21 TB 
         OPS @ dcache dsk: 4.36 TB 
        
         CMS @ dcache mss: 2657.20 TB 
         DTEAM @ dcache mss 4.51 TB  
         OPS @ dcache mss 4.51 TB 
        
         Tapes@Enstore: 35562.00 TB
                                
tape robot: allocated capacity for T1 CMS logic library 51.5PB: 
            IBM TS3500(11.5PB)  для EOSCTA
            IBM T4500(40PB)   CMS+NICA 

         
EOS:    2023Q4=23328.10 TB2023Q3=22203.82 TB;
        2023Q2=21829.01 TB;   
        2023Q1=16582.35 TB;
 
EOSCTA: 11000 TB;

CVMFS:   capacity is 140TB
         4 squid сервера cache CVMFS,
         1 сервер stratum-0,
         2 сервера stratum-1, 4  squid.

Всего:
EOS(23328.1 TB) + dcache_disk(12439.87 TB) + tapes(51500 TB)  + CVMFS(140 TB) = 87407,97TB

 

2023Q2:  dCache — добавлены  6 серверов (Qtech QSRV-462402_4) = ~2.3 PB ; выведены — 15 серверов (Supermicro rda017-rda031~2017г.в)= ~1.719 PB

ПО:

2023Q1:

ОС: Scientific Linux release 7.9.

EOS 5.1.9 (постоянно меняется)

dCache 8.2

Enstore 6.3

Batch Slurm 20.11

grid UMD4 + EPEL, актуальные версии 


ARC-CE

 

 

 

 

 

 

Инфраструктура и Сервисы сайта Tier1, 2024
Инфраструктура и Сервисы сайта Tier1, 2023
Инфраструктура и Сервисы сайта Tier1, 2022
Инфраструктура и Сервисы сайта Tier1, 2021
 Инфраструктура и Сервисы сайта Tier1, 2020
Инфраструктура и Сервисы сайта Tier1, 2019
Инфраструктура и Сервисы сайта Tier1, 2018
 Инфраструктура и Сервисы сайта Tier1, 2017
 Инфраструктура и Сервисы сайта Tier1, 2016