Инфраструктура сайта JINR-LCG2 :
-
- интерактивный кластер ( пять 64-х битных машин )
- вычислительную ферму 279 вычислительных узлов ( 2 x CPU Xeon, 4-14 cores per CPU, E54XX, X65XX, X56XX, ES-26XX v3/4, 2-4GB RAM per core) моделей SuperMicro Blade, SuperMicroTwin2, Dell FX. Так как 4-х -16-ти ядерные процессоры являются в действительности независимыми процессорами на одном кристалле, то суммарно мы располагаем :
3640 cores/slots
46866.52 HEP-SPEC06
11716.63 HEP-kSI2k - серверы дискового пространства (dCache, xrootd & EOS)
- вспомогательные серверы (более 50 машин)
Базовое ПО:
Scientific Linux SL release 6.9 (Carbon)
GCC: gcc (GCC) 4.4.7 20120313 (Red Hat 4.4.7-17)
C++: g++ (GCC) 4.4.7 20120313 (Red Hat 4.4.7-17)
FC: GNU Fortran (GCC) 4.4.7 20120313 (Red Hat 4.4.7-17)
BATCH : Torque 4.2.10 (home made)
Maui 3.3.2 (home made)
CMS Phedex
ALICE VObox
Распределение счетных ресурсов по Виртуальным Организациям LHC: (сентябрь 2017)
- alice 15%
- atlas 20%
- cms 20%
- lhcb 15%
- На ферме считаются задачи других VO и локальных пользователей.
Основной системой хранения больших объемов информации служит аппаратно-программный комплекс dCache. Мы поддерживаем 2 установки dCache:
- для 2-х виртуальных организаций LHC CMS и ATLAS;
- для локальных пользователей и групп пользователей и международных проектов MPD, HONE, FUSION, BIOMED, COMPASS.
На установках задействованы:
1 — Диски для ATLAS & CMS ( Typically Supermicro and DELL) :
- 24 disk servers: 2 x CPU 24GB RAM, 24 SATA h/w RAID6, 43-63TB
- 4 disk servers: 2 x CPU (Xeon E5-2660 v3 @ 2.60GHz); 128GB RAM; 76TB ZFS (16x6000GB NL SAS); 2x10G
Total space: 1332GB
- 2 head node machines: 2 x CPU (Xeon E5-2683 v3 @ 2.00GHz); 128GB RAM; 4x1000GB SAS h/w RAID10; 2x10G.
- 7 KVM (Kernel-based Virtual Machine) for access protocols support.
2 – Диски для ALICE, EOS + XROOTD cluster :
Total space: 587GB.
-
- 2 head node machines: 2 x CPU (Xeon E5-2683 v3 @ 2.00GHz); 128GB RAM;4x1000GB SAS h/w RAID10; 2x10G.
- 4 KVM machines for access protocols support
3 — Диски для EGI Vos & локальных пользователей:
-
- 12 disk servers Core2 Duo CPU E8400, 4GB RAM, 12 x SATA h/w RAID6, 8TB
- 1 disk server 2 x CPU 24GB RAM, 24 SATA h/w RAID6, 63TB
Total space: 147TB
ПО систем хранения :
- dCache-2.16
- Enstore 4.2.2 for tape robot.
- EOS aquamarine
- XROOTD 3
Использование ресурсов систем хранения Виртуальными организациями LHC (сентябрь 2017) :
- ALICE @ xrootd & EOS
Total: 587.45 TB 601544.79 GB
Free: 216.14 TB 221329.70 GB 36.79%
Used: 371.30 TB 380215.10 GB 63.21% - ATLAS @ dCache
Total: 660.33 TB 660329.52 GB
Free: 204.17 TB 204174.05 GB 30.92%
Used: 456.15 TB 456153.25 GB 69.08% - CMS @ dCache
Total: 662.02 TB 662016.25 GB
Free: 43.02 TB 43020.29 GB 6.50%
Used: 572.43 TB 572428.87 GB 86.47%