2018:
Computing Resources (CE)
- Interactive cluster: lxpub [01-05] .jinr.ru
- User interface lxui [01-04] .jinr.ru (gateway for external connections)
- Computing farms:
–general purpose farm,
–farm for LHC experiments,
–cluster for NICA, MPD, BM@N (lxmpd-ui.jinr.ru)
Total:
248 compute nodes (WNs),
4128 cores (cores / slots),
55489 HS06.
Storage Systems (SE)
dCache: disk servers 9.7 PB tape robots: IBM TS3500(1.6PB) + IBM T45500(1.6PB) EOS: 7.198 PB CVMFS: 2 machines: 2x70 TB h / w RAID1 (VOs: NICA (MPD, B@MN, SPD).
Software
CentOS Scientific Linux release 7.9 GCC: gcc (GCC) 4.4.7 C ++: g ++ (GCC) 4.4.7 FC: GNU Fortran (GCC) 4.4.7 * FLAGS: -O2 -pthread -fPIC -m32 BATCH: SLURM with adaptation to kerberos and AFS dCache-5.2 Enstore 6.3 for tape robots SPECall_cpp2006 with 32-bit binaries SPEC2006 version 1.1 WLCG FairSoft FairRoot MPDroot
Вычислительная ферма состоит из 240 вычислительных узлов ( 2 x CPU Xeon, 4-14 cores per CPU, E54XX, X65XX, X56XX, ES-26XX v3/4, 2-4GB RAM per core) моделей SuperMicro Blade, SuperMicroTwin2, Dell FX.
Так как 4-х -16-ти ядерные процессоры являются в действительности независимыми процессорами на одном кристалле, то суммарно мы располагаем : 4128 cores/slots
Для разработки собственного ПО и других нужд пользователей ОИЯИ установлены Пять 64-х битных машин с интерактивным доступом пользователей.
Программное Обеспечение :
OS: Scientific Linux release 6.10 x86_64
BATCH : Torque 4.2.10 (home made)
Maui 3.3.2 (home made)
CMS Phedex
ALICE VObox
dCache-3.2
EOS aquamarine
В состав ЦИВК входит несколько серверов пользователей и служб ОИЯИ:
batch, WWW, БД mysql и Oracle; e-mail; DNS , мониторинг Nagios и другие.Эти серверы работают с основном на 64-х битных аппаратных Xeon и Opteron.
Основной системой хранения больших объемов информации в ЦИВК ОИЯИ служит аппаратно-программный комплекс dCache. Мы поддерживаем следующие установки dCache:
1-ый диск для 2-х виртуальных организаций LHC CMS и ATLAS ( Typically Supermicro and DELL):
24 disk servers: 2 x CPU 24GB RAM, 24 SATA h/w RAID6, 43-63TB
4 disk servers: 2 x CPU (Xeon E5-2660 v3 @ 2.60GHz); 128GB RAM; 76TB ZFS (16x6000GB NL SAS); 2x10G
Total space: 2070ТB
2 head node machines: 2 x CPU (Xeon E5-2683 v3 @ 2.00GHz); 128GB RAM; 4x1000GB SAS h/w RAID10; 2x10G.7
KVM (Kernel-based Virtual Machine) for access protocols support.
2-ой диск для международных проектов ALICE и EOS: 712ТB
12 disk servers: 2 x CPU 24GB RAM, 24 SATA h/w RAID6, 10-63TB12 disk servers: 2 x CPU 24GB RAM, 24 SATA h/w RAID6, 10-63TB
2 disk servers: 2 x CPU (Xeon E5-2660 v3 @ 2.60GHz); 128GB RAM; 76TB ZFS (16x6000GB
Total space: 587GB.
3-ий диск для EGI Vos & локальных пользователей :
12 disk servers Core2 Duo CPU E8400, 4GB RAM, 12 x SATA h/w RAID6, 8TB
1 disk server 2 x CPU 24GB RAM, 24 SATA h/w RAID6, 63TB
Total space: 147TB
Программное обеспечение систем хранения :
dCache-2.16
Enstore 4.2.2 for tape robot.
EOS aquamarine
XROOTD 3CMS Phedex
ALICE VObox
EOS aquamarine
AFS.
В ЦИВК ОИЯИ установлено 6 серверов AFS .
Общее пространство AFS в ОИЯИ составляет ~6TB
Сеть.
Для улучшения работы локальной сети ЦИВК и достижения требуемых параметров доступа к данным и файлам применяются агрегирование (TRUNK) нескольких 1Гигабитных соединений (10Gbps) в единый виртуальный канал увеличенной пропускной способности LHCONE & GEANT.