Конфигурация фермы Тир2 (JINR-LCG2) 2021

 2021Q3:

Вычислительные ресурсы ( CE):

  • Интерактивный кластер:  lxpub [01-05] .jinr.ru
  • Пользовательский интерфейс lxui[01-04].jinr.ru (шлюз для внешних подключений)
  • Вычислительные фермы :

–ферма общего назначения,

–ферма для экспериментов LHC,

–кластер  для  NICA,MPD, BM@N  ( lxmpd-ui.jinr.ru )

Всего:
7700 cores

121076.99 HEP-SPEC06 общая производительность

30269.25 HEP-kSI2k     производительность ядра

 Ресурсы хранения (SE):

8 old disk servers  were removed  , 4 new DELL R740 300TB each have been added  . SE disk  has 4 servers; in EOS — 28.  As a result, we have at present:

EOS:  Total: 16582.35 TB

AFS: ~ 12.5 TB (user home directories, workspaces)

CVMFS: 2 machines: 2×70 TB h / w RAID1 (VOs: NICA (MPD, B @ MN, SPD), dstau, er, jjnano, juno, baikalgvd).

dCache (только для ВО  CMS, ATLAS  )

SE disks = 11021.512PB /11021507.34TB

tape robot : 3003TB 

tape libraries, allocated capacity for T1CMS logic library :  T1CMS: 51.5PB, IBM TS3500(11.5PB) + IBM T4500(40PB)

Программное Обеспечение: 

CentOS Scientific Linux release 7.9

GCC: gcc (GCC) 4.4.7 C ++: g ++ (GCC) 4.4.7

FC: GNU Fortran (GCC) 4.4.7 * FLAGS: -O2 -pthread -fPIC -m32

BATCH: SLURM with adaptation to kerberos and AFS

dCache-5.2  Enstore 6.3 for tape robots SPECall_cpp2006 with 32-bit binaries SPEC2006 version 1.1

WLCG

FTS

FairSoft

FairRoot

MPDroot

 

2021(январь)

Системы Хранения (SE):

  • AFS: ~12.5 TB  (домашние каталоги пользователей, рабочие пространства)
  • EOS: 7.198 PB
  • CVMFS: 2 machines: 2×70 TB h / w RAID1 (VOs: NICA(MPD, B@MN, SPD), dstau, er, jjnano, juno, baikalgvd).
  • dCache: disk servers 9.7 PB ; tape robots: 3003TB; tape lirary (T1CMS)    IBM TS3500(1.16PB) + IBM T45500(1.6PB) (только для ВО ATLAS,CMS)

Вычислительные ресурсы (CE):

  • Интерактивный кластер:  lxpub[01-05].jinr.ru
  • Пользовательский интерфейс lxui[01-04].jinr.ru (шлюз для внешних подключений)
  • Вычислительные фермы : 

ферма общего назначения,

ферма для экспериментов LHC,

кластер  для  NICA,MPD, BM@N  ( lxmpd-ui.jinr.ru )

Всего :  248 вычислительных узлов( WNs) ,

              4128 ядер (cores/slots) ,

                55489 HS06

              (7060 HS06?).

Bспомогательные серверы .

  • e-mail
  • home WWW pages
  • databases MySQL , Postgres,  Oracle
  • DNS
  • мониторинг Nagios
  • sftp
  • ….

Эти сервисы в основном работают “прозрачно” с точки зрения пользователя, то есть, не требуя дополнительных настроек. Часть этих серверов (WWW, ftp, MySQL), обеспечивает поддержку лабораторных (ЛИТ) и институтских сервисов. Часть (mail) предназначена в основном для обслуживания нужд пользователей ОИЯИ .

WLCG.

Для обслуживания сайта WLCG в ОИЯИ (сайт — отдельный кластер в распределенной среде WLCG) установлены сервера, которые реализуют важные сервисы и функции поддержки Российского сегмента проекта WLCG.

На JINR Tier2 добавлены виртуальные организации:
ILC (WLCG http://www.linearcollider.org/) ,

MPD (JINR NICA),

BM@N (JINR NICA) ,

COMPASS (WLCG CERN).

Для виртуальной организации JUNO на Tier2  установлено и настроено несколько сервисов:

CE JUNO — будет разрешено запускать задачи в ферме JINR/Tier2
VOMS сервер, зеркало основного VOMS в Китае;
CVMSF stratum-1 сервер, для поддержки, доступ к репозиториям ПО JUNO в Китае.

Сеть и телекоммуникация.

Сетевая инфраструктура ОИЯИ включает следующие компоненты:

  • внешний оптический телекоммуникационный канал передачи данных ОИЯИ-Москва;
  • опорную магистраль локальной компьютерной сети ОИЯИ;
  • локальные компьютерные сети подразделений института.

Сеть ОИЯИ имеет прямые соединения с рядом научных, образовательных и публичных сетей на скоростях:

  • с сетью LHCOPN – 2×100 Gbps;
  • с сетью LHCONE – 2×100 Gbps;
  • с сетью GEANT – 10 Gbps;
  • с сетью RBnet – 10 Gbps;
  • с сетями Москвы и С. Петербурга – 10 Gbps;
  • с Internet – 10 Mbps.

Межсетевое взаимодействие с городскими сетями организовано на базе узла обмена трафика DBN-IX. Локальная сеть института имеет прямые соединения на скоростях:

        • с сетью ЛанПолис (Net by Net) — 100 Mbps;
        • с сетью Контакт — 1 Gbps;
        • с сетью Телеком-МПК — 1 Gbps.
        • с сетью ТЕЛЕСЕТЬ — 1 Gbps.

 

В 2020 году выполнены следующие работы по изменению конфигурации Тир2 (JINR-LCG2):

1) Изменен batch сервер на тип Slurm. Работает и используется CE.

2) Изменен  Computing Element (CE) для WLCG тип — ARC6 (internal slurm queue). (CREAM-CE больше не поддерживается центральным сервисом запуска задач).

3) ферма переведена на систему Scientific Linux release 7.

4) Добавлен новый ленточный робот  (TS4500).

5) PhEDEx заменен на RUCIO.

6) Подключены новые серверы в EOS.

7) Увеличено пространство /scrc для пользователей

ПО :

CentOS Scientific Linux release 7.9

GCC: gcc (GCC) 4.4.7 C ++: g ++ (GCC) 4.4.7

FC: GNU Fortran (GCC) 4.4.7  * FLAGS: -O2 -pthread -fPIC -m32

BATCH: SLURM with adaptation to kerberos and AFS

dCache-5.2

Enstore 6.3 for tape robots SPECall_cpp2006 with 32-bit binaries SPEC2006 version 1.1

WLCG

FTS

FairSoft

FairRoot

MPDroot