Вычислительные кластеры ЦИВК.

Вычислительный кластер ЦИВК состоит из следующих программно-аппаратных компонентов.

Интерактивный кластер.

  • lxpub[01-05].jinr.ru
  • lxui[01-04].jinr.ru  (шлюз для внешних подключений)

Для пользователей   интерактивный кластер предназначен   для повседневной работы, отладки программного обеспечения, выполнения заданий в пакетной системе .  Этот кластер является основным и единственным местом для всей интерактивной деятельности пользователей.

В  интерактивном режиме  пользователи могут запускать программы, непрерывное время работы которых  не превышает 30 минут.  Другие программы снимаются  автоматически, с отсылкой e-mail сообщения пользователю.

Вычислительная ферма общего назначения.

Вычислительная ферма предназначена  как для  локальных пользователей ЦИВК, так и для международных проектов .

Добавлены виртуальные организации:

JINR NICA :  MPD , BM@N ,SPD

BAIKALGVD

COMPASS (WLCG CERN) ,

ILC (WLCG http://www.linearcollider.org/).

Для виртуальной организации JUNO  установлено и настроено несколько сервисов:

  • CE JUNO — будет разрешено запускать задачи в ферме
  • VOMS сервер, зеркало основного VOMS в Китае;
  • CVMSF stratum-1 сервер, для поддержки, доступ к репозиториям ПО JUNO в Китае.

В 2020 году были выполнены  работы по изменению  пакетного сервера на тип Slurm (Simple Linux Utility for Resource Management )  — планировщик заданий.  

Запуск задач на счет, управление выполнением задачи и отправка результатов пользователю производятся средствами  системы  SLURM Для отладки задачи можно использовать интерактивный режим запуска  .

Для использования системы SLURM :

1.  Пользователь должен быть зарегистрирован в Kerberos и в AFS.
2. Для хранения данных, пользователю может быть выделено
пространство в распределённой файловой системе EOS,
/eos/user/<u>/<user>.
3.  Для запуска задач в SLURM, пользователю  нужно зарегистрироваться в базе SLURM

Инструкции по системе SLURM  здесь.

CVMFS .

Файловая система   CVMFS  служит  для   развертывания  больших пакетов программного обеспечения  коллабораций . Используется  для запуска приложений обработки данных экспериментов.  Файлы и каталоги размещаются на стандартных веб-серверах и монтируются в универсальном пространстве имен /cvmfs.

Репозипорий  на ЦИВК  хранит несколько версий ПО и изменяется на сервере CVMFS  ответсвенным за ПО. Доступ к репозиторию по чтению организован на всех машинах МИВК и возможен по всему миру путём установки и настройки клиента CVMFS.

Для размещения ПО в CVMFS  нужно подать заявку на создание нового репозитория  администратору ЦИВК (grom@jinr.ru) и прислать id_rsa.pub пользователя,  который будет сопровождать репозиторий.

Как работать с CVMFS:  тут.

B настоящее время  у нас  хранятся версии ПО :

asys, borexino , darkside, dvl, fobos, juno , nica(BM@N,MPD ),  star,
baikalgvd, cms, dayabay, er, genetics, lgd, panda,
biohlit, danss, dstau, flnp-admin, monument, scg

Ёмкость cvmfs составляет 140TB (2 machines: 2x70TB h/w RAID1)

 

OSG HT-CONDOR.

Вычислительный элемент OSG HT-CONDOR был интегрирован в инфраструктуру Tier2 для ВО STAR . Это позволяет ВО STAR обрабатывать данные с эффективностью более 90%.

Программное Обеспечение :

CentOS Scientific Linux release 7.9

GCC: gcc (GCC) 4.4.7 C ++: g ++ (GCC) 4.4.7

FC: GNU Fortran (GCC) 4.4.7  * FLAGS: -O2 -pthread -fPIC -m32

BATCH:  SLURM with adaptation to kerberos and AFS

FairSoft

FairRoot

MPDroot 

ALICE VObox

EOS aquamarine

WLCG

FTS

UMD-4

 

Обновления в 2020:

1) Изменен batch сервер на тип Slurm. Работает и используется CE.

2) Изменен  Computing Element (CE) для WLCG тип — ARC6. (CREAM-CE больше не поддерживается центральным сервисом запуска задач).

3) ферма переведена на систему Scientific Linux release 7.