2019 :
Инфраструктура сайта JINR-LCG2 :
Вычислительная ферма.
состоит из вычислительных узлов ( 2 x CPU Xeon, 4-28 cores per CPU, E54XX, X65XX, X56XX, ES-26XX v3/4, 2-4GB RAM per core) моделей SuperMicro Blade, SuperMicroTwin2, Dell FX. Cуммарно мы располагаем :
4128 cores/slots 55488.92 HEP-SPEC06 13872.23 HEP-kSI2k
Интерактивный кластер.
Для разработки собственного ПО и других нужд пользователей ОИЯИ установлены Пять 64-х битных машин с интерактивным доступом пользователей.
CVMFS (/cvmfs) : 2 machines: 2x70TB h/w RAID1.
Введена в эксплуатацию подсистема подсистема CVMFS которая служит для развертывания больших пакетов программного обеспечения коллабораций работающих в WLCG. Используется для запуска приложений обработки данных экспериментов. B настоящее время у нас уже хранятся версии ПО NICA, BM@N, MPD (/cvmfs/nica, /cvmfs/…) и занимают 140TB (до мая 2019 было 9.5 ГБ) .
OSG HT-CONDOR
Вычислительный элемент OSG HT-CONDOR введен в инфрастуктуру сайта Tier2 для VO STAR. Аутентификации осуществляется через "long lived grid" прокси-сервер. Это позволяет VO STAR обрабатывать данные на нашем сайте Tier2 с эффективностью более 90%.
Программное Обеспечение :
- OS: Scientific Linux release 6.10 x86_64
- BATCH : Torque 4.2.10 (home made)
- Maui 3.3.2 (home made)
- CMS Phedex
- ALICE VObox
- dCache-5.2
- EOS aquamarine
- CVMFS
WLCG
Для обслуживания сайта WLCG в ОИЯИ (сайт — отдельный кластер в распределенной среде WLCG) и других международных коллабораций, установлено 22 сервера с системой gLite (ПО промежуточного уровня WLCG). Кроме функций поддержки работы самого сайта JINR-LCG2, часть серверов реализуют важные сервисы и функции поддержки Российского сегмента проекта WLCG.
Стандартный стек программ WLCG:
• 2 x CREAM,
• 4 x ARGUS,
• BDII top, BDII site,
• APEL parsers, APEL publisher,
• EMI-UI, 220 x EMI-WN + gLExec-wn,
• 4 x FTS3,
• LFC,
• WMS,
• L & B,
• glite-proxyrenewal
В ЛИТ ОИЯИ был проведен ряд работ по применению грид-технологий для обработки данных экспериментов, не относящихся к LHC: COMPASS, NICA MPD.
Для эксперимента COMPASS на SPS была разработана система управления обработкой данных , которая обеспечивает автоматическую обработку данных и управление на различных типах вычислительных ресурсов.
DIRAC Interware использовался для интеграции распределенных гетерогенных вычислительных ресурсов и ресурсов хранения для моделирования экспериментов NICA MPD.
Более 50 000 работ по моделированию методом Монте-Карло в эксперименте NICA MPD были выполнены на Tier1 и Tier2 ОИЯИ с использованием DIRAC.
В 2019 в OИЯИ Tier2 добавлены в виртуальные организации:
ILC (WLCG http://www.linearcollider.org),
MPD (JINR NICA),
BM@N (JINR NICA),
COMPASS (WLCG CERN).
Для виртуальной организации JUNO на Tier2 будет установлено и настроено несколько сервисов:
- CE JUNO — будет разрешено запускать задачи в ферме JINR/Tier2
- VOMS сервер, зеркало основного VOMS в Китае;
- CVMSF stratum-1 сервер, для поддержки, доступ к репозиториям ПО JUNO в Китае.
В настоящее время вычислительными ресурсами, доступными для совместной работы, являются пакетная служба CERN, вычислительный центр ОИЯИ и суперкомпьютер Frontera техасского суперкомпьютерного центра.
Системы хранения.
- dCache.
Основной системой хранения больших объемов информации в ЦИВК ОИЯИ служит аппаратно-программный комплекс dCache. Для сайта Tier2:
1-ый диск для 2-х виртуальных организаций LHC CMS и ATLAS ( Typically Supermicro and DELL) 2PB
2-ий диск для EGI Vos & локальных пользователей : 147TB
- EOS (4PB)
EOS предназначена для хранения и доступа к большим массивам информации, в том числе и для распределённой коллективной генерации данных, сохранения “сырых” данных установок, преобразования и анализа данных. В настоящее время наш EOS имеет емкость 4PB. Является общим для Tier1 и Tier2. Для хранения сырых данных на текущий момент используют эксперименты BM@n ~81TB, MPD ~84GB данных моделирования,ALICE 712TB.
- XRootD (40GB)
XRootD - это полностью универсальный набор для быстрого, с малым временем ожидания и масштабируемого доступа к данным, который может обслуживать любые типы данных, организованные в виде иерархического пространства имен, подобного файловой системе, на основе концепции каталога. Предназначен для VO PANDA.
- AFS (Andrew File System).
Служба AFS (Andrew File System) предоставляет сетевое хранилище файлов для пользователей, в частности домашних каталогов и пространств проектов. В ЦИВК установлено 7 серверов AFS . Общее пространство AFS составляет ~12.5 TB
- NFS
В ЦИВК установлено 5 серверов NFS . Общее пространство NFS составляет ~11 TB
В состав ЦИВК входит несколько серверов пользователей и
служб ОИЯИ:
batch, WWW, БД mysql и Oracle; e-mail; DNS,мониторинг Nagios, WLCG и другие. Эти серверы работают с основном на 64-х битных аппаратных Xeon и Opteron.
Программное обеспечение систем хранения :
- dCache-3.2
- Enstore 4.2.2 for tape robot.
- EOS aquamarine
- cvmfs
- CMS Phedex
- ALICE Vobox
- UMI-4
- openafs
- XROOTD 3 —->EOS for ALICE
- WLCG —>UMI-4 for ALICE
- WLCG grid–environment for the VOs.
Monitoring.
Для обеспечения правильной и надежной работы оборудования компьютерного комплекса и своевременного предоставления актуальной информации о его работе была разработана специальная система мониторинга.
Мониторинг позволяет контролировать системы климат-контроля и энергоснабжения, локальное сетевое оборудование, телекоммуникационные линии и вычислительные узлы, выполняемые задания, системы хранения на дисках и ленте и отслеживать работу всей грид-инфраструктуры ОИЯИ в режиме реального времени.
Количество узлов, включенных в мониторинг, составляет более 1200. Для обеспечения такого обширного мониторинга используется система кластерного мониторинга, основанная на программном обеспечении Icinga2. Визуализация осуществляется с помощью Grafana и NagVis.
Сеть и телекоммуникация.
Одним из наиболее важных компонентов ЦИВК ОИЯИ обеспечивающих доступ к ресурсам и возможность работы с большими данными, является сетевая инфраструктура. В настоящее время в ЦИВК :
-
Local Area Nertwork (LAN) 10Gbps, запланировано обновление до 100Gbps
-
Wide Area Network (WAN) 100Gbps, 2x10Gbps , запланировано обновление WAN до 2x100Gbps.
Инфраструктура сайта JINR-LCG2 и сервисы , 2017:
Инфраструктура сайта JINR-LCG2 и сервисы , 2018: