AFS, EOS, CVMFS, XrootD.
Машины интерактивного кластера и вычислительных ферм имеют ограниченное дисковое пространство, предназначенное для хранения собственно ОС, некоторых дополнительных утилит, временных файлов пользователей с непродолжительным сроком хранения и домашних каталогов пользователей (AFS). Поэтому на ферме для хранения данных и ПО используются системы EOS, cvmfs, dCache.
EOS (16582.35 TB).
EOS предназначена для хранения и доступа больших объемов информации, в том числе и для распределённой коллективной генерации данных, хранения “сырых” данных установок, преобразования и анализа данных.
Имеет масштабируемое иерархическое пространство имен. Является общей для Tier1 и Tier2.
Аутентификации пользователей осуществляется через протокол кerberos и сертификаты виртуальных организаций. На всех машинах ЦИВК EOS видна как локальная файловая система: /eos/<name project>, /eos/user/<initial>/<loginId> и позволяет читать и писать данные авторизованным пользователям через протокол xrootd (xrdcp), scp, rsync и тп. Такая схема работы с EOS распространена на все ресурсы МИВК. Глобальный доступ к EOS осуществляется средствами ПО WLCG (srm, gridftp) .
В настоящее время EOS ЦИВК используют для хранения эксперименты: NICA, BM@N, MPD , SPD, baikalgvd, danss, dayabay, dstau, er, fobos, genetics, juno, lgd, panda и др.
Инструкции по работе с EOS находятся здесь .
CVMFS(140TB ).
Файловая система CVMFS служит для развертывания больших пакетов программного обеспечения коллабораций работающих в WLCG. Используется для запуска приложений обработки данных экспериментов. Файлы и каталоги размещаются на стандартных веб-серверах и монтируются в универсальном пространстве имен /cvmfs.
B настоящее время у нас хранятся версии ПО NICA, BM@N, MPD , dstau, er, jjnano, juno, baikalgvd .
Ёмкость cvmfs составляет 140TB (2 machines: 2x70TB r/w RAID1) (до
обновления в маe 2019 было 9.5ГБ)
Инструкция cvmfs находятся здесь.
AFS( 12.5 TB) .
AFS (Andrew File System) Сервис предоставляет сетевое хранилище файлов для пользователей, в частности домашних каталогов пользователей, рабочих пространств :
/afs/jinr.ru/user/….
и проектных пространств:
/afs/jinr.ru/alice/, /afs/jinr.ru/atlas/, /afs/jinr.ru/bes3/, /afs/jinr.ru/cms/ ….
AFS основана на OpenAFS, распределенной файловой системе с открытым исходным кодом, которая обеспечивает архитектуру клиент-сервер для независимого от местоположения, масштабируемого и безопасного обмена файлами.
В ЦИВК установлено 7 серверов AFS . Общее пространство AFS составляет ~12.5 TB
AFS Инструкция здесь.
dCache.
Для хранения больших объемов данных ВО ATLAS и CMS в ЦИВК ОИЯИ служит аппаратно-программный комплекс dCache. Мы поддерживаем следующие установки dCache:
—disk servers ;
—tape robots: ;
—tape lirary (T1CMS) IBM TS3500+ IBM T45500 (VOs ATLAS,CMS)
XROOTD (40GB).
XRootD — это полностью универсальный набор для быстрого, с малым временем ожидания и масштабируемого доступа к данным, который может обслуживать любые типы данных, организованные в виде иерархического пространства имен, подобного файловой системе, на основе концепции каталога. На ЦИВК используется ВО Alice и ВО PANDA.
Программное обеспечение систем хранения :
EOS aquamarine
cvmfs
RUCIO
ALICE VObox
XROOTD 3
UMI-4
WLCG standard program stack
BDII top, BDII site
glite
openafs