Развитие исследований в физике высоких энергий, астрофизике, биологии требует совместной работы многих организаций по обработке большого объема данных в относительно короткие сроки.
Для этого необходимы географически распределенные вычислительные системы способные передавать и принимать данные порядка сотен терабайт в сутки, одновременно обрабатывать сотни тысяч задач и долговременно хранить сотни петабайт данных.
Подсистема управления данными включает три сервиса, поддерживающие доступ к файлам:
-ресурс хранения данных (StorageElement, SE),
-сервис каталогов (Catalog Services, CS),
-планировщик передачи данных (DataScheduler, DS).
Для организации хранения данных в среде грид используются различные системы и сервисы. Наиболее распространены следующие из них: Castor, dCache, DPM . Для взаимодействия с которыми разработан специальный сервис SRM (Storage Resource Manager). За перемещение данных на физическом уровне отвечает GridFTS- протокол, разработанный в проекте Globus . Для доступа к файлам dCache используется собственные протоколы (например, DCAP), gridFTP. Для обеспечения необходимой надежности, производительности и организации взаимодействия между остальными сервисами управления данными был создан сервис передачи данных:
FTS (File Transfer Service) , основные обязанности которого:
* обеспечение надежных и удобных механизмов передачи файлов типа «точка-точка», контроль и мониторинг передач,
* распределение ресурсов сайта между различными организациями,
* управление запросами пользователей.
Схема функционирования сервиса FTS:
Ежедневно с помощью FTS между различными сайтами передаются сотни тысяч файлов, а объемы составляют сотни терабайт в день.
FTS предназначен для надежной пересылки файлов между крупными хранилищами данных, в первую очередь, между центрами уровня Tier0 и Tier1