페타바이트 데이터의 액세스 관리

퀀텀의 데이터 관리 소프트웨어로 지구 관측 자료 아카이브 관리

NASA의 지구 관측 시스템(EOS) 위성은 매일같이 지구와 해양 및 대기에 관한 수십 테라바이트 용량의 데이터를 전송합니다. 이 데이터는 역대 최고의 야심찬 데이터 프로젝트인 NASA의 지구 관측 시스템 데이터 및 정보 시스템(EOSDIS)을 통해 전세계 기후 연구원들에게 제공됩니다. 이러한 귀중한 정보의 스토리지는 퀀텀의 데이터 관리 소프트웨어에 일임되었습니다.

데이터 용량의 증가

1999년 온라인으로 전환된 이후 NASA의 EOSDIS는 세계에서 가장 큰 규모로 활성화된 데이터 저장소 중 하나가 되었습니다. EOSDIS는 매일 3테라바이트의 신규 데이터를 수신하고 2테라바이트의 기존 정보를 전세계 연구원들에게 배포하며 수십 만명의 사용자들에게 페타바이트 용량의 정보가 담긴 2천만 개 이상의 파일을 제공하고 있습니다.

EOSDIS의 핵심 구성요소는 Raytheon Imagery와 Geospatial Systems에 의해 개발되었습니다. Raytheon의 프로젝트 기술 책임자는 다음과 같이 말했습니다. "이 데이터는 국가적 자원으로 지구의 변화에 대한 방대한 정보를 제공할 것입니다. 이러한 자료를 저장하고 관리하며 관련 인재들과 공유하는 것은 중대한 임무이자 엄청난 과제입니다."

자료의 중대성에 따라 애플리케이션이 테이프 라이브러리에서 직접 데이터를 기록하고 읽을 수 있도록 시스템이 구성되어야 했습니다. Raytheon의 프로젝트 기술 책임자는 다음과 같이 설명했습니다. "...여러 유형의 매체에 저장된 대용량 데이터 세트를 감당할 수 있는 확실한 스토리지 시스템과 24/7 운영을 지원할 수 있는 안정적 솔루션이 필요하였습니다."

디스크와 테이프를 이용한 고성능 데이터 액세스

EOSDIS의 성공 핵심은 고속 디스크 캐시를 관리하여 테이프에 저장된 수백 만 개의 파일과 페타바이트의 프라이머리 데이터를 빠르게 검색할 수 있도록 메타데이터를 지속적으로 제공하는 시스템의 개발이었습니다. 퀀텀의 데이터 관리 소프트웨어는 이러한 시스템을 모두 한데 결합하여 사용자가 효과적으로 액세스 할 수 있도록 합니다.

퀀텀의 StorNext 데이터 관리 소프트웨어는 테이프 라이브러리를 온라인 다이렉트 액세스 대용량 스토리지로 전환시켜 사용자, 관리자 및 애플리케이션으로 하여금 페타바이트 용량의 데이터를 아카이브 할 수 있게 지원합니다. 퀀텀의 데이터 관리 소프트웨어는 자동화된 테이프 라이브러리를 단일 기기와 단일 UNIX 마운트 포인트로 제공하여 사용자가 디스크 장치와 마찬가지로 테이프 라이브러리에 포함된 파일에 액세스 할 수 있게 지원합니다. 퀀텀의 데이터 관리 소프트웨어는 디스크 캐시를 관리하고 메타데이터를 가용성이 매우 높은 서버 클러스터에서 온라인으로 유지하며 무제한의 파일 수를 효과적으로 관리할 수 있도록 조정합니다.

Raytheon의 프로젝트 기술 책임자는 또한 다음과 같이 덧붙였습니다. "완성된 시스템은 스트로지 리소스를 가장 효율적으로 활용할 수 있게 해줍니다. 고성능의 매우 탄력적인 스토리지 환경과 모든 애플리케이션을 통한 간편한 데이터 액세스는 물론 대용량 리소스를 최대한 활용할 수 있습니다. 파일 검색, 디스크 케시의 스테이징 및 파일 또는 복제 매체의 전달 모두가 이를 바탕으로 이루어집니다." 사용자가 EOSDIS 웹사이트를 통해 데이터에 액세스할 경우, 데이터는 마치 단일 데이터베이스에 저장된 것처럼 표시됩니다.

이 시스템의 설계를 지원하고 지속적인 서비스를 제공한 퀀텀의 지원은 프로젝트 성공에 중요한 기여 요소였습니다. Raytheon의 프로젝트 기술 책임자는 "이 프로젝트를 향한 1차 공급업체들의 지원이 성공을 위한 열쇠 중 하나가 되었다"고 밝혔습니다.