Avec StorNext, nous savions que nous disposions d’une solution capable de répondre à nos besoins immédiats, à savoir le stockage de 400 To de données satellitaires, et d’évoluer pour prendre en charge plusieurs pétaoctets de données au cours des dix prochaines années.
ACRI-ST améliore notre compréhension de la Terre grâce aux données satellitaires et au stockage en mode «scale-out» StorNext
ACRI-ST, dont le siège social est basé dans le Sud-Est de la France, joue un rôle clé dans le traitement et l’archivage des données satellitaires stratégiques de l’Agence spatiale européenne (ESA). La société a débuté en tant que petit organisme de recherche et développement, puis a progressivement élargi son activité à l’archivage et au retraitement des données. Aujourd’hui, elle exploite des datacenters pour préserver les informations de différents satellites et en assurer l’accès.
Au service de la recherche scientifique de pointe
ACRI-ST permet aux chercheurs du monde entier de tirer parti de plus de vingt ans d’informations et offre des services de traitement des données visant à faciliter la recherche. « Démarrer à partir des données satellitaires brutes ralentirait considérablement le travail des chercheurs », explique Gilbert Barrot, DSI d’ACRI-ST. « Il leur faudrait faire le tri parmi une multitude d’images volumineuses avant de pouvoir commencer l’analyse ». C’est pourquoi les serveurs d’ACRI-ST traitent les images brutes de la région étudiée et fournissent directement aux chercheurs les données dont ils ont besoin.
Préparation en vue du stockage de pétaoctets de données
Pour se préparer au lancement d’un nouveau satellite de l’ESA, Sentinel-3, l’équipe ACRI-ST avait besoin d’un nouvel environnement de stockage à même de gérer non plus les dizaines de téraoctets de données des projets précédents, mais plusieurs pétaoctets. « Il nous fallait une solution capable de répondre à nos besoins immédiats, mais aussi d’évoluer de manière économique pour prendre en charge le volume croissant de données collectées par les satellites », indique Gilbert Barrot. Dans le même temps, l’équipe ACRI-ST devait assurer aux scientifiques internes et aux chercheurs externes un accès aisé aux données.
Déploiement de StorNext pour sa vitesse et son évolutivité
L’équipe ACRI-ST a choisi la solution de stockage multiniveau StorNext de Quantum pour gérer ses workflows à valeur ajoutée, archiver les données satellitaires et les rendre accessibles aux chercheurs. StorNext offre un environnement multiniveau garantissant un parfait équilibre entre évolutivité et accès ultrarapide aux données. Il fonctionne aussi bien sous Linux que Windows.
« La combinaison du stockage sur disque et sur bande au sein d’un même environnement nous permet de gagner sur les deux tableaux », ajoute Gilbert Barrot. « Nous pouvons conserver un cache des données immédiatement accessible sur disque, tout en stockant la majeure partie du référentiel sur des bandes plus économiques. Avec StorNext, nous savions que nous disposions d’une solution capable de répondre à nos besoins immédiats, à savoir le stockage de 400 To de données satellitaires, et d’évoluer pour prendre en charge plusieurs pétaoctets de données au cours des dix prochaines années. »
Extension de l’archive
ACRI-ST capitalise déjà sur l’évolutivité de la plate-forme StorNext. En 2016, la société a remporté un appel d’offres concernant la prise en charge du service EODAS (Earth Observation Data Archiving Service) de l’ESA destiné à l’archivage de toutes les données satellitaires des missions passées et actuelles de l’ESA (à l’exception de celles des satellites Sentinel). ACRI-ST devait fournir une capacité de 6 Po pour les données historiques et de 2 Po pour les missions en temps réel.
Pour répondre à cette attente, l’équipe ACRI-ST a étendu son archive Quantum. « L’ESA souhaitait une archive robuste offrant des fonctions de restitution et de distribution en masse des données. À cet égard, la solution d’archivage de Quantum était parfaite », déclare Gilbert Barrot. « Nous avons pu augmenter la capacité de manière simple et économique, tout en maintenant le faible encombrement au sol de notre datacenter ». ACRI-ST a également mis sur pied un environnement pratiquement identique au Luxembourg, via sa filiale adwaïsEO, en guise d’archive principale. Les données sont ingérées au Luxembourg et des copies sont expédiées sur le site français pour une protection hors site.
Protection à long terme de précieuses données satellitaires
L’archive d’ACRI-ST tire parti de la fonctionnalité Active Vault de StorNext pour une gestion entièrement automatisée des médias. Les fonctions EDLM (Extended Data Life Management) de l’archive assurent quant à elles la protection des données stockées sur bande. La technologie EDLM détecte les premiers signes d’usure des médias et transfère automatiquement les fichiers vers de nouvelles bandes en vue d’une préservation à long terme. L’archive est compatible LTFS (Linear Tape File System), ce qui permet aux chercheurs de lire directement les données sans l’aide de solutions Quantum, tandis que sa prise en charge du Cloud offre la flexibilité nécessaire pour répondre aux besoins futurs.