Nous avions besoin d’un système de stockage solide capable d’évoluer pour prendre en charge d’énormes jeux de données stockés sur divers types de médias. Nous recherchions aussi une solution stable disponible comme nous 24 h/24 et 7 jours/7.
Gérer l’accès à plusieurs pétaoctets de données
Le logiciel de gestion des données de Quantum gère l’archivage des données du programme EOS (Earth Observing System)
Chaque jour, les satellites du programme EOS (Earth Observing System) de la NASA diffusent plusieurs téraoctets de données collectées sur la Terre, les océans et l’atmosphère. Ces données sont mises à la disposition des climatologues du monde entier via le système EOSDIS (Earth Observing System Data and Information System) de la NASA — l’un des projets informatiques les plus ambitieux jamais imaginés. Le stockage de ces informations irremplaçables est confié au logiciel Quantum de gestion des données.
Une croissance exponentielle des données
Depuis sa mise en service en 1999, l’EOSDIS de la NASA est devenu l’un des référentiels de données les plus conséquents et les plus actifs. Chaque jour, il s’enrichit de 3 téraoctets de nouvelles données et diffuse 2 téraoctets d’informations aux chercheurs du monde entier, ménageant à des centaines de milliers d’utilisateurs un accès à plus de 20 millions de fichiers renfermant plus d’un pétaoctet d’informations.
Les principaux composants du système EOSDIS ont été développés par Raytheon Imagery et Geospatial Systems. « Ces données, qui appartiennent au patrimoine national, fourniront un précieux éclairage sur les évolutions de notre planète », précise le directeur technique du projet chez Raytheon. « Leur stockage, leur agencement et leur mise à la disposition des scientifiques sont des tâches décisives qui représentent un énorme enjeu. »
Compte tenu de l’ampleur de la tâche, le système se devait d’être structuré de sorte que les applications puissent effectuer des opérations en écriture de données et lire directement ces dernières à partir de librairies automatisées. « Nous avions besoin d’un système de stockage solide capable d’évoluer pour prendre en charge d’énormes jeux de données stockés sur divers types de médias », explique le directeur technique du projet chez Raytheon. « Nous recherchions aussi une solution stable disponible comme nous 24 h/24 et 7 jours/7. »
Un accès ultra-performant aux données sur disque comme sur bande
La réussite d’EOSDIS a consisté à mettre au point un système de gestion de cache disque ultra-rapide, avec accessibilité permanente des métadonnées, permettant d’explorer rapidement plusieurs millions de fichiers ainsi que des pétaoctets de données primaires stockés sur bande. Le logiciel Quantum de gestion des données est en quelque sorte le « ciment » du système, et permet aux utilisateurs d’y accéder efficacement.
Le logiciel de gestion des données de Quantum transforme les librairies en dispositifs de stockage de masse à accès direct en ligne — permettant aux utilisateurs, administrateurs et applications d’archiver plusieurs pétaoctets de données. Parce qu’il présente les librairies automatisées comme un périphérique et un point de montage UNIX, les utilisateurs accèdent aux fichiers résidant sur des librairies comme ils le feraient sur des disques. Le logiciel Quantum de gestion des données gère le cache disque, conserve les métadonnées en ligne via des clusters de serveurs haute disponibilité et, de par sa montée en capacité, est capable de traiter un nombre illimité de fichiers.
« Le système finalisé nous permet d’exploiter le plus efficacement possible nos ressources de stockage », poursuit le directeur technique du projet chez Raytheon. « Il nous procure un environnement de stockage hautes performances, un accès aisé aux données depuis toutes nos applications, et une mobilisation massive de nos ressources. La totalité des opérations ― récupération de fichiers, mise en cache disque, et diffusion sous forme de fichier ou de jeu de médias dupliqué ― s’effectue à l’arrière-plan. » Aux utilisateurs qui accèdent aux données via le site Web EOSDIS, les données apparaissent comme si elles étaient stockées dans une seule et même base de données.
Le support dispensé par Quantum, aussi bien pour l’architecture système que la continuité du service, a été décisif pour la réussite du projet. Le directeur technique du projet chez Raytheon conclut en ces termes : « L’engagement total dont ont fait preuve les principales parties prenantes à ce projet est l’une des clés de son succès. »