L'Ifremer navigue dans un océan de données avec Talend Integration Suite au gouvernail

L'institut gère plusieurs dizaines de flux de données à l'aide de la solution d'intégration de données open source d'entreprise de Talend.

L'institut Ifremer

L'Ifremer, Institut français de recherche pour l'exploitation de la mer, est un Établissement public à caractère industriel et commercial créé en 1984. Placé sous la tutelle conjointe des ministères de l'Écologie, de l'Énergie, du Développement durable et de la Mer, de l'Enseignement supérieur et de la Recherche et de l'Alimentation, de l'Agriculture et de la Pêche, il contribue, par ses travaux et expertises, à la connaissance des océans et de leurs ressources, à la surveillance du milieu marin et littoral, et au développement durable des activités maritimes.

À ces fins, il conçoit et met en œuvre des outils d'observation, d'expérimentation et de surveillance, et gère la flotte océanographique française (8 navires, dont 4 hauturiers ; 1 submersible habité ; 1 engin téléopéré pour grande profondeur et 2 AUV - Autonomous Underwater Vehicle) pour l'ensemble de la communauté scientifique. L'institut s'appuie sur un budget annuel de près de 235 millions d'euros et sur 1 500 salariés répartis sur 5 centres (Bretagne, Manche-Mer du Nord, Atlantique, Méditerranée, Pacifique).

D'importants flux d'informations

Avec la recherche, la surveillance et l'analyse a cœur de ses activités, l'Ifremer manipule de nombreux flux d'informations : des données issues de multiples sources hétérogènes (océanographie opérationnelle, campagnes à la mer, halieutique, …) sont intégrées dans des bases de données ou sont transformées dans d'autres formats normalisés (NetCDF, OGC, …). Par exemple, des données relatives à l'activité de pêche, en format texte ou normalisé (XML) émanant de diverses sources (organismes administratifs, Ministères, Commission Européenne, …) sont centralisées par l'Ifremer d'une part à des fins de conformité réglementaire et d'autre part en vue d'être restituées aux scientifiques ainsi qu'au grand public (dans ce cas sous la forme de données agrégées).

Jusqu'en 2009, l'Ifremer faisait appel à des sous-traitants pour intégrer ces données via des développements Java, C, C++, …. « Nous avons pris conscience que nous pouvions gagner du temps, tout en économisant des coûts, en mettant en œuvre en interne une solution d'intégration de données » explique Erwan Bodéré, Architecte des Systèmes d'Information. « Même si nous avons continué de sous-traiter les projets les plus complexes, certaines tâches simples sont désormais réalisées en interne ce qui nous permet de gagner en flexibilité et en réactivité.»

Talend Integration Suite pour gagner en productivité

La direction des systèmes d'information de l'Ifremer a ainsi testé Talend Open Studio, pour finalement décider de déployer Talend Integration Suite qui offre de surcroît un référentiel centralisé facilitant la collaboration, des services de support dédiés et une console de supervision permettant de créer et d'exécuter des tâches programmées, tout en suivant l'activité (suivi des charges du serveur et analyse des logs).

Aujourd'hui, la plupart des nouveaux flux est créé à l'aide de Talend Integration Suite et un grand nombre de flux existants est repris progressivement. Le projet SIH (Système d'Information Halieutique) a par exemple récemment migré ses données d'un modèle à un autre (soit plusieurs dizaines de tables).

Le Système d'Information Halieutique : étudier la mer et ses ressources

Le SIH constitue le réseau pérenne et opérationnel d'observation des ressources halieutiques et des usages associés (Pêches professionnelle et progressivement pêche récréative). Celui-ci repose sur une approche statistique exploratoire, multivariée et intégrée qui vise à rassembler différentes filières d'acquisition de données halieutiques. « Outre la mise à disposition d'informations validées à l'ensemble des programmes de recherche et le soutien aux missions d'avis et d'expertise halieutique institutionnelle de l'Ifremer, le projet vise à l'élaboration d'indicateurs sur les flottilles de pêche et à leur restitution sous forme de synthèses aux différents acteurs de la filière pêche (depuis la recherche jusqu'aux professionnels et gestionnaires) et du grand public » précise Erwan Bodéré.

Cinq actions génériques couvrent, par grands domaines d'information, l'ensemble des tâches nécessaires à un système d'observation performant. Par exemple, l'action "Statistiques de pêche et activité des navires" vise à la connaissance de l'activité de pêche des flottilles françaises et rassemble les données recueillies sur la flotte de pêche maritime et son activité (flotte, métiers, captures, effort de pêche...) via le système déclaratif géré par la Direction des Pêches Maritimes et de l'Aquaculture (DPMA) et le réseau des observateurs du SIH. Elle met à disposition les données et produit régulièrement des indicateurs et synthèses sur les pêcheries et flottilles de pêche. Parallèlement, l'action "Economie" consiste à collecter des données et à produire des indicateurs économiques sur les flottilles et la filière. Elle intègre progressivement d'autres secteurs de la filière nationale des produits de la mer, dont les dynamiques influencent celles des flottilles.

Des composants développés par et pour l'Ifremer

Les projets de l'Ifremer s'appuyant fréquemment sur des informations géographiques et scientifiques, deux composants spécifiques ont été développés par l'Institut. Le composant NetCDF (network Common Data Form) permet d'intégrer des données revêtant ce format très répandu dans la communauté scientifique et indépendant de tout équipement hardware. Medatlas est un composant permettant d'intégrer des données hydrographiques dans un format ASCII auto-descriptif.

« Talend Integration Suite facilite la personnalisation de l'environnement et offre d'innombrables possibilités de création de flux de données. Sa prise en main est rapide pour des ingénieurs habitués à Java : quelques heures seulement sont nécessaires » commente Erwan Bodéré. « Son deuxième avantage majeur réside dans sa capacité à gérer des volumes très importants de données, nos flux pouvant mettre en jeu plusieurs gigaoctets de données ».

Parmi les autres bénéfices mis en relief aujourd'hui par l'Ifremer, figurent notamment la maîtrise des coûts (l'internalisation de certaines tâches non complexes permet de réduire le recours à l'externalisation, et donc de diminuer les coûts), des hausses de productivité obtenues également grâce à l'internalisation (réactivité accrue, accélération des processus de développement et de la collecte des retours d'expérience), la facilité de personnalisation, la rapidité de programmation et d'exécution, et les hautes performances de la solution.

« Talend Integration Suite nous offre la flexibilité et les performances nécessaires au succès de nos projets. Grâce aux possibilités d'automatisation et d'industrialisation offertes par la solution, nous ne nous préoccupons plus des aspects administratifs liés à l'externalisation et maîtrisons en outre parfaitement les évolutions.» conclut Erwan Bodéré. « Nous sommes ainsi parfaitement outillés pour mener à bien nos missions : conduire et promouvoir des recherches fondamentales et appliquées, des activités d'expertise. »