Le CREFOR améliore ses analyses à l’aide de Talend Integration Suite

Le GIP spécialisé dans la relation entre l’emploi et la formation en Haute-Normandie a déployé la solution d’intégration de données open source de Talend pour améliorer les échanges de données avec ses partenaires et la cohérence des données qu’il produit.

Le CREFOR (Centre de ressources emploi formation) est un groupement d’intérêt public (GIP) créé sur la volonté commune de ses quatre fondateurs : l’Etat, la Région Haute-Normandie, les organisations interprofessionnelles d’employeurs et les organisations interprofessionnelles de salariés. Son objet principal est d’intervenir comme expert des questions emploi et formation. En tant qu’outil d’aide à la décision, il informe, alimente et accompagne l’ensemble des instances et acteurs concernés par ces questions.  Son site Internet www.crefor-hn.fr regroupe notamment toute l’information sur les actions de formation que les structures régionales mettent en place pour l’ensemble des professionnels, qu’elles soient de courte durée, qualifiantes et/ou diplômantes.

Une refonte technique pour simplifier et automatiser les processus de collecte et d’analyse de l’information

Au-delà de son rôle d’information, le CREFOR est également un observatoire statistique dédié à l’emploi et la formation, réalisant des études sur les métiers, les bassins d’emploi, ainsi que la formation initiale et continue en Haute Normandie. Pour réaliser ses études, il s’appuie sur deux principales bases de données qui stockent d’une part l’ensemble des actions et organismes de formation et d’autre part, des statistiques diverses sur les bassins d’emploi en Haute-Normandie.

Dans le cadre du projet de refonte technique de ces deux bases de données, le CREFOR cherchait un outil capable de réaliser des tâches d’import/export et de transformation afin de simplifier les échanges avec ses partenaires. « Nous disposions jusqu’alors d’outils mis en œuvre une quinzaine d’années auparavant qui commençaient à montrer leurs limites » témoigne Didier Dumortier, chef de projet du CREFOR. « Nous avions temporairement développé un outil sur la base de requêtes Access pour continuer de répondre à nos missions, alors que nous développions notre nouveau système de gestion des offres de formation. Reposant aujourd’hui sur une base de données PostGreSQL, celui-ci offre un back-office pour la saisie des données et un front-office pour les consultations et l’accès à un espace privé. Ce dernier est réservé aux organismes de formation et leur permet de saisir directement leurs offres, avec un workflow de validation impliquant le CREFOR. »

La seconde base de données, à vocation décisionnelle, consolide de nombreuses informations sur les bassins d’emploi de Haute Normandie – depuis des listes de diplômes et d’établissements, jusqu’au nombre de demandeurs d’emploi.  « Nous cherchions ici également un outil capable d’assurer la cohérence de nos données, via des fonctions de vérification » poursuit Didier Dumortier. « Nous avons orienté nos recherches vers l’open source principalement pour des questions d’ouverture, d’évolutivité et de facilité de prise en main, au-delà de l’aspect purement financier dont nous devions également tenir compte en tant qu’organisme public. Notre société de service – Altic – nous a conseillé de tester Talend Open Studio. Après quelques tests, la solution nous a effectivement paru la mieux adaptée à notre problématique. Enfin, nous avons confirmé notre choix en consultant quelques professionnels du décisionnel. »

Talend Integration Suite à la base du moteur de recherche d’offres de formation

Après un premier test portant sur un projet d’observatoire sur la validation des acquis, le CREFOR a décidé de déployer Talend Integration Suite afin de bénéficier des fonctions d’analyse des performances des jobs (via les fonctionnalités d’administration de Talend Integration Suite), ainsi que du référentiel centralisé. Dans un premier temps, la solution a été utilisée pour industrialiser les échanges de données (imports et exports) avec les partenaires du CREFOR – par exemple, le Pôle Emploi et la Cité des Métiers. Les données sont collectées, puis extraites et transformées en format LHEO (spécifique au domaine de la formation) ou XML, et enfin mises à disposition sur des serveurs FTP. A terme, ces opérations seront entièrement automatisées.

Talend Integration Suite est également utilisé dans le cadre d’un projet décisionnel. Une nouvelle base de données a été développée, Talend consolidant les informations afin d’alimenter ses différentes tables. Le système tire parti des fonctions de restitution de Jaspersoft pour créer des tableaux de bord et des graphiques utilisés par les chargés d’étude. Trois grands domaines sont concernés : le marché du travail (offres et demandes d’emploi), l’emploi régional (statistiques sur le nombre d’actifs, sur les différents secteurs, etc.) et les formations. Par exemple, le CREFOR a réalisé récemment une étude sur l’évolution du nombre d’apprentis sortant des CFA à court et moyen terme. Cette étude s’appuyait notamment sur les réponses à un questionnaire réalisé par la Région.

Gains de temps, de fiabilité et de qualité

Selon Didier Dumortier, grâce à la convivialité de la solution de Talend, l’équipe informatique s’est déchargée d’une partie des tâches qui lui étaient auparavant réservées : « Dans le passé, le service informatique était le seul à pouvoir mettre à jour la base de données, chaque année. Le système de requête basé sur Access était très complexe à maîtriser et la mise à jour des informations prenait beaucoup de temps. Aujourd’hui, ce sont les chargés d’étude qui assurent ces activités. Même s’ils ne sont pas informaticiens à l’origine, ils ont suivi une formation Talend et gèrent désormais eux-mêmes le système d’alimentation des bases de données, qui grâce au mode de programmation graphique de Talend, est plus facile à exploiter. Nous bénéficions ainsi d’une meilleure qualité finale des données : les chargés d’étude sont des spécialistes des données qui maîtrisent parfaitement l’ensemble de la chaîne de production et qui sont mieux à même d’améliorer la pertinence des données qu’ils vont utiliser dans leurs analyses. »

Parallèlement, le CREFOR souligne les bénéfices financiers offerts par Talend : « En tant que GIP nous ne vendons rien, nous ne sommes donc pas tenus de réaliser une étude de ROI. Toutefois, nous sommes conscients que nous sommes désormais en mesure de produire plus efficacement des données de meilleure qualité. De plus, la "prise de pouvoir" des utilisateurs finaux permet au service informatique de se concentrer sur d’autres tâches, ce qui au regard de sa taille et de sa charge n’est pas un luxe ! Enfin, il est clair que nous allons bénéficier d’une importante hausse de productivité grâce aux possibilités de réutilisation et aux fonctions d’automatisation. Dans le passé, la maintenance et l’exploitation de scripts manuels réclamaient beaucoup de temps et nécessitaient des interventions manuelles, devenues inutiles grâce à Talend » ajoute Didier Dumortier.