Les nouveautés de Talend Winter '20

Dévoilez l’essentiel de vos données

Capturez la data intelligence à la source

Augmentez considérablement l’efficacité de la data intelligence

Diffusez la Data Intelligence à grande échelle

Capturez la data intelligence à la source

Talend Data Inventory gère un inventaire unifié de tous les ensembles de données utilisés dans Pipeline Designer et Data Preparation. Cette nouvelle fonctionnalité vous permet de créer un inventaire, sélectionner, consommer et partager des données, toutes issues d’une source unique de confiance. Calculez automatiquement le “data intelligence score” de vos données à la source et facilitez leur diffusion contrôlée vers davantage d’utilisateurs. Plus de silos ni d’ensembles de données dupliqués. Chaque utilisateur peut désormais automatiquement partager des données et en extraire plus d’intelligence.

Augmentez considérablement l’efficacité de la data intelligence

Pipeline Designer offre désormais des fonctionnalités intelligentes pour la qualité des données. Data engineers et utilisateurs peuvent intégrer, standardiser, nettoyer et enrichir les données dans une seule application. La qualité des données actives et leur protection éliminent les problèmes de qualité avant consommation ou réplication. Aucun codage ni transformations complexes ne sont requis, ce qui permet de bénéficier d’une meilleure productivité en termes de développement et de maintenance. En combinaison avec Talend Data Inventory, vous pouvez ainsi augmenter considérablement l’efficacité de la Data Intelligence.

Diffusez la Data Intelligence à grande échelle

Démocratisez la Data Intelligence grâce au Magic Fill qui simplifie la préparation de données via le machine learning. En associant qualité des données intelligente et IA explicable, vous pouvez standardiser les données et garantir la qualité à grande échelle. Améliorez la réutilisation des données via des évaluations participatives, des commentaires et des approbations dans toute l’entreprise. Cette nouvelle automatisation offre des niveaux de productivité plus élevés et permet de diffuser la data intelligence à plus grande échelle.

Améliorations

La version Talend Winter ’20 propose de nombreuses améliorations pour la productivité de tous les produits. Fournissez des données fiables plus rapidement pour des décisions plus intelligentes. Assurez la connexion à davantage d’applications depuis AWS, Azure, Cloudera, Databricks, Google, Snowflake et Workday et migrez plus vite vers le cloud. Pour plus de détails sur les spécifications, les composants et les connecteurs de chaque version/produit https://help.talend.com/

Easily connect to more apps with Talend

Data Inventory

  • Une nouvelle application Cloud pour créer un inventaire, sélectionner, consommer et partager des données, toutes issues d’une source unique de confiance.
  • L’aperçu présente toutes les informations pertinentes sur un ensemble de données, en un seul clic, via son identification.
  • Attributs personnalisés pour enrichir et augmenter les ensembles de données avec des métadonnées personnalisées.
  • La recherche par facettes facilite la découverte des ensembles de données en fonction des métadonnées disponibles, notamment qualité et sensibilité sémantique.
  • Provenance et destination indiquent les préparations et les pipelines utilisant un ensemble de données désigné.
  • La curation sociale permet évaluations, certification et marquage des ensembles de données.

Pipeline Designer

  • La préparation des données intelligente standardise, nettoie et enrichit les données directement dans Pipeline Designer.
  • Les améliorations apportées au processeur de jointure offrent une meilleure expérience utilisateur en affichant les mises à jour des données en temps réel tandis que vous créez votre pipeline : aplatissement des enregistrements, transition de l’aperçu jusqu’à l’échantillon et sélection d’un ensemble de données dans le flux principal.
  • Les mises à jour de test améliorent la productivité et accélèrent l’expérience d’apprentissage.
  • La configuration actualisée des profils d’exécution Databricks permet de réutiliser un cluster Databricks existant configuré pour être utilisé avec Pipeline Designer.
  • Remote Engine for Pipelines sur Azure est désormais entièrement supporté avec le modèle de ressources Azure (script de formation Cloud pour une configuration simplifiée).
  • Documentation et partage automatiques de tout ensemble de données utilisé par Pipeline Designer pour réutilisation dans Data Inventory.

Big Data

  • Support de l’utilisation temporaire sur clusters Databricks sur Azure (déjà disponible sur AWS).
  • Support de Databricks Delta Lake. Lecture/écriture de/vers tables Delta Lake Bronze et fonctionnalités Delta Lake ACID, voyage dans le temps et partitionnement.
  • Support de :
    • Databricks 5.5 LTS (long terme) sur Azure et AWS
    • Hortonworks Data Platform (HDP 3.1)
    • Google Dataproc 1.4
    • Apache Kafka 2.2.1
    • Azure Data Lake Store (ADLS) Gen 2
  • Support des API et fonctionnalités Spark les plus récentes, notamment Spark Datasets/Dataframes. Application automatique des avantages de l’optimisation Spark.

Talend Studio / Data Integration

  • Mises à jour Studio mensuelles pour des fonctionnalités et des correctifs plus rapides
  • Support d’un référentiel local (Nexus) pour le référentiel hébergé du proxy Talend des bibliothèque Studio supplémentaires
  • Audit de tâches plus rapide et plus performant et résolution des problèmes avec support de Log4j2
  • Support d’Azure Data Lake Store (ADLS) Gen 2 et Workday

Data Quality

  • Une IA explicable pour les règles de correspondance vous permet de comprendre visuellement l’heuristique d’un modèle généré par une campagne de groupement.
  • DQ Datamart permet désormais de collecter des statistiques de qualité des données dans Snowflake, par exemple intégralité des données liées, plage de valeurs, nombre de doublons.
  • Anonymisation améliorée pour la protection de la vie privée dès la conception et la conformité en matière de confidentialité des données avec possibilité d’identifier les enregistrements rejetés dans les composants de masquage.
  • Gestion des exceptions pour les enregistrements qu’il n’est pas possible de masquer automatiquement dans un flux de sortie brut dédié.

Connectivité Cloud

  • Connectivité native pour Microsoft Azure Event Hubs ; Google Pub/Sub, BigQuery et Cloud Storage ; NetSuite et Workday.
  • Support des API REST pour la lecture des données par lots et en streaming
  • Glisser-déplacer simplifié de fichiers CSV et Excel à stocker dans Talend Cloud (Cloud Engine)

Cloud API Designer

  • Un nouveau widget de sélection des types de données offre une meilleure détectabilité des options via l’exploration rapide des types et des constructions disponibles ainsi que du filtrage.

Cloud API Tester

  • API Tester – Free Edition est un outil gratuitdistribué via Chrome Web Store et permettant d’interagir visuellement avec les API HTTP.
  • API Tester propose désormais une API qui permet de manipuler vos projets test depuis des scripts de ligne de commande et des pipelines d’intégration/livraison continue.

Talend Data Mapper

  • Écriture simplifiée de TDM vers une structure Studio plate générant le mapping et la structure TDM cible.
  • Le nouvel environnement d’exécution indépendant d’Eclipse est plus robuste, universel et adapté au Cloud. Il fournit une flexibilité accrue pour exécuter Talend Data Mapper dans différents environnements et applications.

Data Preparation

  • Les améliorations apportées à la standardisation et aux formats de données Magic Fill incluent le respect de la casse et la transformation sémantique état US/code état, pays/code pays et dates.
  • Tous les ensembles de données utilisés par Cloud Data Preparation sont automatiquement documentés et partagés en vue d’être réutilisés dans Data Inventory.
  • Cloud Data Preparation s’appuie sur la connectivité Data Inventory pour accéder à un vaste éventail de sources de données.
  • Amélioration de la performance pour les aperçus et les transformations interactives.

Data Stewardship

  • Le support de Data Stewardship et Data Dictionary sur Azure améliore les fonctionnalités de Data Governance, notamment la reconnaissance de schémas pour le profilage automatique des données et des fonctionnalités basées sur les workflows pour l’arbitration, la validation et la correction des données.
  • Amélioration de l’expérience utilisateur et unification avec d’autres applications Talend ainsi qu’amélioration de l’interface utilisateur pour identifier et zoomer sur les tâches qui nécessitent de l’attention.

Data Catalog

  • Améliorations de l’interface pour personnaliser l’expérience utilisateur (notamment page d’accueil, disposition des pages objet, navigation) selon les besoins de chaque rôle et de chaque utilisateur dans l’entreprise.
  • La connectivité est étendue avec les nouveaux outils Metadata Bridge pour Azure Data Factory, AWS Glue, Databricks Unified DataServices, Informatica Data Enginiering et Denodo.
  • Interface utilisateur en japonais et en français.

Talend Cloud Platform / Talend Management Console (TMC)

  • Création et mise à l’échelle automatiques de moteurs distants et de leurs clusters via une API Remote Engine
  • API d’orchestration pour la création et la récupération de tâches et de plans
  • Gestion améliorée de l’état des tâches avec actualisation permanente pour les services de données et les itinéraires
  • Services de données et routes faciles à déployer et à gérer pour des scénarios haute disponibilité
  • Support de la messagerie instantanée directe pour tous les produits Talend
  • Avec un fournisseur Single Sign-On, vous pouvez personnaliser l’URL de déconnexion de vos applications Cloud Talend.

Talend Administration Center (TAC)

  • Support du pilote MS JDBC pour SQL Server en tant que base de données TAC, avec fonctions de sécurité et de haute disponibilité, notamment : SslProtocol, Always Encrypted, groupes de disponibilité Always On et authentification Azure AD.
  • Nouveaux paramètres pour configurer la rotation des journaux pour business.log et technical.log.

Prêt à faire vos premiers pas avec Talend ?