Talend fournit un environnement de développement qui vous permettra d’interagir avec de nombreux stockages Big Data sources et cibles, sans avoir besoin de comprendre ou d’écrire de code complexe.

Cette formation traite des Jobs Big Data Streaming qui utilisent le framework Spark Streaming.

Durée 1 jour (7 heures)
Public Toute personne souhaitant utiliser le Studio Talend pour interagir avec les systèmes Big Data.
Pré-requis Avoir suivi la formation Talend Big Data Basics.
Objectifs

À l’issue de cette formation, vous pourrez :

  • Vous connecter à un cluster Hadoop depuis un Job Talend
  • Utiliser des variables de contexte et des métadonnées
  • Lire et écrire des fichiers dans HDFS ou dans HBase, dans un Job Big Data Batch ou Big Data Streaming
  • Lire et écrire des messages dans un topic Kafka en temps réel
  • Configurer un Job Big Data Batch pour qu’il utilise le framework Spark
  • Configurer un Job Big Data Streaming pour qu’il utilise le framework Spark Streaming
  • Sauvegarder des logs dans Elasticsearch
  • Configurer un dashboard Kibana
  • Ingérer un flux de données dans une base de données HBase NoSQL
Plan du cours

Introduction à Spark

  • Concepts

Lecture et écriture de messages avec Kafka

  • Comprendre les principes de base de Kafka
  • Créer un topic dans Kafka
  • Publier des messages dans un topic spécifique avec un Job standard
  • Consommer des messages dans un topic spécifique avec un Job standard
  • Publier des messages dans des topics Kafka, en temps réel, avec un Job Big Data Spark Streaming
  • Consommer des messages dans des topics Kafka, en temps réel, avec un Job Big Data Spark Streaming
  • Enrichir des données avec une table MySQL et un lookup dans un Job Big Data Spark Streaming

Découverte de Spark

  • Comprendre les principes de base de Spark
  • Analyser des données clients
  • Produire et consommer des messages en temps réel

Cas d’utilisation : traitement de fichiers de log – monitoring

  • Découvrir le cas d’utilisation
  • Monitorer des logs enrichis
  • Sauvegarder des logs dans Elasticsearch
  • Utiliser et modifier un dashboard Kibana pour visualiser des données

Cas d’utilisation : traitement de fichiers de log – reporting

  • Générer des rapports d’activité à partir de fenêtres de données
  • Consommer des messages depuis un topic Kafka
  • Utiliser le composant tWindow pour planifier le traitement

Cas d’utilisation : traitement de fichiers de log – analyse de lots

  • Ingérer des flux de données
  • Analyser des logs avec un Job Batch