C’est un plaisir de vous présenter Pipeline Designer : un environnement de conception Cloud nouvelle génération pour l’intégration des données qui permet aux développeurs de développer et déployer des pipelines de données en quelques minutes, de réaliser des conceptions de manière fluide sur des scénarios en batch …
Lire l’article
Dans notre dernier article, nous avons évoqué le développement de jobs de traitement de données à l’aide d’Apache Beam. Nous abordons dans cet article l’une des questions les plus fréquentes du monde des big data modernes : le traitement des données en streaming. La principale différence entre …
Lire l’article
Dans mon article précédent, « Talend et Apache Spark : Introduction technique », je vous ai expliqué l’équivalence entre les jobs Spark Talend et la commande Spark submit. Dans cet article, je souhaite continuer à évaluer les configurations Spark Talend et la commande Apache Spark submit. Nous …
Lire l’article
Plusieurs options sont désormais disponibles en matière d’architecture big data en temps réel. L’architecture Lambda n’est plus la seule possibilité. Dans cette série d’articles, je vous présente deux de ces architectures, dont Lambda, et je vous propose un comparatif s’appuyant sur des cas d’utilisation concrets. Vous souhaitez …
Lire l’article
With the Euro 2016 tournament now drawing to a close, and having two kids of my own in a competitive soccer league, even a French husband; I now live and breathe football (or soccer depending on your frame of reference) almost every single day. Soccer, much …
Lire l’article
As part of a POC of Talend v6.1 Big Data capabilities, I was asked by one of our long-time customers, a major e-commerce company, to present a solution for aggregating huge files of clickstream data on Hadoop. The input data was a giant clickstream file (larger than …
Lire l’article