Zunächst einmal vielen Dank an alle, die meine letzten beiden Blog-Posts zum Thema Talend und Apache Spark gelesen haben. Falls Sie sich gerade erst zugeschaltet haben und meine früheren Posts noch nicht kennen, können Sie diese unter den folgenden Links abrufen: „Talend und Apache Spark: technische Grundlagen“ …
Artikel lesen
Google Analytics ist ein Online-Dienst von Google, der der Analyse von Datenverkehr auf Webseiten dient. Der Dienst untersucht u. a. die Herkunft der Besucher, ihre Verweildauer auf einzelnen Seiten sowie die Nutzung von Suchmaschinen. Google Analytics wird von fast 50 % aller Websites genutzt. In dieser Dokumentation …
Artikel lesen
Migration in die Cloud 2018 war das Jahr der Cloud. Immer mehr Unternehmen nutzen Cloud-Technologien. Wenn auch Sie dazugehören, brauchen Sie eine klare Vorstellung davon, wie Sie die Cloud am besten einsetzen. Oft ist eines der größten Probleme der Umzug lokaler Datenbestände in den neuen Cloud-Speicher. Ohne …
Artikel lesen
Die Resilient Distributed Datasets (RDD) von Apache Spark sind Sammlungen verschiedenartiger Daten, die so groß sind, dass sie nicht auf einen einzelnen Node passen und deshalb am besten durch Partitionierung auf mehrere Nodes verteilt werden. Apache Spark nimmt die Partitionierung von RDDs und ihre Verteilung auf Nodes automatisch …
Artikel lesen
In meinem letzten Blog-Post, „Talend & Apache Spark: technische Grundlagen“, ging es um die Gemeinsamkeit von Talend Spark Jobs und Spark Submit. Heute möchte ich nun genau da ansetzen und Talend Spark Konfigurationen mit Apache Spark Submit evaluieren. Als erstes schauen wir uns an, wie man die …
Artikel lesen
Die Anforderungen an Unternehmensdaten ändern sich konstant und in immer kürzeren Abständen. Unternehmen, die früher auf die lokale Verarbeitung ihrer Big Data setzten, sind in die Cloud umgezogen. Und Frameworks wie wir sie früher gekannt und geliebt haben, sind auf einmal nicht mehr zeitgemäß. Doch darüber, wie …
Artikel lesen
Als ich in den späten 1990er Jahren meinen Abschluss machte, durfte ich gerade noch das Jahr-2000-Problem miterleben. Wenn Sie sich noch an diese spaßige Zeit erinnern, sind Sie alt genug für diesen Blogeintrag. Ich habe Management Information Systems (MIS) studiert, das ist eine Mischung aus Informatik und …
Artikel lesen
Bevor ich ins Customer Success Architect Team wechselte, hatte ich bei Talend schon mehrere Jahre als Support Engineer gearbeitet. Damals fragten mich Kunden immer wieder zur gemeinsamen Nutzung von Talend und Apache Spark. Wenn man an Spark denkt, fällt einem als erstes der Befehl Spark Submit ein, …
Artikel lesen
In einem früheren Talend-Blogeintrag habe ich ein paar wichtige Tipps gegeben, die Unternehmen bei der Entwicklung von Data Quality-Prozessen (DQ) in Hadoop berücksichtigen sollten. Die in diesem Blogeintrag erwähnten Datenprozesse und Frameworks sind wichtig, weil sie sowohl Ihr Data Quality- als auch Ihr Data Governance-Programm beeinflussen – …
Artikel lesen
Was Echtzeit-Big Data-Architekturen angeht, haben Sie inzwischen mehrere Optionen. Heute steht Ihnen mehr als nur Lambda zur Auswahl. In dieser Blog-Serie beschäftige ich mich mit ein paar dieser Optionen und vergleiche sie mit relevanten Anwendungsfällen. Wie also können wir die richtige Architektur für Ihr Echtzeit-Projekt ausfindig machen? …
Artikel lesen