Data Integration

Data Integration

Datenintegration mit Data Virtualization

In fast allen Projekten ist Datenintegration ein Thema, das angegangen werden muss. Legacy Systeme, Daten aus verschiedenen Fachbereichen und sogar Daten, die per Datei ausgetauscht werden, müssen konsolidiert und kombiniert werden. Probleme des klassischen Ansatzes Für die Datenbereinigung und die Integration der Daten werden klassischerweise ETL-Jobs (extract, transform, load) verwendet. Ein meist nächtlicher Job lädt Daten aus den verschiedenen Quellen in eine Zieldatenbank. Diese Daten können dann für Reports, Dashboards und Anwendungen verwendet werden. Dieser klassische Ansatz bringt mehrere Probleme mit sich. Einerseits sind die Daten bei ihrer Verwendung bereits wieder veraltet, denn ein Job, der eine große Menge [...]

Data Integration mit dem Talend Data Mapper – Verarbeitung komplex strukturierter Datenformate

Mit dem Data Mapper bietet Talend ein Tool zur Verarbeitung von Datensätzen mit komplexen Strukturen an. Verfügt die Struktur eines gegebenen Datensatzes über verschachtelte Schleifen, so erweist sich die Verwendung von üblichen Talend-Komponenten (wie tXMLMap) zur Verarbeitung des Datensatzes häufig als aufwändig und komplex. Der Data Mapper kann diverse Formate und Strukturen von Datensätzen einlesen und bietet sich sowohl für das Mapping von Daten zwischen verschiedenen Dokumentstrukturen als auch für das Transformieren von Daten durch Einsatz der zur Verfügung gestellten Funktionen an. In diesem Beitrag wird anhand von Beispielen eine kleine Auswahl an Funktionalitäten des Data Mappers präsentiert und [...]

Anbindung von OData Quellen in Talend über Java

Die Problemstellung: Einlesen von Daten aus einer OData-Quelle in Talend Bei der Zusammenführung unterschiedlicher Datenquellen zur weiteren Verarbeitung mittels Talend stößt man auch auf Daten, die man mithilfe eines Webservice abrufen kann. Hierzu gehören z.B. unter anderem OData-Schnittstellen. Bei OData handelt es sich um einen Standard für REST-Webschnittstellen. Zur Kommunikation mit REST-Webservices existiert in Talend z.B. die tREST Komponente. Um hier aber die Authentifizierung korrekt durchzuführen (stellen Sie sich z.B. vor, ihr Internetverkehr muss über einen Proxy laufen, der auf die Authentifizierung via NTLM Wert legt), die gewünschten Daten aus der XML-Antwort auszulesen oder Daten nur blockweise vom Webservice [...]

Go to Top