Talend Archive | PRODATO verbindet

Optimierung von Lookups in Talend mit temporären Tabellen

Bei der Entwicklung von Data Integration Jobs mit Talend gibt es meist die Anforderung, Daten aus zwei unterschiedlichen Quellen miteinander zu verknüpfen. Eine beispielhafte Anwendung hierfür ist z.B. das Nachschlagen von Verkaufspreisen für eine (ca. 900 Einträge kurze) Liste von Büchern. Nehmen wir für diesen Beitrag an, dass uns diese Liste als CSV Datei vorliegt. Bücher haben (meist) eine ISBN, mit der sie eindeutig zu identifizieren sind. Hierdurch haben wir für unsere Aufgabe bereits einen Schlüssel, den wir zur Verknüpfung nutzen können. Weiterhin soll für unser Beispiel in einer PostgreSQL Datenbank eine Tabelle books_masterdata existieren, in der wir u.a. [...]

By Linda Goldin-Shmelev|8. Februar 2021|Categories: Aktuelles, Datenintegration, Oracle, Talend|Tags: Datenbank, Datenintegration, Optimierung, Oracle, PostgreSQL, Talend|

Continuous Integration, Continuous Delivery und Deployment mit TIBCO Jaspersoft

Wie Sie dem Blog-Beitrag Continuous Integration, Continuous Delivery und Deployment in BI-Projekten entnehmen können, ist uns durch die Betreuung aktueller Kundenprojekte klargeworden, dass in BI-Projekten die neu entwickelten bzw. angepassten Artefakte noch häufig mittels händischer Prozesse bereitgestellt werden und dies neben Mehraufwand immer auch eine potentielle Fehlerquelle darstellt. Im Folgendem stellen Wir Ihnen einen Lösungsansatz für die Berichtsentwicklung und -wartung mit TIBCO Jaspersoft unter Einsatz von automatisierten Prozessen vor. Dieser Beitrag fokussiert die Verwendung des TIBCO Jaspersoft Studios sowie des Jaspersoft Reportservers. Beim Einsatz der JasperReports Library zur Ausführung von Berichten ist das im Folgenden beschriebene Verfahren nicht relevant. [...]

By Linda Goldin-Shmelev|20. März 2020|Categories: Aktuelles, Talend, TIBCO, TIBCO Jaspersoft|Tags: Continuous Delivery, Continuous Integration, Deployment mit TIBCO Jaspersoft, Talend|

Parallelisierungsmöglichkeiten mit Talend

In Hinsicht auf Talend bedeutet Parallelisierung das parallele Ausführen von Prozessen. Damit können die zur Verfügung stehenden Ressourcen genutzt und die Performance verbessert werden. Bei umfangreichen Prozessen ist die Parallelisierung ein wichtiger Aspekt. Bevor man mit der Parallelisierung eines Jobs beginnt, sollte man sich allerdings über den einzelnen Talend Job und den dazugehörigen Prozess im Klaren sein. Der Workflow und die Prozessschritte sollten definiert sein. Daraus kann die Kenntnis gewonnen werden, an welchen Stellen eine Parallelisierung überhaupt möglich ist, ohne das Ergebnis des Talend Jobs zu verfälschen oder die erfolgreiche Ausführung gar zu gefährden. Im Weiteren werden die verschiedenen [...]

By Linda Goldin-Shmelev|21. Februar 2020|Categories: Aktuelles, Talend|Tags: Parallelisierung, Talend|

Nutzung von Jasper Scriptlets in Kombination mit der Talend MetaServlet API

In diesem Blogbeitrag geht es zum einen um die Erstellung von Jasper Scriptlets. Innerhalb eines solchen Scriptlets wird anschließend beschrieben, wie die Talend MetaServlet API, welche vom TAC bereitgestellt wird, genutzt werden kann. Diese ermöglicht es, Talend Jobs welche auf dem TAC deployed sind, von außerhalb aufzurufen. Damit können Jobs zum Beispiel vor dem Aufrufen eines Berichtes ausgeführt werden. Mit Jasper Scriptlets und der MetaServlet API von Talend lässt sich dies geschickt lösen. Erstellung und Nutzung eines JasperSoft Scriptlets Zunächst wird ein einfaches Scriptlet-Beispiel gezeigt, mit welchem ein String im Summary-Band des Berichts angedruckt werden kann. Für die Erstellung [...]

By Linda Goldin-Shmelev|10. Januar 2020|Categories: Aktuelles, Talend, TIBCO, TIBCO Jaspersoft|Tags: Jaspersoft, metaServlet, REST, Scriptlet, Talend|

Data Integration mit dem Talend Data Mapper – Verarbeitung komplex strukturierter Datenformate

Mit dem Data Mapper bietet Talend ein Tool zur Verarbeitung von Datensätzen mit komplexen Strukturen an. Verfügt die Struktur eines gegebenen Datensatzes über verschachtelte Schleifen, so erweist sich die Verwendung von üblichen Talend-Komponenten (wie tXMLMap) zur Verarbeitung des Datensatzes häufig als aufwändig und komplex. Der Data Mapper kann diverse Formate und Strukturen von Datensätzen einlesen und bietet sich sowohl für das Mapping von Daten zwischen verschiedenen Dokumentstrukturen als auch für das Transformieren von Daten durch Einsatz der zur Verfügung gestellten Funktionen an. In diesem Beitrag wird anhand von Beispielen eine kleine Auswahl an Funktionalitäten des Data Mappers präsentiert und [...]

By Linda Goldin-Shmelev|29. Mai 2019|Categories: Aktuelles, Talend|Tags: Data Integration, Datenverarbeitung, ETL, Loop, Mapping, Talend, Talend Data Mapper, XML|

Datenzentrierte Tests in der Praxis: Komponenten- und Integrationstests für Talend-Jobs mit JUnit (Teil 3)

Im letzten Blog-Eintrag haben wir gezeigt, wie DbUnit und WireMock verwendet werden können, um externe Abhängigkeiten für Komponententests von Talend-Jobs zu mocken. Vorrausetzung dabei war ein herkömmlicher Talend-Job, der als Nexus Artefakt vorliegt. Die ESB Variante von Talend erlaubt es aber nun auch, Services, z.B. REST-Services, mit Talend zu erstellen. Diese werden dann als OSGI-Bundle in einer Talend-Runtime deployed. In einer klassischen Java EE Anwendung können Services per Arquillian getestet werden. Arquillian ermöglicht es, JARs und WARs zum Testen zu generieren, auf einen Applikationserver zu deployen und dort Tests auszuführen. Glücklicherweise basiert die Talend-Runtime auf einem Apache Karaf Server [...]

By Linda Goldin-Shmelev|2. Mai 2019|Categories: Aktuelles, Talend|Tags: Datentest, JUnit, Talend|

Datenzentrierte Tests mit Talend: Komponenten- und Integrationstests für Talend-Jobs mit JUnit (Teil 2)

Der erste Teil dieser Blogreihe lieferte einen Überblick über Ebenen, auf denen automatisierte Tests durchgeführt werden können. Neben Unit-Tests, für die Talend bereits Möglichkeiten bereitstellt, wurde besonders auf Komponenten-, Integrations- und End-to-End-Tests eingegangen. Allein die Tatsache, dass sich ein Talend-Job aus JUnit heraus testen lässt, bietet noch keinen Mehrwert gegenüber der Alternative einen dedizierten Test-Talend-Job zu verwenden. In diesem Teil der Blogreihe sollen nun mit DbUnit und WireMock zwei Techniken aus dem Java-Test-Umfeld vorgestellt werden, die das Testen eines Talend-Jobs vereinfachen. Techniken zum datenzentrierten Testen aus dem Java-Test-Umfeld - Ein Beispiel Im folgenden Beispiel wird ein einfacher Testjob verwendet, [...]

By Linda Goldin-Shmelev|2. April 2019|Categories: Aktuelles, Talend|Tags: Data Testing, JUnit, Talend|

Datenzentrierte Tests in der Praxis: Komponenten- und Integrationstests für Talend-Jobs mit JUnit (Teil 1)

Individuelle Wünsche der Kunden stellen einen Entwickler immer wieder aufs Neue vor Herausforderungen bei der Konzipierung neuer Systemlösungen. Häufig müssen Technologien entsprechend modelliert und angepasst werden, um den Anforderungen des Kunden nachzukommen. Unsere Consultants und Engineers konzipieren im Projektgeschäft passgenaue IT-Lösungen entsprechend der Wünsche im Kundenauftrag. Hierbei setzen wir auf die Produkte unserer Technologiepartner: Als wertvolles Tool für das Datenmanagement haben sich die Softwarelösungen von Talend bewährt, die wir strategisch kombinieren und nach den Anforderungen des Kunden anpassen. Im Anschluss an die Ausarbeitung des Lösungskonzepts steht die Entwicklung des Prototypen im Vordergrund. Um eine möglichst überzeugende Lösung anbieten zu [...]

By Linda Goldin-Shmelev|25. März 2019|Categories: Aktuelles, Talend|Tags: Data Testing, JUnit, Talend|

Erfolgreiches Event bei PRODATO im Rahmen des Nürnberg Digital Festivals 2018

PRODATO hatte im Rahmen des Nürnberg Digital Festivals 2018 am 22.10.2018 eine erfolgreiche und informative Veranstaltung zum Thema „Datafication - Methoden und Tools für die Datenwertschöpfung in Unternehmen". Hier präsentierten Experten unseres Unternehmens Methoden und Tools zur Datenintegration, wie Talend Data Integration oder Couchbase. Neben interessierten Gästen nahmen auch Mitarbeiter unserer Geschäftspartner von Couchbase und Talend teil. Bei einem gelungenen Catering führten wir gute Gespräche und knüpften neue Kontakte. Wir bedanken uns bei allen Teilnehmern für den inhaltlichen Austausch und das erfolgreiche Event! (Eventuell noch 2-3 Sätze über das Nürnberg Digital Festival allgemein)

By Linda Goldin-Shmelev|26. Oktober 2018|Categories: Aktuelles|Tags: Couchbase, Datafication, Datenintegration, Event, Nürnberg Digital Festival 2018, Talend|

Anbindung von OData Quellen in Talend über Java

Die Problemstellung: Einlesen von Daten aus einer OData-Quelle in Talend Bei der Zusammenführung unterschiedlicher Datenquellen zur weiteren Verarbeitung mittels Talend stößt man auch auf Daten, die man mithilfe eines Webservice abrufen kann. Hierzu gehören z.B. unter anderem OData-Schnittstellen. Bei OData handelt es sich um einen Standard für REST-Webschnittstellen. Zur Kommunikation mit REST-Webservices existiert in Talend z.B. die tREST Komponente. Um hier aber die Authentifizierung korrekt durchzuführen (stellen Sie sich z.B. vor, ihr Internetverkehr muss über einen Proxy laufen, der auf die Authentifizierung via NTLM Wert legt), die gewünschten Daten aus der XML-Antwort auszulesen oder Daten nur blockweise vom Webservice [...]

By Linda Goldin-Shmelev|21. August 2018|Categories: Aktuelles, Talend|Tags: Data Integration, HowTo, Java, OData, REST, Talend|

Talend

Talend

Optimierung von Lookups in Talend mit temporären Tabellen

Continuous Integration, Continuous Delivery und Deployment mit TIBCO Jaspersoft

Parallelisierungsmöglichkeiten mit Talend

Nutzung von Jasper Scriptlets in Kombination mit der Talend MetaServlet API

Data Integration mit dem Talend Data Mapper – Verarbeitung komplex strukturierter Datenformate

Datenzentrierte Tests in der Praxis: Komponenten- und Integrationstests für Talend-Jobs mit JUnit (Teil 3)

Datenzentrierte Tests mit Talend: Komponenten- und Integrationstests für Talend-Jobs mit JUnit (Teil 2)

Datenzentrierte Tests in der Praxis: Komponenten- und Integrationstests für Talend-Jobs mit JUnit (Teil 1)

Erfolgreiches Event bei PRODATO im Rahmen des Nürnberg Digital Festivals 2018

Anbindung von OData Quellen in Talend über Java

Herderstraße 5-9
90427 Nürnberg
Fax: +49 (0) 911/994 730 - 99

Immer auf dem Laufenden
mit dem PRODATO-Newsletter.

Talend

Talend

Herderstraße 5-9 90427 Nürnberg Fax: +49 (0) 911/994 730 - 99

Immer auf dem Laufenden mit dem PRODATO-Newsletter.

Herderstraße 5-9
90427 Nürnberg
Fax: +49 (0) 911/994 730 - 99

Immer auf dem Laufenden
mit dem PRODATO-Newsletter.