Talend

Talend

Data Integration mit dem Talend Data Mapper – Verarbeitung komplex strukturierter Datenformate

Mit dem Data Mapper bietet Talend ein Tool zur Verarbeitung von Datensätzen mit komplexen Strukturen an. Verfügt die Struktur eines gegebenen Datensatzes über verschachtelte Schleifen, so erweist sich die Verwendung von üblichen Talend-Komponenten (wie tXMLMap) zur Verarbeitung des Datensatzes häufig als aufwändig und komplex. Der Data Mapper kann diverse Formate und Strukturen von Datensätzen einlesen und bietet sich sowohl für das Mapping von Daten zwischen verschiedenen Dokumentstrukturen als auch für das Transformieren von Daten durch Einsatz der zur Verfügung gestellten Funktionen an. In diesem Beitrag wird anhand von Beispielen eine kleine Auswahl an Funktionalitäten des Data Mappers präsentiert und [...]

Datenzentrierte Tests in der Praxis: Komponenten- und Integrationstests für Talend-Jobs mit JUnit (Teil 3)

Im letzten Blog-Eintrag haben wir  gezeigt, wie DbUnit und WireMock verwendet werden können, um externe Abhängigkeiten für Komponententests von Talend-Jobs zu mocken. Vorrausetzung dabei war ein herkömmlicher Talend-Job, der als Nexus Artefakt vorliegt. Die ESB Variante von Talend erlaubt es aber nun auch, Services, z.B. REST-Services, mit Talend zu erstellen. Diese werden dann als OSGI-Bundle in einer Talend-Runtime deployed. In einer klassischen Java EE Anwendung können Services per Arquillian getestet werden. Arquillian ermöglicht es, JARs und WARs zum Testen zu generieren, auf einen Applikationserver zu deployen und dort Tests auszuführen. Glücklicherweise basiert die Talend-Runtime auf einem Apache Karaf Server [...]

Datenzentrierte Tests mit Talend: Komponenten- und Integrationstests für Talend-Jobs mit JUnit (Teil 2)

Der erste Teil dieser Blogreihe lieferte einen Überblick über Ebenen, auf denen automatisierte Tests durchgeführt werden können. Neben Unit-Tests, für die Talend bereits Möglichkeiten bereitstellt, wurde besonders auf Komponenten-, Integrations- und End-to-End-Tests eingegangen. Allein die Tatsache, dass sich ein Talend-Job aus JUnit heraus testen lässt, bietet noch keinen Mehrwert gegenüber der Alternative einen dedizierten Test-Talend-Job zu verwenden. In diesem Teil der Blogreihe sollen nun mit DbUnit und WireMock zwei Techniken aus dem Java-Test-Umfeld vorgestellt werden, die das Testen eines Talend-Jobs vereinfachen. Techniken zum datenzentrierten Testen aus dem Java-Test-Umfeld - Ein Beispiel Im folgenden Beispiel wird ein einfacher Testjob verwendet, [...]

Datenzentrierte Tests in der Praxis: Komponenten- und Integrationstests für Talend-Jobs mit JUnit (Teil 1)

Individuelle Wünsche der Kunden stellen einen Entwickler immer wieder aufs Neue vor Herausforderungen bei der Konzipierung neuer Systemlösungen. Häufig müssen Technologien entsprechend modelliert und angepasst werden, um den Anforderungen des Kunden nachzukommen. Unsere Consultants und Engineers konzipieren im Projektgeschäft passgenaue IT-Lösungen entsprechend der Wünsche im Kundenauftrag. Hierbei setzen wir auf die Produkte unserer Technologiepartner: Als wertvolles Tool für das Datenmanagement haben sich die Softwarelösungen von Talend bewährt, die wir strategisch kombinieren und nach den Anforderungen des Kunden anpassen. Im Anschluss an die Ausarbeitung des Lösungskonzepts steht die Entwicklung des Prototypen im Vordergrund. Um eine möglichst überzeugende Lösung anbieten zu [...]

By |25. März 2019|Categories: Aktuelles, Talend|Tags: , , |

03.12.2018: Webinar-Aufzeichnung: Data Governance und Stammdatenmanagement mit Talend MDM

Jetzt Ansehen In diesem Webinar stellen wir die aktuellen Entwicklungen zu den Themen Data Governance und Master Data Management vor. Insbesondere der Bereich Master Data Management (Stammdatenverwaltung) stellt wichtige Funktionen zur Sicherung der Datenqualität bereit. Nur durch eine solide und verlässliche Basis aus Stammdaten lassen sich wirkungsvolle Geschäftsprozesse und aussagekräftige Business Intelligence Lösungen etablieren. Am Beispiel von Talend MDM stellen wir die Architektur und wichtigsten Funktionen einer modernen Stammdatenverwaltung vor. Dies illustrieren wir anhand von zwei Schwerpunktthemen (Workflow-Integration und Matching von Datensätzen) und zeigen, wie die Datenqualität im Unternehmen zielgerichtet verbessert werden kann. Alle Themen [...]

Anbindung von OData Quellen in Talend über Java

Die Problemstellung: Einlesen von Daten aus einer OData-Quelle in Talend Bei der Zusammenführung unterschiedlicher Datenquellen zur weiteren Verarbeitung mittels Talend stößt man auch auf Daten, die man mithilfe eines Webservice abrufen kann. Hierzu gehören z.B. unter anderem OData-Schnittstellen. Bei OData handelt es sich um einen Standard für REST-Webschnittstellen. Zur Kommunikation mit REST-Webservices existiert in Talend z.B. die tREST Komponente. Um hier aber die Authentifizierung korrekt durchzuführen (stellen Sie sich z.B. vor, ihr Internetverkehr muss über einen Proxy laufen, der auf die Authentifizierung via NTLM Wert legt), die gewünschten Daten aus der XML-Antwort auszulesen oder Daten nur blockweise vom Webservice [...]

22.10.2018: Datafication – Methoden und Tools für die Datenwertschöpfung in Unternehmen

Veranstaltung im Rahmen des NÜRNBERG DIGITAL FESTIVALS Prozesse in und zwischen Organisationen finden immer schneller und verteilter statt. Das erhöht die Menge an Daten, die verarbeitet und vorgehalten werden muss. Als Datafication wird der Trend bezeichnet, dass in vielen Bereichen unserer Gesellschaft die Digitalisierung von Daten eine immer größere Rolle spielt und zunehmend neue Wertschöpfung mithilfe von Daten generiert werden kann. Erfahren Sie mehr über Methoden zur Datenintegration und erleben Sie Tools, wie Talend Data Integration, Couchbase u.a. DATUM: Montag, den 22.10.2018 WANN: 13:00 Uhr bis ca. 17:00 Uhr ORT: PRODATO Integration Technology, Herderstraße 5-9, 90427 Nürnberg (Hinweise zur Anfahrt) Anmeldung: [...]

13.06.2018: Webinar-Aufzeichnung: Enterprise Integration mit Talend ESB

Jetzt Ansehen In diesem Webinar zeigen wir Ihnen, wie mit dem Talend Enterprise Service Bus (ESB) die Integration von Daten, Anwendungen, Nachrichten, Ereignissen und Diensten im gesamten Unternehmen ermöglicht wird. Erfahren Sie in unserem Webinar mehr zu folgenden Aspekten: Enterprise Integration Patterns (EIP) Serviceorientierte Architektur (SOA) Messaging (Apache Camel) Message Broker (Apache ActiveMQ) Wir zeigen, wie mit dem Talend Studio diese Aspekte als Jobs, Routen und Services umgesetzt und danach im Talend Administration Center (TAC) verteilt und gestartet werden können. Referenten.

27.04.2018: Webinar-Aufzeichnung: Nutzerbasierte Orchestrierung von Talend und TIBCO Jaspersoft mittels Bonitasoft BPMN

Jetzt Ansehen Erfahren Sie in unserem Webinar mehr zur folgenden Aspekten: Überblick zu Talend, TIBCO.Jaspersoft und PRODATO Integration Technology Kurze Einführung zu Talend Administration Console und Jasperserver Zeitgesteuerte und nutzergestartete Ausführung von Talend Jobs und Jasper Reports Anwendungsfälle zur Nutzung der BPMN Workflow Engine Bonitasoft Business Process Management (BPM) ist ein systematischer Ansatz, Geschäftsprozesse in und zwischen Unternehmen effektiv und effizient zu gestalten. Als Geschäftsprozess bezeichnet man die Verkettung mehrerer Einzelaktivitäten, die zur Erreichung betrieblicher Ziele abgearbeitet werden müssen. Workflow-Management-Systeme helfen dabei, die Ausführung der Geschäftsprozesse system-seitig zu begleiten. [...]

By |27. April 2018|Categories: PRODATO, Talend, TIBCO Jaspersoft|

06.12.2017: Roadshow Jaspersoft/Talend, Nürnberg

Integrierte und Unternehmensüberspannende BI Lösungen Wir veranstalten gemeinsam mit unseren Technologiepartnern TIBCO.Jaspersoft und Talend eine Roadshow in Süddeutschland: Am Mittwoch, den 6. Dezember 2017, findet die Veranstaltung in Nürnberg statt. Freuen Sie sich auf Vorträge, Demos und Diskussionen! Themen sind u.a.: Lösungsansätze für Anforderungen der abteilungsübergreifenden Datenintegration Unternehmensweite Bereitstellung von Informationen Automatisierung von Datenintegration - auch in Echtzeit Massenproduktion von Berichten Case Studies und Lessons Learned Neue Herausforderungen im Umfeld von Big Data, IoT, Machine Learning Umsetzung von gesetzlichen Anforderung in der IT-Strategie, z.B. GDPR Erfolgreiche BI-Architekturen: Data Vault, Data Lake etc. Technische Möglichkeiten: Hadoop, In-Memory, Cloud Neuerungen bei [...]

By |17. Oktober 2017|Categories: Aktuelles, Talend|
Go to Top