⇨ PRODATO ist ISO/IEC 27001:2022 zertifiziert

Datenintegration

Datenintegration

Erstellung eines KPI-Dashboards mit Data Virtuality und Python

Übersicht Kennzahlen (Key Performance Indicators, KPIs) dienen der quantitativen Bewertung der Leistung eines Unternehmens. Datenvirtualisierung ist ein agiler Ansatz, der es ermöglicht, auf Daten aus mehreren Quellen aus einer virtuellen Schicht zuzugreifen und diese in Echtzeit abzufragen, ohne sie physisch replizieren zu müssen. Dieser Beitrag befasst sich mit der Erstellung eines Python-basierten KPI-Dashboards für illustrative Einblicke und Echtzeit-Erkenntnisse durch Daten, die aus einer marktführenden Datenvirtualisierungsplattform, die Data Virtuality, in einheitlichen Views der Business Logik abgebildet werden. Das Dashboard ermöglicht daher eine fundierte Analyse von KPIs basierend auf Daten, die aus diversen Quell-Systemen (Datenbanken, Dateien) stammen und deren Schemas und [...]

By |23. Februar 2024|Categories: Data Governance, Data Virtuality, Datenarchitektur, Datenintegration, Datenvirtualisierung, PRODATO|
Read More

Optimierung von Lookups in Talend mit temporären Tabellen

Bei der Entwicklung von Data Integration Jobs mit Talend gibt es meist die Anforderung, Daten aus zwei unterschiedlichen Quellen miteinander zu verknüpfen. Eine beispielhafte Anwendung hierfür ist z.B. das Nachschlagen von Verkaufspreisen für eine (ca. 900 Einträge kurze) Liste von Büchern. Nehmen wir für diesen Beitrag an, dass uns diese Liste als CSV Datei vorliegt. Bücher haben (meist) eine ISBN, mit der sie eindeutig zu identifizieren sind. Hierdurch haben wir für unsere Aufgabe bereits einen Schlüssel, den wir zur Verknüpfung nutzen können. Weiterhin soll für unser Beispiel in einer PostgreSQL Datenbank eine Tabelle books_masterdata existieren, in der wir u.a. [...]

By |8. Februar 2021|Categories: Aktuelles, Datenintegration, Oracle, Talend|Tags: , , , , , |
Read More

Datenintegration mit Data Virtualization

In fast allen Projekten ist Datenintegration ein Thema, das angegangen werden muss. Legacy Systeme, Daten aus verschiedenen Fachbereichen und sogar Daten, die per Datei ausgetauscht werden, müssen konsolidiert und kombiniert werden. Probleme des klassischen Ansatzes Für die Datenbereinigung und die Integration der Daten werden klassischerweise ETL-Jobs (extract, transform, load) verwendet. Ein meist nächtlicher Job lädt Daten aus den verschiedenen Quellen in eine Zieldatenbank. Diese Daten können dann für Reports, Dashboards und Anwendungen verwendet werden. Dieser klassische Ansatz bringt mehrere Probleme mit sich. Einerseits sind die Daten bei ihrer Verwendung bereits wieder veraltet, denn ein Job, der eine große Menge [...]

By |2. Juni 2020|Categories: Aktuelles, Berichtswesen & Datenvisualisierung, Datenintegration, Datenvirtualisierung|Tags: , , , |
Read More

06.11.2019: Webinar-Aufzeichnung: Lass es die Fachabteilung machen (2): Talend Data Stewardship

Jetzt Ansehen Deduplizierung, Aufbereitung, Anpassung und Entscheidungsfindung sind nur ein paar Schlagworte aus dem vielfältigem Aufgabengebiet eines Data Stewards. Talend Data Stewardship fasst diese und weitere Anwendungsfälle in einer intuitiv bedienbaren Web-UI zusammen. Das Inbox-Task-System stellt die Aufgaben übersichtlich dar und der optionale Approval Workflow sichert Entscheidungen ab. Dazu gliedert Talend Data Stewardship Aufgaben in vier Kampagnentypen (Arbitration, Resolution, Merging und Grouping) ein die jeweils über eine angepasste UI mit entsprechendem Funktionsumfang verfügen und so den Datenverantwortlichen unterstützen. Merging ist beispielsweise der Kampangnentyp zur Deduplizierung von Datensätzen, wohingegen Arbitration-Kampagnen zur Entscheidungsfindung genutzt werden. In diesem [...]

By |6. November 2019|Categories: Application Integration, Data Governance, Datenintegration, Talend|
Read More

24.09.2019: Webinar-Aufzeichnung: Lass es die Fachabteilung machen (1): Talend Data Preparation

Jetzt Ansehen In vielen Fachabteilungen werden Datenvorverarbeitung (Datensäuberung, Masking, Data Lookup, etc. ) und Datenverarbeitung (Auswertungen, Berichte, Charts, etc.) meist in einem Excel-Dokument durchgeführt, gehen teils ineinander über und sind damit fest miteinander verbunden. Somit kann die Fachabteilung zwar ohne spezielle Unterstützung aus der IT Abteilung Ergebnisse liefern aber der Weg dahin ist in einem „Excel-Silo” vergraben. Mit der WebApp Talend Data Preparation können Sie alle notwendigen Schritte zur Datenvorverarbeitung aus Excel herauslösen und gleichzeitig die Fachabteilung befähigen die Datenvorbereitungsschritte schneller und einfacher durchzuführen. Talend Data Preparation unterstützt den Anwender dabei auch mit semantischen Typen. Die Aktionen [...]

By |24. September 2019|Categories: Application Integration, Data Governance, Datenintegration, Talend|
Read More

03.12.2018: Webinar-Aufzeichnung: Data Governance und Stammdatenmanagement mit Talend MDM

Jetzt Ansehen In diesem Webinar stellen wir die aktuellen Entwicklungen zu den Themen Data Governance und Master Data Management vor. Insbesondere der Bereich Master Data Management (Stammdatenverwaltung) stellt wichtige Funktionen zur Sicherung der Datenqualität bereit. Nur durch eine solide und verlässliche Basis aus Stammdaten lassen sich wirkungsvolle Geschäftsprozesse und aussagekräftige Business Intelligence Lösungen etablieren. Am Beispiel von Talend MDM stellen wir die Architektur und wichtigsten Funktionen einer modernen Stammdatenverwaltung vor. Dies illustrieren wir anhand von zwei Schwerpunktthemen (Workflow-Integration und Matching von Datensätzen) und zeigen, wie die Datenqualität im Unternehmen zielgerichtet verbessert werden kann. Alle Themen [...]

By |3. Dezember 2018|Categories: Application Integration, Data Governance, Datenintegration, Talend|
Read More

09.10.2018: Webinar-Aufzeichnung: Flatrate-Reporting mit Jaspersoft – unternehmensweit – integriert – webbasiert

Jetzt Ansehen In unserem nächsten Webinar werden wir Ihnen einen Überblick über die verschiedenen Einsatzmöglichkeiten von Jaspersoft geben. Im Fokus steht dabei die Version 7 von TIBCO.Jaspersoft, die sowohl den Bereich Self-Service BI als auch die Möglichkeit der Integration des JasperReport Servers stark ausgebaut hat. Die meisten Unternehmen können damit nun über 90 % ihrer Reporting-Anforderungen voll abdecken. Der thematische Schwerpunkt des Webinars liegt auf dem Reporting, welches pixelperfekte Berichte, Ad-Hoc-Berichte und Dashboards umfasst. Durch pixelperfekte Berichte und Ad-Hoc-Berichte gepaart mit Web-Service-Schnittstellen wird das Spektrum möglicher Anwender und Anwendungen unglaublich breit und vielfältig. Das Lizenzmodell [...]

By |9. Oktober 2018|Categories: Berichtswesen & Datenvisualisierung, Datenintegration, Datenmodellierung, TIBCO, TIBCO Jaspersoft|
Read More

13.06.2018: Webinar-Aufzeichnung: Enterprise Integration mit Talend ESB

Jetzt Ansehen In diesem Webinar zeigen wir Ihnen, wie mit dem Talend Enterprise Service Bus (ESB) die Integration von Daten, Anwendungen, Nachrichten, Ereignissen und Diensten im gesamten Unternehmen ermöglicht wird. Erfahren Sie in unserem Webinar mehr zu folgenden Aspekten: Enterprise Integration Patterns (EIP) Serviceorientierte Architektur (SOA) Messaging (Apache Camel) Message Broker (Apache ActiveMQ) Wir zeigen, wie mit dem Talend Studio diese Aspekte als Jobs, Routen und Services umgesetzt und danach im Talend Administration Center (TAC) verteilt und gestartet werden können. Referenten.

By |13. Juni 2018|Categories: Application Integration, Data Governance, Datenintegration, Talend|
Read More

06.06.2018: Webinar-Aufzeichnung: BW/4HANA: Das Data Warehouse der nächsten Generation

Jetzt Ansehen In Teil 1 der Webinar Serie BW/4HANA geben wir eine Einführung in das SAP Data Warehouse der nächsten Generation. Durch den Einzug der In-Memory Technologie in IT-Landschaften der Unternehmen öffnen sich den Verantwortlichen neue Möglichkeiten, um die Prozesse im unternehmensweiten Reporting massiv zu beschleunigen. Performance heißt das Stichwort, welches mit der neuen In-Memory Technologie optimiert werden soll. Doch um die Daten für das Reporting performant zu verarbeiten ist ein Data Warehouse notwendig, das die Vorzüge der In-Memory Technologie voll ausnutzen kann. Genau hier setzt SAP mit ihrem neuen BW/4HANA an. In unserem Webinar [...]

By |6. Juni 2018|Categories: Datenarchitektur, Datenintegration, Datenmodellierung, Datenvirtualisierung, SAP BW/4HANA|
Read More

Herderstraße 5-9
90427 Nürnberg
Fax: +49 (0) 911/994 730 - 99

Immer auf dem Laufenden
mit dem PRODATO-Newsletter.

Go to Top