Data Vault: Standardisierung und Effizienzsteigerung in der Integrationsschicht

Datenintegration ist ein komplexes und aufwändiges Thema in Data-Warehouse-Projekten. Für viele Kunden – vor allem in den Fachbereichen – sind gerade die frühen Phasen der Integration, also der Aufbau einer Staging- und Integrationsschicht, weit von ihren Anforderungen und Problemstellungen entfernt. Die Geschäftsregeln beim Aufbau von Data Marts sind hingegen nachvollziehbarer. Ebenso die Aufwände und Entwicklungszeiten hierfür.

Mit dem Data-Vault-Ansatz hat sich eine Methode etabliert, die gerade in den frühen Phasen ein hohes Maß an Standardisierung und Automatisierung ermöglicht. Die Entwicklung kann agil erfolgen und Erweiterungen der Integrationsschicht beeinflussen bestehende Anwendungen kaum. Erreicht wird das durch eine Reihe von Konzepten:

  • Standardisierte Modellierung durch Hubs (Objekte mit eindeutigen Schlüssel, z.B. Ihr Kunde), Satelliten (Attribute, die Ihre Objekte beschreiben, z.B. der Kundenname) und Links (Beziehungen zwischen Objekten, z.B. die Bestellung als Beziehung zwischen Kunde und Artikel). Modelle werden einfach lesbar.
  • Verwendung von Metadaten: Auf Basis von Metadaten können Modelle und Ladeprozesse automatisch generiert werden. Die Beladungslogik folgt beim Data-Vault-Ansatz einem sehr einheitlichen Muster. Die unterstützt die automatische Generierung von Code, manuelle Nachbearbeitung wird dadurch weitgehend unnötig gemacht.
  • Agilität: Die Modellierungsmethode entkoppelt die einzelnen Objekte. Weiterentwicklung erfolgt im Wesentlichen durch Ergänzen neuer Hubs, Satelliten und Links. Entwickler können dadurch unabhängiger voneinander arbeiten. Die optimale Voraussetzung für agile Entwicklungsprojekte.
  • Historisierung: Historisierung ist Bestandteil des Konzepts und wird dadurch vollständig für das gesamte Data-Vault-basierte Data-Warehouse verfügbar. Zeitstempel erlauben die Betrachtung unterschiedlicher Stände im Verlauf.

Prodato verbindet.

Autor

Dr. Christian Meiler
Geschäftsführung

christian.meiler@prodato.de