vdwh-logo

Data Warehouse Design Patterns

Implementierung und Automatisierung

Workshop mit Roelant Vos

25. bis 28. November 2019 in Utrecht, Niederlande


Jetzt anmelden!


"Für ein Data Warehouse haben wir keine Zeit"

... kommt Ihnen das bekannt vor?

Das Konzept des "Virtuellen Data Warehouse" wird seit 2014 von Data-Vault-Pionier Roelant Vos entwickelt. Es basiert auf einem persistenten Rohdatenspeicher (PSA) auf dessen Basis alternative Core-DWH Datenmodelle testweise rasch generiert werden können. Ein virtuelles Data Warehouse ermöglicht eine schnelle Daten-Bereitstellung und erlaubt die Umsetzung agiler Ansätze bei der Implementierung eines DWH. Lernen Sie Roelant Vos' bahnbrechendes Konzept kennen und virtualisieren auch Sie Ihr DWH.

  • Vollautomatisierte Generierung der PSA-Schicht
  • Agiles Testen alternativer Data Vault Datenmodelle durch Metadatenversionierung
  • Umfangreiches Sammlung von Templates und Mustern zur DWH-Automation

Der Workshop vermittelt detailliert Architektur, Methoden und Techniken; alles, was Sie für die Implementierung einer virtuellen Data Warehouse Lösung benötigen - von der Datenquelle bis zum Datamart.


Was heißt Virtual Data Warehousing?


Die Idee des Virtuellen Data Warehouse entstand während der Arbeit an Verbesserungen zur Generierung von Data Warehouse Ladeprozessen. Es ist gewissermaßen eine Evolution im Denken der ETL-Generatoren. Die Kombination von Data Vault mit einem permanenten historisierten Rohdatenspeicher "PSA" bietet zusätzliche Funktionen, die es dem Entwickler ermöglichen, Teile der Data Warehouse Lösung kurzfristig zu überarbeiten.

Kreativität kann sich am besten entfalten, wenn Entwickler einen direkten Bezug ihrer Arbeit zu dem entstehenden Endprodukt herstellen können. Es ist daher sinnvoll, wenn man bei der Entstehung eines Produkts in der Lage ist, direkt zu sehen, welche Auswirkungen eine Änderung letztendlich hat.

Das ist es, was das Virtual Data Warehouse als Konzept und Denkweise ermöglichen soll: eine direkten Bezug zwischen Rohdaten und Auswertung herstellen zu können, um jede Art der Untersuchung zu unterstützen und Kreativität bei der Handhabung zu fördern. Data Warehousing im Sinne von Virtualisierung zu verstehen, bedeutet im Wesentlichen, dem Leitsatz zu folgen, einen direkten Bezug zu den Rohdaten herzustellen. Es geht darum, Wege zur Vereinfachung zu finden und weiter an der Beseitigung von Hindernissen für die Bereitstellung von Daten und Informationen zu arbeiten.

Virtuelles Data Warehousing ist die Möglichkeit, Daten direkt aus einem Rohdatenspeicher zu präsentieren, indem man Lademuster, Informationsmodelle und Architekturen des Data Warehouse nutzt. In vielen Data Warehouse-Lösungen gilt es bereits als Best Practice, Data Marts in ähnlicher Weise zu "virtualisieren". Das Virtuelle Data Warehouse geht diesen Ansatz noch einen Schritt weiter, indem es das gesamte Data Warehouse auf Basis der Rohdaten jederzeit (virtuell) umgestalten kann.

Erreicht wird diese Fähigkeit mit Hilfe eines historisierten Rohdatenspeichers, auch bekannt als Persistent Staging Area "PSA". Hier werden die ankommenden Daten durch Ermittlung des jeweiligen Deltas technisch komprimiert und können jederzeit vollständig wiederhergestellt werden. Diese Generierung dieser Prozesse kann allein auf Basis der technischen Metadaten vollständig automatisiert werden.

Ein virtuelles Data Warehouse ist nicht dasselbe wie Datenvirtualisierung. Diese beiden Konzepte sind grundsätzlich unterschiedlich. Datenvirtualisierung ist nach den meisten Definitionen die Bereitstellung eines einheitlichen direkten Zugriffs auf Daten über viele "unterschiedliche" Datenspeicher hinweg. Es ist eine Möglichkeit, auf Daten zuzugreifen und sie zu kombinieren, ohne sie physisch in andere Umgebungen verschieben zu müssen. Die Datenvirtualisierung konzentriert sich jedoch nicht auf Lademuster sowie Datenarchitektur und -modellierung.

Das Virtuelle Data Warehouse hingegen ist ein flexibler und überschaubarer Ansatz zur Lösung von Themen der Datenintegration und Zeitabweichung mit Hilfe von Data-Warehouse-Konzepten, der im Wesentlichen ein definiertes Schema-on-Read bietet.

Das virtuelle Data Warehouse wird durch die Kombination der Prinzipien der ETL-Generierung, hybrider Data Warehouse Modellierungskonzepte und eines Persistent Historical Data Store "PSA" ermöglicht. Es ist eine ideale Möglichkeit, direkten Bezug zwischen Rohdaten und Informationsbereitstellung für den Endanwender herzustellen, da Änderungen an den Metadaten und Modellen sofort in der Informationsbereitstellung abgebildet werden können. Das persitieren von Daten im Sinne eines traditionellen Data Warehouse ist jedoch immer noch eine Option und kann erforderlich sein, um die gewünschte Performance zu liefern. Der deterministische Charakter eines virtuellen Data Warehouse ermöglicht je nach Anforderung einen dynamischen Wechsel zwischen physischer und virtueller Struktur.

In vielen Fällen ändert sich dieser Mix aus physischen und virtuellen Objekten in den Data Warehouses im Laufe der Zeit. Ein guter Ansatz ist es, "virtuell zu starten" und zu persistieren wann und wo immer es notwendig oder sinnvoll ist.


Download PDF

Ihr Trainer

Roelant Vos ist seit mehr als 20 Jahren im Bereich Data Warehousing und BI tätig und gilt seit vielen Jahren als erfahrener Experte in der Data Vault Community. Wann immer ihm seine Arbeit genug Zeit lässt, teilt er seine Ideen und Gedanken auf seinem Blog roelantvos.com.

Roelant ist General Manager - Enterprise Data Management bei Allianz Worldwide Partners in Brisbane, Australien. Dort arbeitet er an der Integration und Interpretation von Daten zur Optimierung von Geschäftsprozessen. Seine Leidenschaft gilt der Verbesserung der Datenqualität und der Optimierung der Verarbeitungsgeschwindigkeit. Seit vielen Jahren ist er an der Spitze der modernen Modellierungs- und Entwicklungstechniken durch Prozessautomation und modeldriven Design unterwegs.

Sie wollen ...

  • ETL-Prozesse effektiv generieren?
    Flexible Lösungen entwickeln?
  • Eine eigene Automatisierunglösung entwickeln?
    Effizient Automatisierungssoftware einsetzen?

Der Workshop behandelt fortgeschrittene Modellierungs- und Implementierungstechniken und deckt ein breites Spektrum an Interessengebieten ab. Er ist daher nicht nur für BI- und ETL-Spezialisten geeignet sondern für BI-Architekten und Datenmodellierer.

Voraussetzungen

  • Ausreichende Englischkenntnisse (Kurssprache ist Englisch)
  • Grundlegende Kenntnisse in Data Warehousing und Datenintegration
  • Gute SQL-Kenntnisse
  • Grundsätzliches Verständnis von Programmierung und einfachen Skripten
  • Erfahrung mit Data-Vault-Modellierung

Ein optionaler Hands-On-Workshop zur praktischen Vertiefung der gelernten Inhalte kann an den Workshop-Abenden besucht werden.

Ist der Kurs für mich relevant?

Durch die Verwendung von Data-Vault-Lademustern aus einer persistierten Stage-Schicht (PSA) können scheinbar einfache Muster und Prozesse zur Beladung von DWH-Tabellen genutzt werden. In der Praxis erweist sich nicht selten die Notwendigkeit weitreichender Überlegungen, die es sowohl auf technischer als auch auf konzeptioneller Ebene zu beachten gilt, um den Anforderungen gerecht zu werden.

Die Data-Vault-Modellierung bietet elegante Lösungen zur Verwaltung von komplexen Fragestellungen, der Erfolg einer Implementierung hängt indes stets von der korrekten Modellierung ab. Letztendlich ermöglicht die Nutzung von ETL-Generierungs- und Virtualisierungstechniken ein hohes Maß an Flexibilität, da verschiedene Modellierungsansätze rasch erzeugt und getestet können. So bleibt mehr Zeit für die Umsetzung komplexerer Fragestellungen.

Profitieren Sie von Roelants über 15-jährigen Data Vault Erfahrung. Der Workshop vermittelt sowohl komplexere Modellierungs- und Implementierungstechniken als auch fortgeschrittene Techniken von modellgetriebenem Design und musterbasierter Generierung. Ausgereifte Templates und ein umfangreiches Metadatenmodell werden detailliert behandelt.

Flexibles Design und Implementierung

Ziel des Workshops ist es, direkt zu fortgeschrittenen Techniken zur DWH-Automation übergehen zu können. Das Training befasst sich sowohl mit der Implementierung der wichtigsten Data-Vault-Modellierungskonzepte einschließlich ihrer verschiedenen Randaspekte, als auch mit den Mechanismen zur Bereitstellung von Informationen für die Endanwender. Behandelt werden auch aktuelle Techniken der Implementierung von Geschäftslogik zur Erzeugung der "korrekten" Informationen und moderne Methoden zum Handling eines "Continous Loadings".

Das Training bietet Tools und Konfigurationen, die Sie einfach nutzen können, um die Automatisierung Ihrer eigenen Entwicklung voranzutreiben - oder um Ansätze kommerzieller Automations-Software zu verstehen und effektiver nutzen zu können.

Trainingsinhalte und Zeitplan

Tag 1

  • Grundlagen des modellgetriebenn Designs
  • Grundlegendes DWH-Design & Architektur
  • Voraussetzungen und Komponenten. Was muss vorhanden sein? Welche Konzepte sollten unterstützt werden?
  • Konzepte, Implementierung und Ansätze für die Datenbereitstellung
  • Kollaborativer Gruppenarbeitsteil zur Modellierung
  • Überblick über die Lademuster und deren Metadatenanforderungen
  • Detaillierte Überlegungen zum Hub-Lademuster und dessen Implementierungsansatz (Schlüssel)

Tag 2

  • Detaillierte Betrachtung von Link-Lademustern und Implementierung (Beziehungen)
  • Detaillierte Betrachtung von Satelliten-Lademustern und Implementierung (Attribute)
  • Technische Aspekte (Indizierung, Partitionierung, Joins)
  • Organisation von Workflows, Ablaufsteuerung und Parallelisierung
  • Außnahmebehandlung
  • Historien und kontinuierliches Laden

Tag 3

  • Rohdaten und abgeleitete Tabellen
  • Anwendung von Geschäftslogik
  • Hilfskonstruktionen
  • Dimensionen und Fakten
  • Flexibilisierung des Entwicklungsprozesses (scale-up und scale-out)


Overview PDF

Hotel Mitland

Kommen Sie nach Utrecht zu Roelant Vos' Virtual Datawarehousing Workshop. Das Training findet im Hotel Mitland statt. Der Übernachtungspreis ist NICHT im Kurspreis enthalten.

Hotel Mitland Utrecht BV
Ariënslaan 1
3573 PT Utrecht
Niederlande

Hotel Tel: +31 302 715 824
Webseite: www.mitland.nl
E-Mail: info@mitland.nl

Virtual Data Warehousing in Australien

Dieser Workshop wird von Roelant Vos demnächst auch in Australien angeboten. Weitere Infos dazu folgen an dieser Stelle.

Preise

Regulär
  • € 3.025 (inkl. Mwst.)
Nettopreis 2.500 €

Anmeldung





Gerne stehen wir bei weiteren Fragen zu Ihrer Verfügung:

info@virtualdwh.de


Copyright: Roelant Vos

Impressum | Datenschutz | Bildquellen