vdwh-logo

Virtual Data Warehousing

Implementierung und Automation

Workshop mit Roelant Vos

25. bis 27. Februar 2019 in BERLIN


Jetzt anmelden!


"Für ein Data Warehouse haben wir keine Zeit"

... kommt Ihnen das bekannt vor?

Ein virtuelles Data Warehouse ermöglicht eine schnelle Daten-Bereitstellung und erlaubt die Umsetzung agiler Ansätze bei der Implementierung eines DWH. Lernen Sie Roelant Vos' bahnbrechendes Konzept kennen und virtualisieren auch Sie Ihr DWH.

  • PSA-Layer (Persistent Staging Area) als fundamentale Datenbasis
  • Nutzung von bewährten hybriden Modellierungstechniken basierend auf Data Vault
  • Umfangreiches Metadatenmodell zur Generierung

Der Workshop vermittelt detailliert alle notwendigen Muster und Techniken. Alles, was Sie für die Implementierung einer virtuellen Data Warehouse Lösung benötigen - von der Datenquelle bis zum Datamart.


Was heißt virtual Data Warehousing?


Kreativität erfordert die direkte Verbindung des Entwicklers zu seinem Endprodukt. Es ist daher sinnvoll, wenn man bei der Entstehung eines Produkts in der Lage ist, direkt zu sehen, welche Auswirkungen eine Änderung auf das zu Erschaffende hat.

Das ist es, was das Virtual Data Warehouse als Konzept und Denkweise ermöglichen soll: eine unmittelbare Verbindung von den Daten zu der Auswertung zu ermöglichen, um jede Art von Untersuchung zu unterstützen und Kreativität bei der Handhabung zu ermöglichen. Data Warehousing im Sinne von Virtualisierung zu verstehen, bedeutet im Wesentlichen, dem Leitsatz zu folgen, eine direkte Verbindung zu den Daten herzustellen. Es geht darum, Wege zur Vereinfachung zu finden und weiter an der Beseitigung von Hindernissen für die Bereitstellung von Daten und Informationen zu arbeiten. Es geht auch darum, Ideen zum Erblühen zu bringen, denn Daten können für jede Art von Erkenntnis oder Aussage zur Verfügung gestellt werden.

Virtuelles Data Warehousing ist die Möglichkeit, Daten direkt aus einem Rohdatenspeicher zu präsentieren, indem man Lademuster, Informationsmodelle und Architekturen des Data Warehouse nutzt. In vielen Data Warehouse-Lösungen gilt es bereits als Best Practice, Data Marts in ähnlicher Weise zu "virtualisieren". Das Virtuelle Data Warehouse geht diesen Ansatz noch einen Schritt weiter, indem es das gesamte Data Warehouse auf Basis der Rohtransaktionen jederzeit umgestalten kann.

Diese Fähigkeit erfordert einen permanenten historisierten Rohdatenspeicher, auch bekannt als Persistent Staging Area "PSA";, in dem die ankommenden Daten so gespeichert werden, wie sie ursprünglich entgegengenommen wurden, und zwar auf der untersten Ebene. Wenn die Daten so aufbewahrt werden, kann alles, was Sie mit Ihren Daten machen, jederzeit wiederholt werden - deterministisch. Im Idealfall ermöglicht das Virtual Data Warehouse, auf der Ebene einfacher Metadaten-Mappings, nur Modellierungs- und Interpretationsinformationen zu erfassen und die eher technischen Details zu abstrahieren.

Ein virtuelles Data Warehouse ist nicht dasselbe wie Datenvirtualisierung. Diese beiden Konzepte sind grundsätzlich unterschiedlich. Datenvirtualisierung ist nach den meisten Definitionen die Bereitstellung eines einheitlichen direkten Zugriffs auf Daten über viele "unterschiedliche" Datenspeicher hinweg. Es ist eine Möglichkeit, auf Daten zuzugreifen und sie zu kombinieren, ohne die Daten physisch in andere Umgebungen verschieben zu müssen. Die Datenvirtualisierung konzentriert sich jedoch nicht auf Lademuster sowie Datenarchitektur und -modellierung.

Das Virtuelle Data Warehouse hingegen ist ein flexibler und überschaubarer Ansatz zur Lösung von Themen der Datenintegration und Zeitabweichung mit Hilfe von Data-Warehouse-Konzepten, der im Wesentlichen ein definiertes Schema-on-Read bietet.

Die Idee des Virtuellen Data Warehouse entstand durch die Arbeit an Verbesserungen zur Generierung von Data Warehouse Ladeprozessen. Es ist gewissermaßen eine Evolution im Denken der ETL-Generatoren. Die Kombination von Data Vault mit einem permanenten historisierten Rohdatenspeicher "PSA" bietet zusätzliche Funktionen, da sie es dem Entwickler ermöglicht, Teile der Data Warehouse Lösung kurzfristig zu überarbeiten. Hybride Ansätze für Data Warehousing sind so konzipiert, dass sie flexibel und anpassungsfähig sind, um Veränderungen der fachlichen Nutzung und Interpretation Rechnung zu tragen. Die Arbeit mit Daten kann komplex sein, und oft ist die "richtige" Lösung für den jeweiligen Zweck das Ergebnis einer Reihe von Iterationen, bei denen Experten der fachseite und Datenexperten zusammenarbeiten.

Mit anderen Worten, das Data-Warehouse-Modell selbst ist nicht etwas, das man auf einen Schlag immer richtig machen kann. Tatsächlich kann es lange dauern, bis sich ein Data-Warehouse-Modell stabilisiert hat, und in den derzeit schnelllebigen Umgebungen ist dies vielleicht sogar nie der Fall. Das Virtual Data Warehouse hilft, sowohl die Denkweise als auch die Fähigkeit einer Datenlösung aufrechtzuerhalten, sich mit rasch den fachlichen Anforderungen anzupassen und den technische Overhead kontinuierlich zu reduzieren. Diese Denkweise ermöglicht faszinierende Möglichkeiten wie die Möglichkeit der Versionskontrolle des Datenmodells, der Metadaten und ihrer Beziehung aufrechtzuerhalten - d.h. das gesamte Data Warehouse so abzubilden, wie es zu einem bestimmten Zeitpunkt war - oder sogar unterschiedliche Datenmodelle für verschiedene Geschäftsfelder zuzulassen.

Das virtuelle Data Warehouse wird durch die Kombination der Prinzipien der ETL-Generierung, hybrider Data Warehouse Modellierungskonzepte und eines Persistent Historical Data Store "PSA" ermöglicht. Es ist eine Möglichkeit, eine direktere Verbindung zu den Daten herzustellen, da Änderungen an den Metadaten und Modellen sofort in der Informationsbereitstellung abgebildet werden können. Das persitieren von Daten im Sinne eines traditionellen Data Warehouse ist jedoch immer noch eine Option und kann erforderlich sein, um die gewünschte Performance zu liefern. Der deterministische Charakter eines virtuellen Data Warehouse ermöglicht je nach Anforderung einen dynamischen Wechsel zwischen physischer und virtueller Struktur.

In vielen Fällen ändert sich dieser Mix aus physischen und virtuellen Objekten in den Data Warehouses im Laufe der Zeit selbst, wenn sich der Geschäftsfokus ändert. Ein guter Ansatz ist es, "virtuell zu starten" und zu persistieren wann immer notwendig oder sinnvoll.


Download PDF

Ihr Trainer

Roelant Vos ist seit mehr als 20 Jahren im Bereich Data Warehousing und BI tätig und gilt seit vielen Jahren als erfahrener Experte in der Data Vault Community. Wann immer ihm seine Arbeit genug Zeit lässt, teilt er seine Ideen und Gedanken auf seinem Blog roelantvos.com.

Roelant ist General Manager - Enterprise Data Management bei Allianz Worldwide Partners in Brisbane, Australien. Dort arbeitet er an der Integration und Interpretation von Daten zur Optimierung von Geschäftsprozessen. Seine Leidenschaft gilt der Verbesserung der Datenqualität und der Optimierung der Verarbeitungsgeschwindigkeit. Seit vielen Jahren ist er an der Spitze der modernen Modellierungs- und Entwicklungstechniken unterwegs durch Prozessautomation und model-driven Design.

Sie wollen ...

  • Ein tiefes Verständnis für die Konzepte hinter DWH Lademustern aufbauen.
  • ETL-Prozesse effektiv generieren und dadurch mehr Zeit zur Verbesserung der Datenqualität haben.
    Eine Lösung entwickeln, die sich rasch an geänderte Fachanforderungen anpassen kann.
  • Eine eigene DIY-Lösung (Do-It-Yourself) umsetzen oder effizient eine der auf dem Mark verfügbaren Automatisierungssoftwaren einsetzen?

Der Workshop behandelt fortgeschrittene Modellierungs- und Implementierungstechniken und deckt ein breites Spektrum an Interessengebieten ab. Er ist daher nicht nur für BI- und ETL-Spezialisten interessant sondern auch für DBAs, BI-Architekten und Datenmodellierer.

Voraussetzungen

  • Ausreichende Englischkenntnisse (Kurssprache ist Englisch)
    Grundlegende Kenntnisse in Data Warehousing und Datenintegration
  • Gute SQL-Kenntnisse
  • Grundsätzliches Verständnis von Programmierung und einfachen Skripten
  • Kentnisse der Data-Vault-Modellierung (z.B. durch eine Teilnahme an der CDVP2 Zertifizierung)

Ein optionaler Hands-On-Workshop zur praktischen Vertiefung der gelernten Inhalte kann an den Workshop-Abenden besucht werden. In diesem Fall benötigen Sie eine geeignete Entwicklungsumgebung (z.B. eine virtuelle Maschine auf Ihrem Laptop) mit SQL Server (Versionen 2012, 2014 oder 2016) mit MS Integration Services sowie Visual Studio mit den SQL Server Data Tools.

Ist der Kurs für mich relevant?

Durch die Verwendung von Data-Vault-Lademustern als Ergänzung zu einer persistierten Stage-Schicht (PSA) können die sich wiederholenden Aspekte der Datenverarbeitung reduziert und die Konsistenz der Entwicklung erhalten werden. Diese Muster erscheinen recht einfach, tatsächlich jedoch erfordert jedes Muster weitreichende Überlegungen, die es sowohl auf technischer als auch auf konzeptioneller Ebene zu beachten gilt, um den Anforderungen gerecht zu werden.

Die Data-Vault-Modellierung bietet elegante Lösungen zur Verwaltung von komplexen Fragestellungen, der Erfolg einer Implementierung hängt indes stets von der korrekten Modellierung ab. Letztendlich ermöglicht die Nutzung von ETL-Generierungs- und Virtualisierungstechniken ein hohes Maß an Flexibilität, da verschiedene Modellierungsansätze schnell erzeugt und getestet können, um herauszufinden, welcher am besten zum jeweiligen Anwendungsfall passt. So bleibt mehr Zeit für die Umsetzung komplexerer Fragestellungen.

Dieser Workshop ist für jederman relevant, der verstehen möchte, wie die Techniken von modellgetriebenden Designs und der musterbasierten Generierung zur Beschleunigung von BI-Entwicklungsprozessen eingesetzt werden. Da auch fortgeschrittene Modellierungs- und Implementierungstechniken behandelt werden, ist der Workshop für viele Datenprofis interessant, vom BI- und Data Warehouse-Spezialisten über ETL-Spezialisten, Datenmodellierer und Architekten bis hin zum DB-Admin.

Flexibles Design und Implementierung

Ziel des Workshops ist es, so schnell wie möglich zur Implementierung und zu fortgeschrittenen Techniken überzugehen. Das Training befasst sich sowohl mit der Implementierung der wichtigsten Data-Vault-Modellierungskonzepte einschließlich ihrer verschiedenen Randaspekte, als auch mit den Mechanismen zur Bereitstellung von Informationen für die Endanwender. Behandelt werden auch aktuelle Techniken der Implementierung von Geschäftslogik zur Erzeugung der "richtigen" Informationen und moderne Methoden zum Handling multipler Zeitpläne für die Berichterstattung.

Das Training bietet Tools und Konfigurationen, die Sie einfach nutzen können, um die Automatisierung Ihrer eigenen Entwicklung zu optimieren - oder um Ansätze kommerzieller Automations-Software zu verstehen und effektiver nutzen zu können.

Trainingsinhalte und Zeitplan

Tag 1

  • Grundlagen des modellgetriebenn Designs
  • Grundlegendes DWH-Design & Architektur
  • Voraussetzungen und Komponenten. Was muss vorhanden sein? Welche Konzepte sollten unterstützt werden?
  • Konzepte, Implementierung und Ansätze für die Datenbereitstellung
  • Kollaborativer Gruppenarbeitsteil zur Modellierung
  • Überblick über die Lademuster und deren Metadatenanforderungen
  • Detaillierte Überlegungen zum Hub-Lademuster und dessen Implementierungsansatz (Schlüssel)

Tag 2

  • Detaillierte Betrachtung von Link-Lademustern und Implementierung (Beziehungen)
  • Detaillierte Betrachtung von Satelliten-Lademustern und Implementierung (Attribute)
  • Technische Aspekte (Indizierung, Partitionierung, Joins)
  • Organisation von Workflows, Ablaufsteuerung und Parallelisierung
  • Außnahmebehandlung
  • Historien und kontinuierliches Laden

Tag 3

  • Rohdaten und abgeleitete Tabellen
  • Anwendung von Geschäftslogik
  • Hilfskonstruktionen
  • Dimensionen und Fakten
  • Flexibilisierung des Entwicklungsprozesses (scale-up und scale-out)

ABION Spreebogen Waterside Hotel

Kommen Sie nach Berlin zu Roelant Vos' Virtual Datawarehousing Workshop. Das Training findet im ABION Spreebogenhotel statt; schnell und einfach zu erreichen vom Hauptbahnhof Berlin und dem Flughafen Tegel (TXL).

Wenn Sie ein Zimmer im Veranstalungshotel buchen wollen, können Sie Ihr Zimmer bis 10. Januar 2019 unter dem Stichwort Virtual Data Warehousing Workshop buchen. Der Übernachtungspreis ist NICHT im Kurspreis enthalten.

AMERON Berlin ABION Spreebogen Waterside
Alt-Moabit 99
10559 Berlin

Hotel Tel: +49 20 399 200
Webseite: www.ameronhotels.com
E-Mail: mailto:info@abion-hotel.de

Virtual Data Warehousing in Australien

Dieser Workshop wird von Roelant Vos demnächst auch in Australien angeboten. Weitere Infos dazu folgen an dieser Stelle.

Preise

Frühbucher
  • bis 31.12.2018
  • € 2.677,5 (inkl. Mwst.)
Nettopreis 2.250 €
Regulär
  • ab 01.01.2019
  • € 2.975 (inkl. Mwst.)
Nettopreis 2.500 €

Anmeldung






Gerne stehen wir bei weiteren Fragen zu Ihrer Verfügung:

info@virtualdwh.de


Copyright: Roelant Vos

Impressum | Datenschutz | Bildquellen