Ich habe etwa 20 Jahre meines Berufslebens mit Data Warehousing verbracht. Ich bin Quereinsteiger in der IT, habe nicht Informatik studiert. Während meines Studiums habe ich noch Lochkarten Fortran Code gestanzt, entsprechend lange her. Es gibt eine alte Regel, nach der man zunächst einmal das beschreiben sollte, worüber man spricht. Nur um abzugleichen, ob auch alle über das gleiche reden, deshalb dieser Beitrag.
Der Begriff
Zunächst einmal ganz einfach gedacht, der Begriff „Data Warehouse“ setzt sich aus zwei Komponenten zusammen:
- Data, deutsch Daten.
- Warehouse, deutsch Warenhaus, Warenlager, Depot, Lager, Magazin, Abholmarkt, Großmarkt oder ähnlich.
Data
Daten sind zunächst Abfolgen von Buchstaben, Ziffern und Zeichen, durch ihren Kontext werden sie zu Informationen, zu interpretierbaren Werten. Digitale Daten lassen sich von Computern verarbeiten, zumindest nach derzeitigem Stand kann kein Rechner die Daten interpretieren.
Warehouse
Es ist ein Ort, an dem jemand, der einen Bedarf hat, versucht diesen zu decken. Ich weiß, ist ein bisschen komisch ausgedrückt. So etwas kann sowohl ein Supermarkt oder ein Diskounter, aber auch ein Ersatzteil- oder ein Betriebsstofflager sein. Entsprechend richtet sich der Bestand eines Warehouses immer nach dem Bedarf der Kunden. Die Organisation wiederum orientiert sich an den eingelagerten Gütern.
Ein Warehouse liegt immer außerhalb des Produktionsprozesses. Es ist für die Bereitstellung von Gütern bestimmt. Sieht man einmal davon ab, dass die gelagerten Güter eventuell für die Auslieferung aufbereitet werden müssen, werden die Güter selber im Warehouse nicht verändert.
Ein Warenhaus hat immer zwei Seiten,
- eine für die Beschaffung / Anlieferung der Güter
- eine für die Auslieferung an den Kunden
Innerhalb des Warehouses werden die Güter gespeichert und so umgelagert, dass sie den Ansprüchen des Kunden entsprechen.
Die Beschaffungsseite orientiert sich an der Beschaffung der zu lagernde Güter. Es gibt eine Beziehung zwischen den Gütern und den entsprechenden Lieferern. Diese beschreibt die Beschaffungsvorgänge. Die Waren können einzeln bestellt oder über einen Rahmenvertrag abgerufen werden.
Definitionen Data Warehouse
Ich bleibe bei der Frage zunächst bei der Wikipedia und sehe mir einmal an, was mir dort geboten wird:
Ein Data Warehouse ist eine physische Datenbank, die eine integrierte Sicht auf (beliebige) Daten darstellt, um Analysen zu ermöglichen
Andreas Bauer, Holger Günzel: Data-Warehouse-Systeme: Architektur, Entwicklung, Anwendung. dpunkt, 2013, ISBN 3-89864-785-4
A data warehouse is a copy of transaction data specifically structured for querying and reporting
Ralph Kimball, Mary Ross: The Data Warehouse Toolkit. The Complete Guide to Dimensional Modeling. Wiley, ISBN 0-471-20024-7
Ein Data Warehouse ist ein physischer Datenbestand, der eine integrierte Sicht auf die zugrundeliegenden Datenquellen ermöglicht
Thomas Zeh: Data Warehousing als Organisationskonzept des Datenmanagements. Eine kritische Betrachtung der Data-Warehouse-Definition von Inmon. In: Informatik – Forschung und Entwicklung. 18, Nr. 1, 2003
Das Data Warehouse
- Bei einem Data Warehouse handelt es sich um eine Datenbank
- Bei einem Data Warehouse handelt es ich um eine aufeinander abgestimmte Sicht von Daten aus beliebigen Quellen
- Bei einem Data Warehouse handelt es sich um ein, speziell für die Bedürfnisse der Nutzer, optimiertes System (Reporting / Analyse)
- Bei einem Data Warehouse handelt es sich um strukturierte Daten.
- Der Begriff Date Warehouse sagt nichts über die verwendete Technik aus.
Datenbank
Daten aus beliegigen Quellen
Kopien von Daten
OLTP / OLAP
Zwei Begriffe, die für eine unterschiedliche Organisation der Daten stehen. OLTP (Online Transaction Processing) wird für eine schnelle und sichere transaktionale Datenverarbeitung eingesetzt, wie sie z. B. auf ERP-Systemen oder Warenwirtschaftssystemen zum Einsatz kommt. Die Daten sind eindeutig und redundanzfrei strukturiert in Tabellen gespeichert. Diese Methode kann, grade bei Tabellen mit einer großen Datensatzbreite und vielen Datensätzen kann dieses bei einer Abfrage (Query) zu einer sehr großen zu durchsuchenden Datenmenge führen, welche die Laufzeit der Abfrage negativ beeinflusst. Um dieses zu optimieren,kommt eine OLAP (Online Analytical Processing) Optimierung zum Tragen. Kern ist, die zu durchsuchende Datenmenge so klein wie möglich zu halten. Zum Einsatz kommen u. A. DataMarts (Daten für einen spezifischen Kunden), das Sternschema (Dimensionen / Fakten) zum Einsatz.
Strukturierte Daten
Der Begriff „Data Warehouse“ stammt aus dem letzten Jahrtausend. Seitdem hat sich einiges getan. Eine Sache, die auch für die damaligen Visionäre nicht absehbar war: Die Vernetzung im Internet und damit einhergehend auch eine Änderung im Kommunikationsverhalten. Hier fallen Daten an, die nicht in strukturierter Form vorliegen. Ein Data Warehouse umfasst strukturierte Daten, will heißen, dass alle Daten zusammenhängend und strukturierrt vorgehalten werden. Damit unterscheidet sich Data Warehousing von Data Mining, wo unstrukturierte Daten wie Emailinhalte ausgewertet werden können.
Keine technischen Vorgaben
Bei einem Data Warehouse handelt es sich um eine spezielle Form der Datenorganisation, die unabhängig ist von der Hardware und verwendeten DBMS.