Was ist ein Data Warehouse?

Es ist so eine Angewohnheit von mir: Bevor ich anfange, einen Text zu lesen und versuche ihn zu verstehen sehe ich mir zwei Bestandteile an, die eigentlich immer vorhanden sein sollten: Die Quellen und das Glossar.

Habe zur Vorbereitung auf diesen Artikel das Googles KI-Orakel befragt. Was dabei heraus kam, hat mich allerdings nicht zufrieden gestellt

Der Begriff Data Warehousing gibt keinerlei Hinweise auf die Art der Datennutzung
Trackingsysteme, die umfangreiche Daten zu Vorgängen speichern um diese, z. B. angereichert mit geographischen Informationen im Bedarfsfall anzuzeigen
EDM innerhalb SAP Utilities
Kassenabrechnungen im Einzelhandel

Versuch einer eigenen Definition von Data Warehouse

Der Begriff Data Warehouse besteht aus zwei Komponenten:

Data
Warehouse

Data

Auf Deutsch: Daten dem Plural von „Datum“.

Daten stellen durch Beobachtung, Missung, statistische Erhebung oder andere Wege gewonnene [Zahlen]Werte und Angaben dar. Der Begriff gibt ansich keine Information darüber, wie diese Daten vermerkt werden. Dieses kann auf Papier oder auch auf einen Datenträger digital erfolgen. Bei meinem Thema geht es allerdings ausschließlich um digitale Daten.

Eigenschaften dititaler Daten

Digitale Daten können verlustfrei kopiert werden.
Digitale Daten können kombiniert werden, wenn eine Überschneidung vorhanden ist
Digitale Daten haben kein Sterbedatum
Digitale Daten beschreiben etwas

Warehouse

Direkte Übersetung: Lager, Warenlager, Magazin, Ablage, Lagergebäude, Abholmarkt, Großmakt, Abholmarkt, Lagerhalle, Speicher

Ich will jetzt nicht mit Wissen glänzen, das ich nicht habe. Einblick in die Materie besteht in dem Minijob, den ich derzeit als Kommisionierer bei einem Versender habe. Der Job zwingt mich, meinen von zu viel Sitzen geplagten Körper in Gang zu halten. Aus meiner beruflichen Sicht mit über 4 Jahrzehnten in der Elektrizitätswirtschaft spielen Materiallager nur eine untergeordnette Rolle. Strom wird (derzeit) nicht im industriellen Maßstab gespeichert. Lager gibt es durchaus, Zweck dieser Lager liegt allerdings in der Sicherstellung des Betriebs der Anlagen (Wartungsmaterial, Spezialersatzteile und ähnliches). Ich habe deshalb einmal in den Untiefen der Betriebswirtschaftsleere nachgesehen, welchde Funktonen von Lagern dort existieren:

Bereitstellung von Gütern ist eine recht allgemeine Beschreibung für die Lagerfunktion.
Veredelung von Güter wie die Trockung von Holz oder die Reifung von Spirituosen.
Größendegression um Industriechargen auf handelsmengen zu reduzieren.
Darbietung von Gütern, vom Showroom für Edele Stoffe bis hin zum Verkaufsraum eines Supermarktes bzw. Diskounters.
Spekulation mit Gütern, dabei werden Güter eingelagert um später einen höheren Preis zu erziehlen.
Sicherung der Versorgung um einen reibungslosen Ablauf der betrieblichen Fuktion zu gewärleisten. Um jetzt in der Elektrizitätsversogung zu bleiben: Hierzu gehören auch Spezialersatzteile für Kraftwerke und Transformatoren, deren Ersatzbeschaffung Monate, wenn nicht auch Jahre dauern würden.

Ich nehme mir zunächst einmal die Lager vor, die ich aus eigener Erfahrung kenne. Diese bestehen aus mehreren Bereichen mit unterschiedlicher Funktion:

Das Lager unterteilt sich grob in zwei Bereiche, die organisatorisch voneinander getrennt sind:

Beschaffung
Auslieferung

Beschaffung

Der Wareneingang in meinem Lagermodell ist objektorientiert. Im Zentrum des Interesses stehen die Waren. Sie werden entsprechend ihrer Spezifikation bei einem Hersteller weltweit bestellt bestellt und bei Abruf oder Bestellung von diesem geliefert. Der Weg, über den die Güter transportiert werden ist individuell, meist wird der überwiegende Teil der Strecke im Container per Schiff erfolgen. Die direkte Anlieferung erfolgt jedoch standardmäßig mittels LKW durch einen Spediteur über die Straße.

Wareneingang

Der Wareneingang ist die Schnittstelle zum Transportsystem desSpediteurs. In den mir bekannten Fällen wird per LKW angeliefert. Der Wareneingang besteht aus einer Anzahl von standardisierten Ladebuchten, an die das Speditionsfahrzeug heranfahren kann um dort direkt entladen zu werden. Es ist so möglich, die benötigten Waren weltweit zu beschaffen.

Warenannahme

Lieferungen müssen bei der Annahme am Wareneingang erfasst und auf ihre Vollständigkeit und das Vorhandensein von Fehlern überprüft werden. (Qualitätskontrolle). Transportverpackungen müssen entfernt werden. Erst danach kann die Ware in das Lager gebracht und dort eingelagert werden. Die Ware wird vom Warenwirtschaftssystem erfasst, so dass diese später im Warenfluss innerhalb des Lagers abgerufen werden kann.

Vorratslager

Es können nicht auf Dauer die momentan abgerufenen Daten angeliefert werden. Effektiv werden Lieferungen erst bei einer Optimalen Nutzung des Lieferweges. Ein Vorratslager sorgt für die Pufferung um einerseits eine optimale Beschaffung zu organisieren und auf der anderen Seite einen kontinuierlichen Abgriff für die Auslieferung zu ermöglichen.

Lieferung

Organisatorisches Ziel ist es, die Materialanforderungen des Bestellers optimal zu erfüllen. Es steht damit das Subjekt „Kunde“ in der Perspektive. Schnittstelle zum Vorratslager sind Hochstapler, welche die Paletten aus dem Vorratslager in das Kommissionierungslager verbringen.

Lager für Kommisionierung

Die Lager, die ich kenne bestehen aus zwei Zonen: Eine für die Einlagerung der Gebinde, die noch nicht benötigt werden, eine zweite, die im Bedarfsfall aus dem Gebindelager gefüllt wird, aus der die Warenentnahme stattfindet. Die Unterteilung ist +/- organisatorisch.

Bei dem Lager für die Kommissionierung steht der eigentliche Vorgang des Zusammenstellens der Materialanforderung im Vordergrund. Die Waren werden griffbereit an eindeutig identifizierbaren Lagerplätzen aufbewahrt.

Gefüllt werden die Lagerplätze aus dem Vorratslager mittels Hochstaplers. Die Verpackung wird geöffnet, so das die Kommissionierer zugriff haben. Spezielle Güter, die sehr viel Abrufen werden bereits vor dem Verbringen an den Lagerort mit ihrer Versandverpackung versehen, um den Versandprozess zu Beschleunigen. Der Organisatorische Freiraum ist im Lager größer als beim Versand.

Kommisionierung

Die Kommisionierung umfasst das Zusammenstellen und Aufbereiten der angeforderten Artikeln eines Auftrag. Für die Komissionierung wird ein Lagerauftrag erstellt, der Material, Menge und Lagerort enthält. Der Kommisionierer sucht entsprechend den Vorgaben die gewünschen Artikel auf einem Wagen oder direkt in einen Karton zusammen. Die Waren werden ev. entsprechend den Wünschen des Anforderers aufbereitet oder gereinigt.

Abgeschlossene Lageraufträge werden an den Versand übergeben.

Versand

Die Waren werden überprüft und verpackt.

Die Waren werden entsprechend im ERP-System erfasst, Änderungen der Lagerbestände werden entsprechend verbucht. Das Packet wird beim Versandunternehmen gemeldet. Packete eines Versenders werden auf Containern zusammengestellt um eine schnelle übergabe bei der Abhohlung zu ermöglichen.

Warenausgang

Ein LKW des Versandunternehmens übernimmt die Waren an einer Ladebucht. Die Container und die darin enthaltenen Pakete werden an den Spediteur übergeben.

(Sorry, wenn ich jetzt mangels echter Fachkenntnis nicht umbedingt die korrekten Fachbegriffe benutze)

Eigenschaften

In einem Lager finden keine Änderungen an den Waren statt. Es wird mit den Gütern nicht aber an gearbeitet
Das Lager passt eine optimierte Beschaffung durch einen Warenbestand an den Bedarf des Kunden an.
Der Inhalt eines Lagers orientiert sich an den Anforderungen des Kunden, egal ob dieses eine dritte Partei ist oder sich um die eigene Produktion handelt (Subjektorientierung)
Die Warenlagerung orientiert sich an der Art der Güter.

Data Warehouse

Ein Date Warehouse stellt nichts weiter dar, als ein zweckorientiertes Lager digitaler Daten.

Klassische Literatur zu dem Thema umfasst einige Bereiche nicht: Datamining, Konservenintelligenz

Operational DataStore (ODS)

Ich will einmal aus meiner Sicht als ausgemusterter Rentner eine Abgenzung zum Operational DataStore, kurz ODS, versuchen. Technisch gesehen sind beide eigentlich identisch. Vieleicht kann man ein ODS auch als Spezialfall eines Data Warehouses bezeichnen, die Abgrenzung ist irgendwo nicht sehr scharf. Der Unterschied ergibt sich aus dem Grund der Datenvorhaltung, bei einem ODS stehen technische Prozesse im Vordergrund. Um einmal in Keller meiner Erfahrung zu suchen:

Das EDM innerhalb von SAP Utilities hat einen technischen Hintergrund (Rechnungserstellung, Netzabrechnungen, Strombeschaffung, Meldungen).
Bei meinen Bewerbungsversuchen bin ich darauf gestoßen dass DHL wahrscheinlich für das Tracking seiner Lieferungen ebenfalls ein ODS-System verwendet. Ohne viel Phantasie zu verbrachen lässt sich das auch auf den Bezos Laufburschenschaft übertragen.

Inhalt dieser ODS sind entsprechend transaktionale Detaildaten, wo hingegend bei Data Warehouses eine analytische Sicht den Kern des Interesses bilden dürfte. Bedeutet: Es sind nicht alle Details zur Analyse erforderlich.

Zusammenfassung

Bei einem Data Warehouse handelt es sich um eine Sammlung struckturierter Daten
Ein Data Warehouse erfüllt einen Informationsbedarf, dieser kann einen betriebswirtschaftlichen aber auch einen technischen Hintergrund haben.
In einem Data Warehouse können Daten angereichert und ergänzt werden, die Ursprungsinformation wird nicht geändert.

Sinn eines Data Warehouses

Ein Data Warehouse bedeutet einen nicht unerheblichen Aufwand. Es muss zusätzliche Hardware beschafft werden, für die Software müssen entsprechende Lizenzen vorhanden sein und ein entsprechendes Warehouse kostet Manpower für Entwicklung, Wartung und Betrieb. Also warum das Ganze?

Am Markt operierende, größere Unternehmen werden nicht nach dem Bauchgefühl oder der Nase des CEO geführt. Ohne jetzt auf ein großes Wissen in BWL zurückgreifen zu können: Entscheidungsgrundlagen müssen ausgearbeitet werden, wichtigster Gesichtspunkt dürfte im Bereich des aktuellen Status des Geschäfts liegen. Das reicht vom Produktcontrolling bis hin zur Kassenlage. Ich komme selbst aus dem Bereich Controlling, habe die ersten 20 Jahre dort verbracht. Allerdings weist die Elektrizitätswirtschaft der damaligen Zeit einige Besonderheiten auf, die teilweise heute noch vorhanden sind:

Es bestand ein Gebietsmonopol, was an Produkten abgesetzt worden ist war eher eine technische Frage
Der Strompreis musste von der Aufsichtsbehörde genehmigt werden, es bestand also kein Druck durch den Markt
Elektrizität ist nicht Lagerfähig, besitzt keinen Zwischenhandel, der etwas einlager kann.

die auch als Rechtfertigung gegenüber den Eigentümern standhalten müssen.

Perspektivwechsel, andere Sicht als auf einem transaktionalen System

Reduktion der Datenmenge

Aufbau von Zeitreihen

Unternehmen sind häufig in unterschiedliche, rechtlich eigenständige Unternehmensteile mit eigener Rechnungslegung und eigener Datenverarbeitung gegliedert. Diese Gliederung kann sowohl vertikal über Regionalgesellschaften erfolgen als auch horizontal z. B. durch Ausgliederung eigenständiger Vertriebswege. Jedes dieser Unternehmensteile ist zunächst sein eigener operativer Kosmos. Um dieses Dilemma zu beheben kann ein Data Warehouse Daten global zusammenführen und eine globale Datenbasis für analytische Fragestellungen schaffen.

Der Aspekt SPoT reicht von der Integration der Daten bis hin zur analogen Darstellung der Prozesse.

Ich weiß nicht, ob die Integration von Daten nicht einen eigenen Punkt darstellt. Hierunter fallen sowohl die einheitliche Darstellung von Angaben (Bsp. Geschlecht als m/f/d, männich – weiblich, 0 – 1) als auch die verwendeten metrischen Systeme (imperial, metrisch) darunter. In einer einheitlichen Systemumgebung solle dieses eine untergeordnette Rolle spielen, da hier meist einheitliche Grundlagen vorhanden sind.

Wichtiger ist die Harmonisierung von Werten und Prozessen. Dazu fällt mir zunächst das Währungsproblem ein. Die Transaktionale Währung kann von der Reportingwährung abweichen. Wie sieht es mit dem verwendeten metrischen System aus, im Mexikanisch – Kanadischem Grenzgebiet werden Imperiale Werte verwendet, im zivilisiertem Teil des Planeten herrscht das Metrische System vor.

Zusammenführung von Daten aus mehreren Quellen

All in One – Lösungen sind ab einer Unternehmensgröße nicht mehr möglich. Kann ich einen Handwerksbetrieb noch über eine Software-Suite abwickeln, wird das bei größenen Unternehmen kritisch. Da können Unternehmensteile rechtlich abgetrennt werden. Sei es, weil die räumliche Ausbreitung dieses erfordert, z. B. durch unterschiedliche Rechnungslegung. Sei es weil bestimmte Geschäftsformen, z. B. Online vs. klassicher Handel, eigene Strategien am Markt benötigen. Ist hier nicht Thema, sondern Ausgangslage für ein DW.

Integration und Harmonisierung

Kein Thema bei einem Greenfield Unternehmen. Alles Jungfräulich, alles kann geplant und für jedes Systen gelten gleiche Definitionen. Problematisch wird es, wenn Konzerne zusammengekauft werden. Hier treffen oft unterschiedliche Philosopien aufeinander, Vorgänge werden unterschiedlich im System abgebildet. Die Elektrizitätsversorgung ist eine Branche mit hoher Regulierung, die eine Software-Suite wie das SAP IS-U, heute SAP Utilities ermöglicht. Aber selbst hier sind unterschiedliche Abbildungen der Prozesse möglich, die bei einer Fusion zu Problemen führen können.

Das interesse innerhalb von ERP – Systemen erstreckt sich üblicherweise auf den aktuellen Geschäftsprozess und die Rechnungslegung. Eventuell noch auf die Planung. Es gibt in diesem Bereich Aufbewahrungsfristen, die aber nicht zwingend beinhalten, dass diese Daten auch permanent online sind (Archivierung).

Für ein Reporting werden aber desöfteren Zeitreihen auch auf historische Daten benötigt. Sei es zur Anlyse, sei es zur Selbstdarstellung. Data Warehouses ermöglichen es, historische Daten unabhängig vom operativen Geschäft vorzuhalten.

Probleme

Es geht um die Zeitverzögerung zwischen Transaktion auf der Quelle und der Bereitstellung der Daten für dfie Verwendung. Bei einem Data Warehouse handelt es sich um Kopien der Daten. Zumindest im SAP-Umfeld müssen die Daten vom Warehouse abgeholt werden, wie ist hier irrelevant. Die Daten werden nicht von einer Transaktion getriggert an das Warehouse weitergegeben. Über einen ETL-Prozess werden die Daten aus der Quelle geladen und innerhalb des Data Warehouses verbucht (Staging). Problem ist die Ladefrequenz. Grade in der Vergangenheit, als die Leistungsfähigkeit der Systeme eine deutlich geringere Performance hatte wurden Beladungen in die Nacht, außerhalb der Arbeitszeit verlegt. Die Aktualität der Daten konnte so stunden oder tagelang hinterherhängen.

Bei den Daten innerhalb eines Data Warehouse handelt es sich um Kopien der Originaldaten der Quellsysteme. Beim Kopieren (ETL-Prozess und Staging) können viele Probleme auftreten. Daten können nicht oder mehrfach verbucht werden. Daten können inkompatibel sein und können im DW nicht verbucht werden. Daten werden nicht extrahiert, weil der ETL-Algorithmus fehlerhaft ist. Für Auswertungen muss sichergestellt werden, dass die Daten des DW dem der Quellen entsprechen. Dieses ist umso wichtiger, wenn diese für die Rechnungslegung oder ein Audit dienen.

Bei einer Greenfield-Installation kein Thema, eher wenn Systeme „organisch“ Wachsen, wie es bei Fusionen oft der Fall ist. Unterste Ebene der Integration ist die technische Ebene. Wie sind die Datenfelder überhaupt definiert, wie werden Zustände gekennzeichnet. Alle DBMS lassen geben den Entwicklern eine Bandbreite von Optionen in die Hand. In einer homogenen Umgebung wie SAP sie anbietet, ist dieses Problem relativ gering.

Nächste Ebene ist die der semantischen Definition. Wie sind die Daten überhaupt definiert. Ich bin damit einmal auf die Nase gefallen, ein Begriff aus dem Bereich Analgen wurde lokal etwas anders gehandhabt als ich es von meinem SAP-Sprech gewohnt war. Dazu kommt, das Software wie SAP IS-U customizebar ist, ein und derselbe Vorgang in unterschiedlichen Systemen anders auf der Datenbank abgebildet werden können.

Schwierigste Ebene bei der Integration ist die oberste Ebene, die der abgeleiteten Merkmale. Im Bereich SAP IS-U / Utilities gibt es die Möglichkeit Fakten zu Anlagen, Tarifen oder Tariftypen frei zu definieren. Da können Welten aufeinandertreffen.

Datenwarenhäuser können sehr anspruchsvoll in Sachen Hardware sein. Sie sind wie Privatfahrzeuge: Stehen die meiste Zeit rum, kosten und müssen dann für Abfragen zum Teil zeitkritische Aufgaben bewältigen.

Realisierung

Einem Data Warehouse ist es egal in welchen Entwicklungsframework es aufgebaut worden ist.

Ein Data Mart ist ein für einen bestimmten Zweck vorgehaltener Datenbestand innerhalb eines DW, Subjektorientiert nach den Anforderungen der Benutzer

Sternschema

Abgrenzung Data Lake

Art der Daten	Strukturierte Daten	Strukturierte und unstrukutierte Daten
Speicherformat	Tabellen	Diverse
Datenmodell	Bei der Modellierung (Schema on Write)	Beim Auslesen (Schema on Read)
Flexibilität	Geringe bei neuen Datenquellen	Sehr hohe Flexibilität bei neuen Datenquellen, da das Schema erst beim Lesen definiert werden muss
Wartung	robust, einfache Pflege	Hoher Pflegeaufwand
Zielrichtung	Geschäftsanalyse, KPI	Data Mining, Machine Learning