Es ist so eine Angewohnheit von mir: Bevor ich anfange, einen Text zu lesen und versuche ihn zu verstehen sehe ich mir zwei Bestandteile an, die eigentlich immer vorhanden sein sollten: Die Quellen und das Glossar.
Habe zur Vorbereitung auf diesen Artikel das Googles KI-Orakel befragt. Was dabei heraus kam, hat mich allerdings nicht zufrieden gestellt
- Der Begriff Data Warehousing gibt keinerlei Hinweise auf die Art der Datennutzung
- Trackingsysteme, die umfangreiche Daten zu Vorgängen speichern um diese, z. B. angereichert mit geographischen Informationen im Bedarfsfall anzuzeigen
- EDM innerhalb SAP Utilities
- Kassenabrechnungen im Einzelhandel
Versuch einer eigenen Definition von Data Warehouse
Der Begriff Data Warehouse besteht aus zwei Komponenten:
- Data
- Warehouse
Warehouse
Direkte Übersetung: Lager, Warenlager, Magazin, Ablage, Lagergebäude, Abholmarkt, Großmakt, Abholmarkt, Lagerhalle, Speicher
Ich will jetzt nicht mit Wissen glänzen, das ich nicht habe. Einblick in die Materie besteht in dem Minijob, den ich derzeit als Kommisionierer bei einem Versender habe. Der Job zwingt mich, meinen von zu viel Sitzen geplagten Körper in Gang zu halten. Aus meiner beruflichen Sicht mit über 4 Jahrzehnten in der Elektrizitätswirtschaft spielen Materiallager nur eine untergeordnette Rolle. Strom wird im industriellen Maßstab nicht gespeichert. Lager gibt es durchaus, Zweck dieser Lager liegt allerdings in der Sicherstellung des Betriebs der Anlagen (Wartungsmaterial, Spezialersatzteile und ähnliches).
Ich nehme mir zunächst einmal die Lager vor, die ich aus eigener Erfahrung kenne. Diese bestehen aus mehreren Bereichen mit unterschiedlicher Funktion:
Das Lager unterteilt sich grob in zwei Bereiche, die organisatorisch voneinander getrennt sind:
- Wareneingang
- Warenausgang
Wareneingang
Der Wareneingang in meinem Lagermodell ist objektorientiert. Im Zentrum des Interesses stehen die Waren. Sie werden entsprechend ihrer Spezifikation bei einem Hersteller bestellt und beim Abruf von diesem geliefert.
Wareneingang
Der Wareneingang ist die Schnittstelle zum Spediteur. In den mir bekannten Fällen wird per LKW angeliefert und der Wareneingang besteht aus einer Anzahl von standardisierten Ladebuchten, an die das Speditionsfahrzeug heranfahren kann um dort direkt entladen zu werden. Es ist so möglich, die benötigten Waren weltweit zu beschaffen.
Warenannahme
Lieferungen müssen bei der Annahme am Wareneingang erfasst und auf ihre Vollständigkeit und das Vorhandensein von Fehlern überprüft werden. (Qualitätskontrolle). Transportverpackungen müssen entfernt werden. Erst danach kann die Ware in das Lager gebracht und dort eingelagert werden.
Vorratslager
Es können nicht auf Dauer die momentan abgerufenen Daten angeliefert werden. Effektiv werden Lieferungen erst bei einer Optimalen Nutzung des Lieferweges. Ein Vorratslager sorgt für die Pufferung um eine optimale Beschaffung zu organisieren, auf der anderen Seite aber den Abgriff für die Auslieferung nicht zu behindern.
Warenausgang
Lager für Kommisionierung
Die Lager, die ich kenne bestehen aus zwei Zonen: Eine für die Einlagerung der Gebinde, die noch nicht benötigt werden, eine zweite, die im Bedarfsfall aus dem Gebindelager gefüllt wird, aus der die Warenentnahme stattfindet. Die Unterteilung ist +/- organisatorisch.
Kommisionierung
Die Kommisionierung umfasst das Zusammenstellen und Aufbereiten der angeforderten Artikeln eines Auftrag. Für die Komissionierung wird ein Lagerauftrag erstellt, der Material, Menge und Lagerort enthält. Der Kommisionierer sucht entsprechend den Vorgaben die gewünschen Artikel auf einem Wagen oder direkt in einen Karton zusammen. Die Waren werden ev. entsprechend den Wünschen des Anforderers aufbereitet oder gereinigt.
Abgeschlossene Lageraufträge werden an den Versand übergeben.
Versand
Die Waren werden überprüft und verpackt.
Die Waren werden entsprechend im ERP-System erfasst, Änderungen der Lagerbestände werden entsprechend verbucht. Das Packet wird beim Versandunternehmen gemeldet. Packete eines Versenders werden auf Containern zusammengestellt um eine schnelle übergabe bei der Abhohlung zu ermöglichen.
Warenausgang
Ein LKW des Versandunternehmens übernimmt die Waren an einer Ladebucht. Die Container und die darin enthaltenen Pakete werden an den Spediteur übergeben.
(Sorry, wenn ich jetzt mangels echter Fachkenntnis nicht umbedingt die korrekten Fachbegriffe benutze)
Eigenschaften
- In einem Lager finden keine Änderungen an den Waren statt. Es wird mit den Gütern nicht aber an gearbeitet
- Das Lager passt eine optimierte Beschaffung durch einen Warenbestand an den Bedarf des Kunden an.
- Der Inhalt eines Lagers orientiert sich an den Anforderungen des Kunden, egal ob dieses eine dritte Partei ist oder sich um die eigene Produktion handelt (Subjektorientierung)
- Die Warenlagerung orientiert sich an der Art der Güter.
Daten
Daten, Plural von „Datum“
Eigenschaften
- Digitale Daten können verlustfrei kopiert werden.
- Digitale Daten können untereinander kombiniert werden, wenn eine Überschneidung vorhanden ist
- Digitale Daten haben kein Sterbedatum
- Digitale Daten beschreiben etwas
Eigenschaften digitaler Daten
Data Warehouse
Klassische Literatur zu dem Thema umfasst einige Bereiche nicht: Datamining, Konservenintelligenz
Sinn eines DW
Globale Sicht auf die Daten
Basis für Analyse / Reporting
Aufbau einer Historie
Eigenschaften
Ein Data Warehouse beinhaltet eine übergreifende Sammlung von Daten zu einem vom Betreiber definierten Zweck, die aus unterschiedlichen Quellen gesammelt werden und harmonisiert in einer für die Nutzung / Analyse optimierten Form bereitgestellt werden.
Ein Data Warehouse erfüllt ein Informationsbedarf, dieser kann sich auf betriebswirtschaftliche beziehen, kann aber auch einen technischen, logistischen oder andersartigen Hintergrund haben
Bei einem Data Warehouse handelt es sich um strukturierte Daten, ergibt sich aus dem Zweck der Analyse, nicht Datamining
DW ermöglichen unterschiedliche Perspektiven auf die Daten
Performance der Abfrage ist ein zentrales Thema des Data Warehousing
In einem Data Warehouse findet keine Änderung der ursprünglichen Informations statt. Die Daten werden aufbereitet, ev. angereichert, zusammengefasst und für die Auswerdung aufbereitet
Data Warehouses können für die Anreicherung von Daten verwendet werden
Ein DW ordnet die Daten in charakterisierende und quantifizierende Werte ein.
Realisierung
Einem Data Warehouse ist es egal in welchen Entwicklungsframework es aufgebaut worden ist.
Probleme
Zeitverzögerung zwischen Transaktion und Reportingfähigkeit
Perfomance
Glaubwürdigkeit der Zahlen
Es handelt sich nicht um die Originaldaten der Quellsysteme sondern um Kopien davon. Nachweis, das diese Daten auch wirklich vollständig und korrekt kopiert worden sind.
Hardwareanforderungen
Keine kontinuierliche Last auf der Büchse. Temporär während der Ausführung einer Query werden ev. sehr viele Daten ausgewertet.
Integration nicht kompatible Werte.
Dieses geht von der Kennzeichnung unterschiedlicher Zustände über Einheiten bis hin zur Abbildung von Prozessen.
- Geschlecht
- 1,0 / 0,1
- m / f
- 0, 1
- male, female
- Mann, Frau
- Längen
- Meter
- Inch
- Yard
- Miles
- Feldtypen
- Character
- Integer
- Float
Das Problem ist bei
Sternschema
Klassisches Data Warehouse
- ETL – Prozesse (Extraction, Transformation, Load)
- Dateneingang
- Staging
- Data Marts / Cubes
- Abfrage
ETL – Prozesse
Operational Data
Extraktion, Transformation, Load
Reduktion der zu ladenden Datenmenge auf die notwendigen Daten
Aufteilung in Beschreibende und Quantifizierende Daten
- Beschreibende / Charakterisierende Felder können nicht Aggregiert werden, auch wenn sie einen numerischen Wert beinhalten. Es bringt keinen Nährwert, Schuhgrößen aufzusummieren.
- Nach Beschreibenden / Charakterisierenden Feldern kann selektiert werde.
Staging
Fortschreibung innerhalb des DW in die Data Marts / Cubes
Data Marts / Cubes
Ein Data Mart ist ein für einen bestimmten Zweck vorgehaltener Datenbestand innerhalb eines DW, Subjektorientiert nach den Anforderungen der Benutzer
Abgrenzung Data Lake
| Art der Daten | Strukturierte Daten | Strukturierte und unstrukutierte Daten |
| Speicherformat | Tabellen | Diverse |
| Datenmodell | Bei der Modellierung (Schema on Write) | Beim Auslesen (Schema on Read) |
| Flexibilität | Geringe bei neuen Datenquellen | Sehr hohe Flexibilität bei neuen Datenquellen, da das Schema erst beim Lesen definiert werden muss |
| Wartung | robust, einfache Pflege | Hoher Pflegeaufwand |
| Zielrichtung | Geschäftsanalyse, KPI | Data Mining, Machine Learning |
SAP Business Warehouse (BW)
SAP BW ist eine DW-Lösung der SAP für geschäftliche Prozesse.
Integriert in die Welt der SAP Anwendungen
Abstrakte Beschreibung eines Datenflusses anhand eines vorgegebener Bausteine mit weitestgehend vollständiger automatischen Generierung des Laufzeitobjektes.
Kernelement ist das InfoObjekt das auf mehreren Ebenen Daten beschreibt:
- Beschreibungen von Datenmengen persitenter und virtueller (temporärer) Datenmengen (InfoCube, DSO, aDSO, MultiCube, CompositProvider …)
- Träger zusätzlicher Informationen (Attribute, Hierarchien, Texte)
- Kapselt das Verhalten bei Beladung (Konvertierung, Rundungen …) und Darstellung (Aggregation, Darstellung …)
SAP BW verzichtet auf komplexe ETL-Strukturen der Standarddefinition. Daten werden nach Standartmodell aus dem Quellsystem übernommen und dort integriert (harmonisiert)