Effizienzsteigerung und Sicherheitsgewinn durch Azure Data Factory
Vorteile und erzielte Verbesserungen
Projektübersicht
Das Unternehmen, ein führender Dienstleister in der Logistikbranche, sah sich mit der Herausforderung konfrontiert, ihre IT-Infrastruktur zu modernisieren, um den Anforderungen der digitalen Transformation gerecht zu werden.
Der bestehende Ist-Zustand war geprägt von manuellen und teils veralteten Prozessen im Umgang mit großen Datenmengen, die von Lieferanten in unterschiedlichen Formaten wie XML und Excel bereitgestellt wurden. Diese Bestandslisten wurden mehrmals täglich manuell in eine SharePoint-Dokumentenbibliothek hochgeladen – ein Verfahren, das sowohl zeit- als auch ressourcenintensiv war.
Das angestrebte Soll-Konzept sah vor, diesen Prozess durch die Einführung von Azure Data Factory zu automatisieren. Ziel war es, die von Lieferanten erhaltenen Daten nahtlos und zeitnah in eine in der Cloud gehosteten SQL-Datenbank zu überführen. Durch diese Automatisierung sollten die Daten nicht nur schneller verarbeitet, sondern auch aufbereitet und einem Drittanbieter zur weiteren Verwendung zur Verfügung gestellt werden können. Diese Umstrukturierung zielte darauf ab, die internen Datenanalysen zu verbessern und eine größere Transparenz für das Unternehmen und seine Kunden zu schaffen.
Herausforderungen
Zu den Herausforderungen gehörte die Einführung der neuen Technologie Azure Data Factory, das Daten-Crawling und das Mapping von Datenquellen. Es gab ein großes Lernfeld, da bisher keine Erfahrungen mit Azure Data Factory bestanden hatten. Auch das Change Management stellte eine Herausforderung dar, da viele Änderungen und Anpassungen notwendig waren.
Lösungen
Die Optimierung der Datenmanagementprozesse mit Azure Data Factory hat unter anderem zu zwei wesentlichen Lösungen geführt:
XML-Import-Pipeline:
Diese Pipeline wird täglich ausgeführt und dient dazu, neue Daten aus der SharePoint-Dokumentenbibliothek abzurufen. Die Verbindung erfolgt über eine REST-Schnittstelle, die direkt auf den SharePoint-Server zugreift. Nach dem Herunterladen der Daten werden diese nach einem spezifischen Schema extrahiert und in eine dedizierte Azure-SQL-Datenbank eingefügt. Dies ermöglicht es einem Drittanbieter, auf diese Daten zuzugreifen und darauf basierend BI-Reporting-Lösungen zu entwickeln. Die Pipeline verarbeitet Daten in XML- und gegebenenfalls auch in Excel-Formaten, die in der SharePoint-Dokumentenbibliothek gespeichert werden.
SQL On-Prem to Cloud Pipeline:
Das Unternehmen unterhält einen lokal betriebenen SQL-Server, der in einem geschützten Rechenzentrum steht. Mit der Azure Data Factory wird eine sichere Verbindung über eine "Integration Runtime" hergestellt, die lokal auf dem Server ausgeführt wird. Diese Konfiguration ermöglicht es, mehrmals täglich Daten in die Cloud zu übertragen. Die Daten werden dabei nicht nur transferiert, sondern auch transformiert und für das BI-Reporting abgeglichen. Auch hier hat ein Drittanbieter Zugriff auf den Azure SQL-Server, um darauf basierend BI-Reporting-Lösungen zu entwickeln.
Herausforderungen und Change Management:
Der Einsatz der Azure Data Factory war für unser Team eine neue Herausforderung. Die Einarbeitung in die Plattform war komplex, und da wir keinen Scrum-Ansatz verfolgt haben, dominierte ein eher konsultatives Vorgehen mit zahlreichen Änderungen. Die Projektmanagement-Struktur sah vor, dass ein Application Manager die Fachabteilungen leitet, was das Change Management innerhalb des Projekts erheblich beeinflusste.
Zitat:
Wir sind davon überzeugt gewesen, dass MAKONIS fachlich kompetent ist - und sind es immer noch. Es gibt viele Dienstleister, für uns ist aber die menschliche Komponente ausschlaggebend.
Ergebnisse
Das Projekt führte zu qualitativen Verbesserungen der internen Prozesse. Fehlerhafte Prozesse konnten durch die neu gewonnene Transparenz optimiert werden. Es gab eine Entlastung der Mitarbeiter, da viele manuelle Schritte entfallen sind, und eine verbesserte Datenaufbereitung und -sicherheit.
Zudem ermöglichten die implementierten Lösungen eine einfache Skalierung der Datenverarbeitungsprozesse, was die Bewältigung von Spitzenlasten in der Datennachfrage unterstützte und mit dem Wachstum des Unternehmens Schritt hielt. Die verbesserte Datenverwaltung trug auch zur Einhaltung von Datenschutz- und Compliance-Anforderungen bei und stärkte das Risikomanagement durch präzisere Datenanalysen.
Darüber hinaus erleichterte die zentralisierte Datenhaltung in der Cloud die Zusammenarbeit zwischen verschiedenen Abteilungen und Standorten, wodurch Teams effizienter arbeiten und Informationen nahtlos teilen konnten. Diese umfassenden Verbesserungen trugen dazu bei, dass das Unternehmen agiler, datengesteuerter und wettbewerbsfähiger wurde.
Techstack
Der Technologiestack beinhaltete die Azure Data Factory für den Daten-Transformationsprozess, Azure SQL-Server für die Datenhaltung und Power BI zur Datenvisualisierung.
- Azure Data Factory
- Azure SQL Server
- Power BI
Ressourcen
Haben wir Ihr Interesse geweckt?
Erfahren Sie mehr über unsere Workshops und Angebote.
%20(1).png)
-p-500.webp)
.png)