Suche

über alle News und Events

 

Alle News

 

Durable Function ist eine Erweiterung der...

Weiterlesen

Wir haben eine gute, vor allem spannende und hoch...

Weiterlesen

Am 09.05.2022 wurde ein Artikel von Microsoft...

Weiterlesen

Neben den altbekannten Logic Apps (Consumption),...

Weiterlesen

Im Jahr 2022 fallen eine Reihe von .Net Versionen...

Weiterlesen

SAP in die Power Platform integrieren – In einem...

Weiterlesen

Bicep Templates benutzen eine deklarative Syntax...

Weiterlesen

In BizTalk gibt es einige Alternativen, wie...

Weiterlesen

Wir sind auf ein seltsames Phänomen bei einem...

Weiterlesen

Nach der Migration konnten in VS 2019 „normale“...

Weiterlesen

How-to: Azure Data Factory – das ist "SSIS in der Cloud“ – ein Schnelleinstieg für Interessierte

Azure Data Factory ist ein Cloud-Service in Azure und bietet dort eine einfache Möglichkeit, große Datenmengen zwischen einer Vielzahl von Systemen zu transferieren. Daten sind die Kernessenz eines jeden Unternehmens und müssen sinnvoll aufbereitet und verarbeitet werden. Mit Azure Data Factory lässt sich diese Datenintegration im großen Stil effizient umsetzen.

ADF wird als SaaS angeboten und funktioniert damit komplett serverless. Durch ein einfaches und schnelles Up/Down-Scaling wird viel Flexibilität geboten. Einigen wird die Oberfläche und die Monitoring-Tools schon von anderen ETL-Tools (Extract, Transform and Load) wie SSIS bekannt vorkommen. Auch hier lässt sich eine Vielzahl von Tasks und Operationen auf einer grafischen Oberfläche umsetzen. Seit einiger Zeit lassen sich auch diese SSIS-Pakete (SQL Server Integration Services) migrieren und direkt ausführen.

Um den Editor zu öffnen, müssen wir auf „Author & Monitor“ klicken und es öffnet sich ein neues Portal.

Data Factory Overview Page:

Auf der Übersichtsseite finden sich viele Videos mit Tutorials zu spezifischen Themen und Dokumentationen zu sämtlichen Funktionalitäten. Auf der linken Seite finden wir das Navigationsmenü. Wenn wir dieses öffnen, sehen wir die vier Hauptseiten: Data Factory, Author, Monitor und Manage.

Author:

Auf der linken Seite sehen wir unsere Factory Resources. In diesem Beispiel sind bereits eine Pipeline und zwei Datasets vorhanden. Pipelines sind, ähnlich wie SSIS-Pakete, der ausführbare Teil in ADF. Hier wird der Workflow der Daten durch eine Vielzahl von Activities beschrieben.

Activities bilden die einzelnen Schritte eines Prozesses ab und bieten viele Möglichkeiten, die Daten zu manipulieren. Außerdem lassen sich auch externe Tasks ausführen, wie z.B. das Triggern einer Azure Function direkt in ADF. Ein Workflow lässt sich ganz einfach per Drag&Drop rechts der Activities, auf der grafischen Oberfläche erstellen.

Neben den Pipelines gibt es auch noch Datasets. Diese definieren den Speicherort der Eingabe- und Ausgabedaten, sowie deren Format. Datasets repräsentieren dabei meist Tabellen, ganze Datenbanken oder Ordner.

Wer es sich noch einfacher machen möchte, kann auch vorgefertigte Templates von Microsoft benutzen oder sogar eigene Templates erstellen.

Manage

Wie gerade erwähnt, benötigen wir Datasets, bevor wir unseren Workflow implementieren können. Diese lassen sich als Linked Service hinzufügen. Azure Data Factory unterstützt hier zahlreiche Konnektoren und Formate von unterschiedlichsten Systemen. Linked Services sind quasi Connection-Strings und definieren die Verbindung für Dienste und Datenquellen. Verdeutlicht wird das in den nächsten Screenshots am Beispiel von Azure Blob Storage.

Monitor:

Auf dem Dashboard werden Statistiken über alle Pipelines, Aktivitäten und Triggerläufe angezeigt. Unter „Pipeline runs“ findet man genauere Informationen zu den bereits ausgeführten Pipelines und sieht auch hier wieder sehr übersichtlich, wie die Pipeline zum Zeitpunkt der Ausführung aussah und welche Activities erfolgreich verarbeitet wurden.

Most used Activities:

Copy data task:

Der „copy data“-Task ist quasi das Herzstück aller Aktivitäten. Daten können hiermit zu unzähligen Applications und DataStores gesendet werden. Beim Kopieren können wir Dateiformate konvertieren, Dateien zippen und sogar Spalten mappen. Dazu werden die bereits erwähnten Datasets als Quell- und Zielsysteme benötigt.

Azure Function Task:

Der „Azure Function“-Task ermöglicht es, eine Function in einer ADF Pipeline laufen zu lassen. Zum Auswählen einer Function muss diese auch als Linked Service hinzugefügt werden. Unter Settings muss eine REST API-Methode ("GET", "POST", "PUT") ausgewählt werden. Dementsprechend kann ein passender Header oder Body mitgegeben werden.

Stored Procedure Task:

Mit dem „Stored Procedure“-Task kann eine Stored Procedure auf einer Azure SQL Datenbank oder einer Azure Virtual Machine ausgelöst werden. Mithilfe einer installierten „Self-hosted integration runtime“ kann sich dann auch auf anderen Nicht-Azure-Datenbanken verbunden werden. Falls nötig, kann der Stored Procedure auch Parameter übergeben werden.

Web Task:

Der „Web“-Task wird dazu verwendet, um einen REST-Endpunkt anzusprechen. Es können Datensätze und sogar Linked Services als Array übergeben werden. Die Authentifizierungsmethoden, die hier verwendet werden könnten, beschränken sich aktuell auf Basic und ClientCertificate.

Dieser How-to-Tipp kommt von QUIBIQ Stuttgart.

 

Ihre Kontaktmöglichkeiten

Sie haben eine konkrete Frage an uns


 

Bleiben Sie immer auf dem Laufenden


 

Mit meinem "Ja" erkläre ich mich mit der Verarbeitung meiner Daten zur Zusendung von Informationen einverstanden. Ich weiß, dass ich diese Erklärung jederzeit durch einfache Mitteilung widerrufen kann. Bei einem Nein an dieser Stelle erhalte ich zukünftig keine Informationen mehr.

© QUIBIQ GmbH · Impressum · Datenschutz