ADF wird als SaaS angeboten und funktioniert damit komplett serverless. Durch ein einfaches und schnelles Up/Down-Scaling wird viel Flexibilität geboten. Einigen wird die Oberfläche und die Monitoring-Tools schon von anderen ETL-Tools (Extract, Transform and Load) wie SSIS bekannt vorkommen. Auch hier lässt sich eine Vielzahl von Tasks und Operationen auf einer grafischen Oberfläche umsetzen. Seit einiger Zeit lassen sich auch diese SSIS-Pakete (SQL Server Integration Services) migrieren und direkt ausführen.

Um den Editor zu öffnen, müssen wir auf „Author & Monitor“ klicken und es öffnet sich ein neues Portal.

Data Factory Overview Page:

Auf der Übersichtsseite finden sich viele Videos mit Tutorials zu spezifischen Themen und Dokumentationen zu sämtlichen Funktionalitäten. Auf der linken Seite finden wir das Navigationsmenü. Wenn wir dieses öffnen, sehen wir die vier Hauptseiten: Data Factory, Author, Monitor und Manage.

Author:

Auf der linken Seite sehen wir unsere Factory Resources. In diesem Beispiel sind bereits eine Pipeline und zwei Datasets vorhanden. Pipelines sind, ähnlich wie SSIS-Pakete, der ausführbare Teil in ADF. Hier wird der Workflow der Daten durch eine Vielzahl von Activities beschrieben.

Activities bilden die einzelnen Schritte eines Prozesses ab und bieten viele Möglichkeiten, die Daten zu manipulieren. Außerdem lassen sich auch externe Tasks ausführen, wie z.B. das Triggern einer Azure Function direkt in ADF. Ein Workflow lässt sich ganz einfach per Drag&Drop rechts der Activities, auf der grafischen Oberfläche erstellen.

Neben den Pipelines gibt es auch noch Datasets. Diese definieren den Speicherort der Eingabe- und Ausgabedaten, sowie deren Format. Datasets repräsentieren dabei meist Tabellen, ganze Datenbanken oder Ordner.

Wer es sich noch einfacher machen möchte, kann auch vorgefertigte Templates von Microsoft benutzen oder sogar eigene Templates erstellen.

Manage

Wie gerade erwähnt, benötigen wir Datasets, bevor wir unseren Workflow implementieren können. Diese lassen sich als Linked Service hinzufügen. Azure Data Factory unterstützt hier zahlreiche Konnektoren und Formate von unterschiedlichsten Systemen. Linked Services sind quasi Connection-Strings und definieren die Verbindung für Dienste und Datenquellen. Verdeutlicht wird das in den nächsten Screenshots am Beispiel von Azure Blob Storage.

Monitor:

Auf dem Dashboard werden Statistiken über alle Pipelines, Aktivitäten und Triggerläufe angezeigt. Unter „Pipeline runs“ findet man genauere Informationen zu den bereits ausgeführten Pipelines und sieht auch hier wieder sehr übersichtlich, wie die Pipeline zum Zeitpunkt der Ausführung aussah und welche Activities erfolgreich verarbeitet wurden.

Most used Activities:

Copy data task:

Der „copy data“-Task ist quasi das Herzstück aller Aktivitäten. Daten können hiermit zu unzähligen Applications und DataStores gesendet werden. Beim Kopieren können wir Dateiformate konvertieren, Dateien zippen und sogar Spalten mappen. Dazu werden die bereits erwähnten Datasets als Quell- und Zielsysteme benötigt.

Azure Function Task:

Der „Azure Function“-Task ermöglicht es, eine Function in einer ADF Pipeline laufen zu lassen. Zum Auswählen einer Function muss diese auch als Linked Service hinzugefügt werden. Unter Settings muss eine REST API-Methode ("GET", "POST", "PUT") ausgewählt werden. Dementsprechend kann ein passender Header oder Body mitgegeben werden.

Stored Procedure Task:

Mit dem „Stored Procedure“-Task kann eine Stored Procedure auf einer Azure SQL Datenbank oder einer Azure Virtual Machine ausgelöst werden. Mithilfe einer installierten „Self-hosted integration runtime“ kann sich dann auch auf anderen Nicht-Azure-Datenbanken verbunden werden. Falls nötig, kann der Stored Procedure auch Parameter übergeben werden.

Web Task:

Der „Web“-Task wird dazu verwendet, um einen REST-Endpunkt anzusprechen. Es können Datensätze und sogar Linked Services als Array übergeben werden. Die Authentifizierungsmethoden, die hier verwendet werden könnten, beschränken sich aktuell auf Basic und ClientCertificate.

Dieser How-to-Tipp kommt von QUIBIQ Stuttgart.