Microsoft Azure Data Lake Gen 1 Storage Connector

Dieser Adapter ermöglicht die Kommunikation mit Microsoft Azure Date Lakes der ersten Generation (basiert auf Apache Hadoop).

Eigenschaften (Properties)

Operation

Bestimmt, welche Operation der Adapter durchführt

Mögliche Werte:

AppendFile: Datei zu einer bereits vorhandenen Datei hinzufügen.
ConcatenateFiles: Eine Liste von Dateien zu einer Zieldatei zusammenführen.
Nach der erfolgreichen Zusammenführung werden die Quelldateien gelöscht. Ist die Zieldatei noch nicht vorhanden, wird diese automatisch angelegt. Andernfalls wird der Inhalt zusammengeführt.
CreateFolder: Ordner erstellen.
DeleteFile: Datei löschen.
DeleteFolder: Ordner uns seinen gesamten Inhalt rekursiv löschen.
EnumerateDirectory: Alle Dateien und Ordner aus einem bestimmten Ordnerpfad auflisten.
GetMetadata: Metadaten einer Datei oder eines Ordners auslesen.
ReadFile: Datei lesen.
RenameFile: Datei umbenennen. Wenn die Zieldatei bereits existiert (eine Datei mit demselben Namen), wird die Quelldatei nur dann umbenannt, wenn der Parameter overwrite aktiviert ist.
RenameFolder: Ordner umbenennen. Wenn der Zielordner bereits existiert, wird der Quellordner in den Zielordner verschoben.
SetPermission: Berechtigungen für eine Datei oder einen Ordner erteilen.
UploadFile: Neue Datei anlegen.

Parameter

`Adapter`	Hauptklasse des Adapters (nicht verändern!) Mögliche Werte: de.softproject.integration.adapter.microsoft.azure.datalake.MicrosoftAzureDataLakeStoreConnector: Hauptklasse (Standard)
`authEndpoint`	Pflichtparameter: OAuth 2.0 Token-Endpunkt (v1) Mögliche Werte: Zeichenkette mit einem gültigen Endpunkt, z. B. `https://login.microsoftonline.com/<DirectoryID>/oauth2/token`
`clientID`	Pflichtparameter: Client-ID der "Azure Active Directory"-Anwendung. Mögliche Werte: Zeichenkette mit der Client-ID, z. B. `10925xxx-1111-4444-bd3d-82165c0d3841`
`clientSecret`	Pflichtparameter: Geheimer Clientschlüssel der "Azure Active Directory"-Anwendung. Mögliche Werte: Zeichenkette mit dem geheimen Clientschlüssel.
`accountName`	Pflichtparameter: Voll qualifizierter Data Lake Storage Account-Name (FQDN). Mögliche Werte: Zeichenkette mit dem FQDN, z. B. `<your_account_name>.azuredatalakestore.net`
`fileName`	Dateiname Dieser Parameter ist für die Operationen `AppendFile`, `ConcatenateFiles`, `DeleteFile`, `ReadFile`, `RenameFile` und `UploadFile` erforderlich. Dieser Parameter ist optional für die Operationen `GetMetadata` und `SetPermission`. Mögliche Werte: Zeichenkette mit dem Dateinamen, z. B. `inputFile.txt` oder `root/subfolder/inputFile.txt` Die Zeichenkette darf sowohl den vollständigen Dateipfad (`root/subfolder/inputFile.txt`) als auch den Dateinamen (`fileName` `inputFile.txt`) und Ordnernamen (`folderPath` `root/subfolder`) enthalten.
`folderPath`	Ordnerpfad. Kann mit einem Schrägstrich beginnen und enden. Mögliche Werte: `/`: Wurzelordner Beliebiger gültiger Pfad, z. B. `root/subFolder/.../lastFolder`
`overwrite`	Angabe, ob vorhandene Dateien überschrieben werden sollen. Dieser Parameter ist nur für die Operationen `UploadFile` und `RenameFile` gültig. Mögliche Werte: `true`: Vorhandene Datei (in `fileName`) angegeben) mit neuem Inhalt überschreiben `false`: Für die Operation `UploadFile` gibt der Adapter einen Fehler aus, wenn die Datei bereits existiert. Für die Operation `RenameFile` gibt der Adapter den Status `1` aus, benennt die Quelldatei jedoch nicht um.
`listFilesToConcatenate`	Name der Dateien, die zusammengeführt werden sollen getrennt durch einen Doppelpunkt. Dieser Parameter ist für die Operation `ConcatenateFiles` notwendig. Mögliche Werte: Vorhandene Dateien (vollständige Pfadangabe) durch Doppelpunkt getrennt, z.B. `files/File1.txt:files/File2.txt:otherPath/File3.txt`
`renamedObject`	Neuer Pfadname der umzubenennenden Datei oder des Ordners. Dieser Parameter ist für die Operationen `RenameFile` und `RenameFolder` notwendig. Mögliche Werte: Pfadname, z.B. `files/newFileName.txt`
`octalPermissions`	Zu setzende Berechtigungen in Unix-Octal-Format. Für mehr Informationen zu Unix-Dateirechten, siehe auch https://www.tutorialspoint.com/unix/unix-file-permission.htm. Beispiel: `770` → `7` Eigener Benutzer mit Lese-, Schreib- und Ausführ-Berechtigung; `7` Gruppe mit Lese-, Schreib- und Ausführ-Berechtigung; `0` Andere Benutzer ohne Berechtigungen. Dieser Parameter ist für die Operation `SetPermission` notwendig.
`maxEntriesToRetrieve`	Maximale Anzahl von Einträgen, die abgerufen werden sollen. Dieser Parameter ist optional und wird ignoriert, wenn der Parameter `entriesRecursively` aktiviert ist. Hilfreich für die Operation `EnumerateDirectory`. Beachten Sie, dass der Server die Anzahl der abgerufenen Einträge auf eine kleinere Zahl als die angegebene Zahl begrenzen kann. Mögliche Werte: Ganze Zahl größer `0`.
`startAfterPathName`	Datei- oder Ordnername, nach dem die Aufzählung beginnen soll. Dieser Parameter ist optional und wird ignoriert, wenn der Parameter `entriesRecursively` aktiviert ist. Hilfreich für die Operation `EnumerateDirectory`. Mögliche Werte: Zeichenkette mit dem Pfadnamen der Datei oder des Ordners.
`entriesRecursively`	Ermöglicht es, Einträge rekursiv zu extrahieren. Wenn der Parameter aktiviert ist, werden `maxEntriesToRetrieve` und `startAfterPathName` ignoriert. Dieser Parameter ist optional und für die Operation `EnumerateDirectory` hilfreich. Mögliche Werte: `true`: Alle Einträge des angegebenen Ordnerpfads werden rekursiv abgerufen. `false`: Alle Einträge des angegebenen Ordnerpfads werden abgerufen, sodass nur direkte Kind-Elemente abgerufen werden.

Statuswerte

`1`	Die Operation wurde erfolgreich ausgeführt
`-1`	Bei der Ausführung kam es zu einem Fehler

Input

Für die Operationen UploadFile und AppendFile erwartet der Adapter ein beliebiges Input-Dokument. Alle anderen Operationen benötigen kein Input.

Output

Je nach gewählter Operation gibt der Adapter verschiedene Dokumente aus:

AppendFile

Wurde die Operation erfolgreich ausgeführt (Status 1), gibt der Adapter das Input-Dokument zurück.
Im Falle eines Fehlers (Status -1⁣) gibt der Adapter ein XML-Dokument mit der Fehlerbeschreibung zurück, z. B.

CreateFolder

Wurde die Operation erfolgreich ausgeführt (Status 1), gibt der Adapter das Input-Dokument zurück – falls ein Input-Dokument zugewiesen wurde.
Im Falle eines Fehlers (Status -1⁣) gibt der Adapter ein XML-Dokument mit der Fehlerbeschreibung zurück, z. B.

ConcatenateFiles

Wurde die Operation erfolgreich ausgeführt (Status 1), gibt der Adapter das Input-Dokument zurück.
Im Falle eines Fehlers (Status -1⁣) gibt der Adapter ein XML-Dokument mit der Fehlerbeschreibung zurück, z. B.

DeleteFile

Wurde die Operation erfolgreich ausgeführt (Status 1), gibt der Adapter das Input-Dokument zurück – falls ein Input-Dokument zugewiesen wurde.
Im Falle eines Fehlers (Status -1⁣) gibt der Adapter ein XML-Dokument mit der Fehlerbeschreibung zurück, z. B.

DeleteFolder

Wurde die Operation erfolgreich ausgeführt (Status 1), gibt der Adapter das Input-Dokument zurück – falls ein Input-Dokument zugewiesen wurde.
Im Falle eines Fehlers (Status -1⁣) gibt der Adapter ein XML-Dokument mit der Fehlerbeschreibung zurück, z. B.

EnumerateDirectory

Wurde die Operation erfolgreich ausgeführt (Status 1), gibt der Adapter ein XML-Dokument mit einer Liste aller Dateien und Ordner aus, z. B.:
Jedes Entry-Element entspricht einer Datei oder einem Ordner. Folgende Attribute beschreiben das Entry-Element:
- LastAccessTime: Zeitpunkt des letzten Zugriffs
- LastModifiedTime: Zeitpunkt der letzten Änderung
- Group: ID der Gruppe, die die Datei oder den Ordner besitzt
- User: ID des Benutzers, der die Datei oder den Ordner besitzt
- Permission: Berechtigungszeichenfolge für die Datei in UNIX-Syntax
- Name: Dateiname
- FullName: Vollständiger Datei- oder Ordnerpfad
Im Falle eines Fehlers (Status -1⁣) gibt der Adapter ein XML-Dokument mit der Fehlerbeschreibung zurück, z. B.:

GetMetadata

Wurde die Operation erfolgreich ausgeführt (Status 1), gibt der Adapter ein XML-Dokument mit den Metadaten der Datei oder des Ordners aus.
Das Wurzelelement Metadata enthält ein Entry-Element mit folgenden Attributen:
- LastAccessTime: Zeitpunkt des letzten Zugriffs
- LastModifiedTime: Zeitpunkt der letzten Änderung
- Group: ID der Gruppe, die die Datei oder den Ordner besitzt
- User: ID des Benutzers, der die Datei oder den Ordner besitzt
- Permission: Berechtigungszeichenfolge für die Datei oder den Ordner in UNIX-Stil
- Name: Datei- oder Ordnername
- FullName: Vollständiger Datei- oder Ordnerpfad
Im Falle eines Fehlers (Status -1⁣) gibt der Adapter ein XML-Dokument mit der Fehlerbeschreibung zurück, z. B.:

ReadFile

Wurde die Operation erfolgreich ausgeführt (Status 1), gibt der Adapter die eingelesene Datei aus
Im Falle eines Fehlers (Status -1⁣) gibt der Adapter ein XML-Dokument mit der Fehlerbeschreibung zurück, z. B.

RenameFile

Wurde die Operation erfolgreich ausgeführt (Status 1), gibt der Adapter das Input-Dokument zurück – falls ein Input-Dokument zugewiesen wurde.
Im Falle eines Fehlers (Status -1⁣) gibt der Adapter ein XML-Dokument mit der Fehlerbeschreibung zurück, z. B.:

RenameFolder

Wurde die Operation erfolgreich ausgeführt (Status 1), gibt der Adapter das Input-Dokument zurück – falls ein Input-Dokument zugewiesen wurde.
Im Falle eines Fehlers (Status -1⁣) gibt der Adapter ein XML-Dokument mit der Fehlerbeschreibung zurück, z. B.:

SetPermission

Wurde die Operation erfolgreich ausgeführt (Status 1), gibt der Adapter das Input-Dokument zurück – falls ein Input-Dokument zugewiesen wurde.
Im Falle eines Fehlers (Status -1⁣) gibt der Adapter ein XML-Dokument mit der Fehlerbeschreibung zurück, z. B.:

UploadFile

Wurde die Operation erfolgreich ausgeführt (Status 1), gibt der Adapter die hochgeladene Datei aus
Im Falle eines Fehlers (Status -1⁣) gibt der Adapter ein XML-Dokument mit der Fehlerbeschreibung zurück, z. B.

Ist der Parameter folderPath leer, wird die Datei im Wurzelordner des Benutzerkontos angelegt. Existiert der Pfad nicht, der im Parameter folderPath gesetzt wurde, wird dieser angelegt.