Exportieren nach Fabric Lakehouse mithilfe von Fabric-Notizbüchern

Zuletzt aktualisiert
Als PDF speichern

Übersicht

Die Verwendung von Data Factory in Microsoft Fabric mit Delta Sharing ermöglicht die nahtlose Integration und Verarbeitung freigegebener Delta-Tabellen als Teil Ihrer Analyse-Workflows mit Procore Analytics 2.0. Delta Sharing ist ein offenes Protokoll für den sicheren Datenaustausch, das die Zusammenarbeit zwischen Unternehmen ohne Duplizierung von Daten ermöglicht.

Dieser Leitfaden führt Sie durch die Schritte zum Einrichten und Verwenden von Data Factory in Fabric mit Delta Sharing, wobei Notebooks zum Verarbeiten und Exportieren von Daten in ein Lakehouse verwendet werden.

Voraussetzungen

Procore Analytics 2.0 SKU
Anmeldeinformationen für die Delta-Freigabe:
- Zugriff auf Delta Sharing-Anmeldedaten, die von einem Datenanbieter bereitgestellt werden.
- Eine Freigabeprofildatei (config.share) enthaltend:
  - Endpunkt-URL (Delta-Sharing-Server-URL).
  - Access Token (Bearer-Token für sicheren Datenzugriff).
Erstellen Sie die Datei config.yaml mit bestimmten Anmeldedaten.
Microsoft Fabric-Umgebung:
- Ein Microsoft Fabric-Mandantenkonto mit einem aktiven Abonnement.
- Ein Fabric-fähiger Arbeitsbereich.
Pakete und Skripte:
- Laden Sie das fabric-lakehouse-Paket herunter. Das Verzeichnis sollte Folgendes enthalten:
  - ds_to_lakehouse.py: Notebook-Code.
  - readme.md: Anweisungen.

Konfiguration einrichten

Erstellen der Datei config.yaml und definieren Sie die Konfiguration in der folgenden Struktur
source_config:
    config_path: Pfad/zu/Ihrem/delta-sharing-credentials-file.share
tables: # Optional - Lassen Sie das Feld leer, um alle Tabellen zu verarbeiten
    - table_name1
    - table_name2
target_config:
    lakehouse_path: path/to/your/fabric/lakehouse/Tables/ # Pfad zum Fabric Lakehouse

Richten Sie Ihr Seehaus ein

Öffnen Sie Ihren Microsoft Fabric-Arbeitsbereich.
Navigieren Sie zu Ihrem Lakehouse und klicken Sie auf Notizbuch öffnen und dann auf Neues Notizbuch.
Wenn Sie den Wert in config.yaml#lakehouse_path nicht kennen, Sie können es vom Bildschirm kopieren.
Klicken Sie auf die Ellipse auf Dateien, und wählen Sie ABFS-Pfad kopieren aus:

3. Kopieren Sie den Code der ds_to_lakehouse.py und fügen Sie ihn in das Notebook-Fenster ein (Pyspark Python):

Der nächste Schritt besteht darin, Ihre eigenen config.yaml und config.share in den Ordner Resources des Lakehouse hochzuladen. Sie können Ihr eigenes Verzeichnis erstellen oder ein eingebautes Verzeichnis verwenden (das bereits von Lakehouse für Ressourcen erstellt wurde):

Das folgende Beispiel zeigt ein integriertes Standardverzeichnis für eine config.yaml-Datei.
Hinweis: Stellen Sie sicher, dass Sie beide Dateien auf derselben Ebene und für die Eigenschaft config_path hochladen:

4. Überprüfen Sie den Code des Notizbuchs, Zeilen 170-175.
Das folgende Beispiel zeigt die notwendigen Zeilenänderungen:

config_path = "./env/config.yaml"

config_path = "./builtin/config.yaml"

Da sich die Dateien in einem eingebauten Ordner und nicht in einer benutzerdefinierten Umgebung befinden, sollten Sie Ihre eigene Struktur der Dateien überwachen. Sie können sie in verschiedene Ordner hochladen, aber in solchen Fällen aktualisieren Sie den Code des Notebooks, um die Datei config.yaml richtig zu finden.

5. Klicken Sie auf Zelle ausführen:

Validierung

Überprüfen Sie nach Abschluss des Auftrags, ob die Daten erfolgreich in Ihr Lakehouse kopiert wurden.
Überprüfen Sie die angegebenen Tabellen, und stellen Sie sicher, dass die Daten mit den freigegebenen Delta-Tabellen übereinstimmen.
Warten Sie, bis der Auftrag abgeschlossen ist, es sollten alle Daten kopiert werden.