Zu Hauptinhalten wechseln
Procore

Exportieren nach Fabric Lakehouse mithilfe von Fabric-Notizbüchern

Übersicht

Die Verwendung von Data Factory in Microsoft Fabric mit Delta Sharing ermöglicht die nahtlose Integration und Verarbeitung freigegebener Delta-Tabellen als Teil Ihrer Analyse-Workflows mit Procore Analytics  2.0. Delta Sharing ist ein offenes Protokoll für den sicheren Datenaustausch, das die Zusammenarbeit zwischen Unternehmen ohne Duplizierung von Daten ermöglicht.

Dieser Leitfaden führt Sie durch die Schritte zum Einrichten und Verwenden von Data Factory in Fabric mit Delta Sharing, wobei Notebooks zum Verarbeiten und Exportieren von Daten in ein Lakehouse verwendet werden.

Voraussetzungen

  • Procore Analytics 2.0 SKU
  • Anmeldeinformationen für die Delta-Freigabe:
    • Zugriff auf Delta Sharing-Anmeldedaten, die von einem Datenanbieter bereitgestellt werden.
    • Eine Freigabeprofildatei (config.share) enthaltend:
      • Endpunkt-URL (Delta-Sharing-Server-URL).
      • Access Token (Bearer-Token für sicheren Datenzugriff).
  • Erstellen Sie die Datei config.yaml mit bestimmten Anmeldedaten.
  • Microsoft Fabric-Umgebung:
    • Ein Microsoft Fabric-Mandantenkonto mit einem aktiven Abonnement.
    • Ein Fabric-fähiger Arbeitsbereich.
  • Pakete und Skripte:
    • Laden Sie das fabric-lakehouse-Paket herunter. Das Verzeichnis sollte Folgendes enthalten:
      • ds_to_lakehouse.py: Notebook-Code.
      • readme.md: Anweisungen.

Schritte

Konfiguration einrichten

  1. Erstellen der Datei config.yaml und definieren Sie die Konfiguration in der folgenden Struktur
    source_config:
        config_path: Pfad/zu/Ihrem/delta-sharing-credentials-file.share
    tables: # Optional - Lassen Sie das Feld leer, um alle Tabellen zu verarbeiten
        - table_name1
        - table_name2
    target_config:
        lakehouse_path: path/to/your/fabric/lakehouse/Tables/ # Pfad zum Fabric Lakehouse

Richten Sie Ihr Seehaus ein

  1. Öffnen Sie Ihren Microsoft Fabric-Arbeitsbereich.
  2. Navigieren Sie zu Ihrem Lakehouse und klicken Sie auf Notizbuch öffnen und dann auf Neues Notizbuch.
  3. Wenn Sie den Wert in config.yaml#lakehouse_path nicht kennen, Sie können es vom Bildschirm kopieren.
  4. Klicken Sie auf die Ellipse auf Dateien, und wählen Sie ABFS-Pfad kopieren aus:
    clipboard_e5dd266d8c6a622cceb30dd893a9106d7.png
    clipboard_e08827dbe6aeae6ac8f2bec7f5c758325.png
    clipboard_e390331535300f7f89fd0a91c9a3adebe.png

3. Kopieren Sie den Code der ds_to_lakehouse.py und fügen Sie ihn in das Notebook-Fenster ein (Pyspark Python):

clipboard_e5b5d27813f9bebdfbe7dae73291cb3ae.png

Der nächste Schritt besteht darin, Ihre eigenen config.yaml und config.share in den Ordner Resources des Lakehouse hochzuladen. Sie können Ihr eigenes Verzeichnis erstellen oder ein eingebautes Verzeichnis verwenden (das bereits von Lakehouse für Ressourcen erstellt wurde):


clipboard_eb5765c4bbf3ac93bd7c51ba6373f8049.png
clipboard_e86d913b62d37d237524537676680e4f3.png

Das folgende Beispiel zeigt ein integriertes Standardverzeichnis für eine config.yaml-Datei.
Hinweis: Stellen Sie sicher, dass Sie beide Dateien auf derselben Ebene und für die Eigenschaft config_path hochladen:

clipboard_e8ca378a5a0937b4b675d00adc2ec965f.png

4. Überprüfen Sie den Code des Notizbuchs, Zeilen 170-175.
Das folgende Beispiel zeigt die notwendigen Zeilenänderungen:

config_path = "./env/config.yaml"

An 

config_path = "./builtin/config.yaml"

Da sich die Dateien in einem eingebauten Ordner und nicht in einer benutzerdefinierten Umgebung befinden, sollten Sie Ihre eigene Struktur der Dateien überwachen. Sie können sie in verschiedene Ordner hochladen, aber in solchen Fällen aktualisieren Sie den Code des Notebooks, um die Datei config.yaml richtig zu finden.
 

clipboard_e44e5ad3be4a06929aba88716b0fdaa23.png

5. Klicken Sie auf Zelle ausführen:


clipboard_e381c59ce2e4e9471efc0e9e4cc663b6d.png

Validierung

  • Überprüfen Sie nach Abschluss des Auftrags, ob die Daten erfolgreich in Ihr Lakehouse kopiert wurden.
  • Überprüfen Sie die angegebenen Tabellen, und stellen Sie sicher, dass die Daten mit den freigegebenen Delta-Tabellen übereinstimmen.
  • Warten Sie, bis der Auftrag abgeschlossen ist, es sollten alle Daten kopiert werden.