Erste Schritte mit Procore Analytics 2.0

Erstkonfiguration

• Führen Sie das Konfigurationsdienstprogramm aus:
  Python-user_exp.py

Dies wird Ihnen bei der Einrichtung helfen:

• Konfiguration der Delta Share-Quelle
• MS SQL Server-Zielkonfiguration
• Einstellungen für die Terminplanung

Daten-Synchronisation

Nach der Konfiguration haben Sie zwei Möglichkeiten, die Datensynchronisierung auszuführen:

1. Python für die direkte Ausführung
   delta_share_to_azure_panda.py
   ODER
2. Geplante Ausführung
   Wenn Sie dies während des Setups konfigurieren, wird der Auftrag automatisch gemäß Ihrem Cron-Zeitplan ausgeführt.

Konfiguration der Delta-Freigabe

1. Erstellen Sie eine neue Datei mit dem Namen config.share mit Ihren Delta Share-Anmeldedaten im JSON-Format.

2. Abrufen von Pflichtfeldern:
   Anmerkung: Diese Details können über die Procore Analytics-Webanwendung abgerufen werden.
   • ShareCredentialsVersion: Versionsnummer (derzeit 1).
   • BearerToken: Ihr Delta Share-Zugriffstoken.
   • Endpunkt: Die URL Ihres Delta Share-Endpunkts.
   • Speichern Sie die Datei an einem sicheren Ort.
3. Bei der Konfiguration der Datenquelle werden Sie aufgefordert, Folgendes anzugeben:
   • Liste der Tabellen (durch Kommas getrennt).
   • Lassen Sie das Feld leer, um alle Tabellen zu synchronisieren.
   • Beispiel: 'table1, t able2,  table3'.
   • Pfad zu Ihrer 'config.share' Datei.

MS SQL Server-Konfiguration

Sie müssen die folgenden MS SQL Server-Details angeben:

• Datenbank
• Gastgeber
• Passwort
• Schema
• Nutzername

SSIS-Konfiguration

1. Navigieren Sie über  die Befehlszeile zu dem Ordner, indem Sie'cd'<path to the folder> eingeben.
2. Installieren Sie die erforderlichen Pakete mit 'pip install -r requirements.txt'  oder 'python -m pip install -r requirements.txt'.
3. Öffnen Sie SSIS, und erstellen Sie ein neues Projekt.
4. Ziehen Sie aus der SSIS-Toolbox die Aktivität "Prozessaufgabe ausführen" per Drag & Drop.
   
   
5. Doppelklicken Sie auf "Prozessaufgabe ausführen" und navigieren Sie zur Registerkarte Verarbeiten.
6. Geben Sie unter "Ausführbare Datei" den Pfad ein,  um im Python-Installationsordner zu python.exe.
7. Geben Sie in 'WorkingDirectory' einen Pfad zu dem Ordner ein, der das Skript enthält  , das Sie ausführen möchten (ohne den Namen der Skriptdatei).
8. Geben Sie unter 'Argumente'  den Namen des Skripts 'delta_share_to_azure_panda.py' ein, die Sie mit dem .py ausführen möchten zu erweitern und zu speichern.
   
   
    
9. Klicken Sie auf die Schaltfläche "Start" im oberen Bereich:
   
10. Während der Ausführung der Aufgabe wird die Ausgabe der Python-Konsole im Fenster der externen Konsole angezeigt.
11. Sobald die Aufgabe erledigt ist, wird ein grünes Häkchen angezeigt:
    
    

Vorbereiten des Pakets

1. Erstellen Sie eine neue Datei mit dem Namen config.share mit Ihren Delta Share-Anmeldedaten im JSON-Format.

2. Abrufen von Pflichtfeldern.
   Anmerkung: Diese Details können über die Procore Analytics-Webanwendung abgerufen werden.
   • ShareCredentialsVersion: Versionsnummer (derzeit 1).
   • BearerToken: Ihr Delta Share-Zugriffstoken.
   • Endpunkt: Die URL Ihres Delta Share-Endpunkts.
3. Laden Sie das Paket herunter und extrahieren Sie es.
4. Entpacken Sie das Paket in ein Verzeichnis Ihrer Wahl.
5. Kopieren Sie die *.share Delta Sharing-Profildatei in das Paketverzeichnis, um den Zugriff zu erleichtern.
   

Installieren von Abhängigkeiten

1. Öffnen Sie ein Terminal im Paketverzeichnis.
2. Führen Sie den folgenden Befehl aus, um die Abhängigkeiten zu installieren:
3. pip install -r requirements.txt
   

Konfiguration generieren

1. Generieren Sie die Datei config.yaml , indem Sie python user_exp.py ausführen:
   Dieses Skript hilft beim Generieren der Datei config.yaml, die die erforderlichen Anmeldedaten und Einstellungen enthält.
2. Bei der Konfiguration der Datenquelle werden Sie aufgefordert, Folgendes anzugeben:
   • Liste der Tabellen (durch Kommas getrennt).
   • Lassen Sie das Feld leer, um alle Tabellen zu synchronisieren.
     Beispiel: 'Tabelle1, Tabelle2, Tabelle3'.
   • Pfad zu Ihrer 'config.share' Datei.
3. Zum ersten Mal geben Sie Ihre Anmeldedaten wie den Speicherort der Delta Share-Quellkonfiguration, Tabellen, Datenbank, Host usw. an.
   Anmerkung: Danach können Sie die Konfiguration manuell oder durch das laufende Python-user_exp.py wiederverwenden oder aktualisieren.

Konfigurieren von Cron-Jobs und sofortiger Ausführung (optional)

1. Entscheiden Sie, ob Sie einen Cronjob für die automatische Ausführung einrichten möchten.
2. Stellen Sie einen Cron-Zeitplan bereit:
   • Format: * * * * * ( Minute, Stunde, Monatstag, Monat, Wochentag).
   • Beispiel für die tägliche Ausführung um 2 Uhr morgens: 0 2 * * *
   • Um die Planungsprotokolle zu überprüfen, wird die Datei 'procore_scheduling.log' erstellt, sobald die Terminplanung eingerichtet ist.

Sie können die Zeitplanung auch überprüfen, indem Sie den folgenden Befehl im Terminal ausführen:

Für Linux und MacOs:    

Bearbeiten/Löschen - Bearbeiten Sie den Terminplanungs-Cron mit:

• Nachdem Sie den obigen Befehl ausgeführt haben, sollten Sie etwas Ähnliches wie das folgende sehen:
• 2 * * * * /Benutzer/your_user/snowflake/venv/bin/python /Benutzer/your_user/snowflake/sql_server_python/connection_config.py 2>&1 | während der gelesenen Zeile; do echo "$(date) - $line"; Erledigt >> /Benutzer/your_user/snowflake/sql_server_python/procore_scheduling.log # procore-data-import
• Sie können auch den Zeitplan anpassen oder die gesamte Zeile löschen, um zu verhindern, dass sie nach Zeitplan ausgeführt wird.

Für Windows:

• Überprüfen Sie, ob die Terminplanaufgabe erstellt wurde:
  '''Powershell
  schtasks /query /tn "ProcoreDeltaShareScheduling" /fo LIST /v
  ```
• So bearbeiten/löschen Sie die Planungsaufgabe:
  Öffnen Sie den Taskplaner:
  • Drücken Sie Win + R, geben Sie taskschd.msc ein. und drücken Sie die Eingabetaste.
  • Navigieren Sie zu den geplanten Aufgaben.
  • Erweitern Sie im linken Bereich die Taskplaner-Bibliothek.
  • Suchen Sie nach dem Ordner, in dem Ihre Aufgabe gespeichert ist (z. B. Taskplaner-Bibliothek oder ein benutzerdefinierter Ordner).
• Finden Sie Ihre Aufgabe:
  • Suchen Sie nach dem Aufgabennamen ProcoreDeltaShareScheduling.
  • Klicken Sie darauf, um die Details im unteren Bereich anzuzeigen.
• Überprüfen Sie den Zeitplan:
  • Überprüfen Sie die Registerkarte Trigger, um zu sehen, wann die Aufgabe ausgeführt werden soll.
  • Überprüfen Sie die Registerkarte Verlauf, um die letzten Ausführungen zu bestätigen.
• So löschen Sie die Aufgabe:
  • Löschen Sie die Aufgabe aus der GUI.

Frage zur sofortigen Ausführung:

• Option zum Ausführen eines Skripts zum Kopieren von Daten unmittelbar nach der Konfiguration.
• Nach dem Generieren der config.yaml, Die CLI kann jederzeit unabhängig ausgeführt werden, indem je nach Paket ein Skript zum Kopieren von Daten ausgeführt wird. Siehe Beispiele unten:
  Python-delta_share_to_azure_panda.py
  ODER
  python delta_share_to_sql_spark.py
  ODER
  python delta_share_to_azure_dfs_spark.py

Ausführung und Wartung

Häufige Probleme und Lösungen

1. Cron Job Einrichtung:
   • Stellen Sie sicher, dass die Systemberechtigungen korrekt konfiguriert sind.
   • Überprüfen Sie die Systemprotokolle, wenn der Auftrag nicht ausgeführt werden kann.
   •  Überprüfen Sie, ob das Skript über Ausführungsberechtigungen delta_share_to_azure_panda.py verfügt.
2. Konfigurationsdatei:
   • Stellen Sie sicher, dass sich die Datei config.yaml im selben Verzeichnis wie das Skript befindet.
   • Sichern Sie die Datei, bevor Sie Änderungen vornehmen.

Unterstützen

Für weitere Hilfe:

1. Überprüfen Sie die Skriptprotokolle auf detaillierte Fehlermeldungen.
2. Überprüfen Sie die Datei config.yaml auf Fehlkonfigurationen.
3. Wenden Sie sich an Ihren Systemadministrator, wenn Sie Fragen zu Berechtigungen haben.
4. Wenden Sie sich bei Problemen im Zusammenhang mit dem Delta Share-Zugriff an den Procore Support.
5. Überprüfen Sie das Protokoll auf fehlgeschlagene Tabellen: failed_tables.log.

Hinweise

1. Sichern Sie immer Ihre Konfigurationsdateien, bevor Sie Änderungen vornehmen.
2. Testen Sie neue Konfigurationen in einer Nicht-Produktionsumgebung, um Unterbrechungen zu vermeiden.

Vorbereiten des Pakets

1. Erstellen Sie eine neue Datei mit dem Namen config.share mit Ihren Delta Share-Anmeldedaten im JSON-Format.

2. Abrufen von Pflichtfeldern.
   Anmerkung: Diese Details können über die Webanwendung von Procore Analytics abgerufen werden.
   • ShareCredentialsVersion: Versionsnummer (derzeit 1).
   • BearerToken: Ihr Delta Share-Zugriffstoken.
   • Endpunkt: Die URL Ihres Delta Share-Endpunkts.
3. Laden Sie das Paket herunter und extrahieren Sie es.
4. Entpacken Sie das Paket in ein Verzeichnis Ihrer Wahl.
5. Kopieren Sie die *.share Delta Sharing-Profildatei in das Paketverzeichnis, um den Zugriff zu erleichtern.
   

Installieren von Abhängigkeiten

1. Öffnen Sie ein Terminal im Paketverzeichnis.
2. Führen Sie den folgenden Befehl aus, um die Abhängigkeiten zu installieren:
3. pip install -r requirements.txt
   

Konfiguration generieren

1. Generieren Sie die Datei config.yaml , indem Sie python user_exp.py ausführen:
   Dieses Skript hilft beim Generieren der Datei config.yaml, die die erforderlichen Anmeldedaten und Einstellungen enthält.
2. Bei der Konfiguration der Datenquelle werden Sie aufgefordert, Folgendes anzugeben:
   • Liste der Tabellen (durch Kommas getrennt).
   • Lassen Sie das Feld leer, um alle Tabellen zu synchronisieren.
     Beispiel: 'Tabelle1, Tabelle2, Tabelle3'.
   • Pfad zu Ihrer 'config.share' Datei.
3. Zum ersten Mal geben Sie Ihre Anmeldedaten wie den Speicherort der Delta Share-Quellkonfiguration, Tabellen, Datenbank, Host usw. an.
   Anmerkung: Danach können Sie die Konfiguration manuell oder durch das laufende Python-user_exp.py wiederverwenden oder aktualisieren.

Konfigurieren von Cron-Jobs und sofortiger Ausführung (optional)

1. Entscheiden Sie, ob Sie einen Cronjob für die automatische Ausführung einrichten möchten.
2. Stellen Sie einen Cron-Zeitplan bereit:
   • Format: * * * * * ( Minute, Stunde, Monatstag, Monat, Wochentag).
   • Beispiel für die tägliche Ausführung um 2 Uhr morgens: 0 2 * * *
   • Um die Planungsprotokolle zu überprüfen, wird die Datei 'procore_scheduling.log' erstellt, sobald die Terminplanung eingerichtet ist.

Sie können die Zeitplanung auch überprüfen, indem Sie den folgenden Befehl im Terminal ausführen:

Für Linux und MacOs:    

Bearbeiten/Löschen - Bearbeiten Sie den Terminplanungs-Cron mit:

• Nachdem Sie den obigen Befehl ausgeführt haben, sollten Sie etwas Ähnliches wie das folgende sehen:
• 2 * * * * /Benutzer/your_user/snowflake/venv/bin/python /Benutzer/your_user/snowflake/sql_server_python/connection_config.py 2>&1 | während der gelesenen Zeile; do echo "$(date) - $line"; Erledigt >> /Benutzer/your_user/snowflake/sql_server_python/procore_scheduling.log # procore-data-import
• Sie können auch den Zeitplan anpassen oder die gesamte Zeile löschen, um zu verhindern, dass sie nach Zeitplan ausgeführt wird.

Für Windows:

• Überprüfen Sie, ob die Terminplanaufgabe erstellt wurde:
  '''Powershell
  schtasks /query /tn "ProcoreDeltaShareScheduling" /fo LIST /v
  ```
• So bearbeiten/löschen Sie die Planungsaufgabe:
  Öffnen Sie den Taskplaner:
  • Drücken Sie Win + R, geben Sie taskschd.msc ein. und drücken Sie die Eingabetaste.
  • Navigieren Sie zu den geplanten Aufgaben.
  • Erweitern Sie im linken Bereich die Taskplaner-Bibliothek.
  • Suchen Sie nach dem Ordner, in dem Ihre Aufgabe gespeichert ist (z. B. Taskplaner-Bibliothek oder ein benutzerdefinierter Ordner).
• Finden Sie Ihre Aufgabe:
  • Suchen Sie nach dem Aufgabennamen ProcoreDeltaShareScheduling.
  • Klicken Sie darauf, um die Details im unteren Bereich anzuzeigen.
• Überprüfen Sie den Zeitplan:
  • Überprüfen Sie die Registerkarte Trigger, um zu sehen, wann die Aufgabe ausgeführt werden soll.
  • Überprüfen Sie die Registerkarte Verlauf, um die letzten Ausführungen zu bestätigen.
• So löschen Sie die Aufgabe:
  • Löschen Sie die Aufgabe aus der GUI.

Frage zur sofortigen Ausführung:

• Option zum Ausführen eines Skripts zum Kopieren von Daten unmittelbar nach der Konfiguration.
• Nach dem Generieren der config.yaml, Die CLI kann jederzeit unabhängig ausgeführt werden, indem je nach Paket ein Skript zum Kopieren von Daten ausgeführt wird. Siehe Beispiele unten:
  Python-delta_share_to_azure_panda.py
  ODER
  python delta_share_to_sql_spark.py
  ODER
  python delta_share_to_azure_dfs_spark.py

Ausführung und Wartung

Häufige Probleme und Lösungen

1. Cron Job Einrichtung:
   • Stellen Sie sicher, dass die Systemberechtigungen korrekt konfiguriert sind.
   • Überprüfen Sie die Systemprotokolle, wenn der Auftrag nicht ausgeführt werden kann.
   •  Überprüfen Sie, ob das Skript über Ausführungsberechtigungen delta_share_to_azure_panda.py verfügt.
2. Konfigurationsdatei:
   • Stellen Sie sicher, dass sich die Datei config.yaml im selben Verzeichnis wie das Skript befindet.
   • Sichern Sie die Datei, bevor Sie Änderungen vornehmen.

Unterstützen

Für weitere Hilfe:

1. Überprüfen Sie die Skriptprotokolle auf detaillierte Fehlermeldungen.
2. Überprüfen Sie die Datei config.yaml auf Fehlkonfigurationen.
3. Wenden Sie sich an Ihren Systemadministrator, wenn Sie Fragen zu Berechtigungen haben.
4. Wenden Sie sich bei Problemen im Zusammenhang mit dem Delta Share-Zugriff an den Procore Support.
5. Überprüfen Sie das Protokoll auf fehlgeschlagene Tabellen: failed_tables.log.

Hinweise

1. Sichern Sie immer Ihre Konfigurationsdateien, bevor Sie Änderungen vornehmen.
2. Testen Sie neue Konfigurationen in einer Nicht-Produktionsumgebung, um Unterbrechungen zu vermeiden.

Wechseln zur Data Factory-Umgebung

1. Navigieren Sie zu Ihrem Microsoft Fabric Workspace.
   
    
2. Wählen Sie Neu und dann Dataflow Gen2 aus.
   

Konfigurieren des Datenflusses

1. Wechseln Sie zum Datenfluss-Editor.
2. Klicken Sie auf Daten abrufen und wählen Sie Mehr.
3. Wählen Sie unter Neue Quelle die Option Deltafreigabe Andere als Datenquelle aus.
   
4. Geben Sie die folgenden Details ein:
   • URL: Aus Ihrer Konfigurationsdatei für die Deltafreigabe.
   • Bearer Token: Befindet sich in Ihrer config.share-Datei.
     
5. Klicken Sie auf Weiter und wählen Sie die gewünschten Tabellen aus.
6. Klicken Sie auf Erstellen , um die Einrichtung abzuschließen.

Durchführen von Datentransformationen

Nachdem Sie den Datenfluss konfiguriert haben, können Sie nun Transformationen auf die freigegebenen Delta-Daten anwenden. Wählen Sie Ihre Option für die Delta-Freigabe von Daten aus der folgenden Liste aus:

• Datenziel hinzufügen
• Seehaus erstellen/öffnen

Datenziel hinzufügen

1. Wechseln Sie zu Data Factory.
2. Klicken Sie auf Datenziel hinzufügen.
3. Wählen Sie Lakehouse als Ziel aus und klicken Sie auf Weiter.
4. Wählen Sie Ihr Zielziel aus und bestätigen Sie mit einem Klick auf Weiter.

Create-Open Lakehouse

1. Erstellen/öffnen Sie yourLakehouse und klicken Sie auf Daten abrufen.
2. Wählen Sie Neuer Dataflow Gen2 aus.
3. Klicken Sie auf Daten abrufen, dann auf Mehr , und suchen Sie nach Delta Sharing.
4. Geben Sie das URL-Bearertoken  aus Ihrer config.share-Datei ein, und wählen Sie dann Next aus.
5. Wählen Sie Ihre Daten/Tabellen zum Herunterladen aus und klicken Sie auf Weiter.
6. Nach diesen Manipulationen sollten Sie alle ausgewählten Daten in Ihrem Fabric Lakehouse haben.

Validierung und Überwachung

Testen Sie Ihre Datenpipelines und -flüsse, um eine reibungslose Ausführung zu gewährleisten. Verwenden von Überwachungstools in Daten
Factory, um den Fortschritt und die Protokolle für jede Aktivität zu verfolgen.

Konfiguration einrichten

1. Erstellen der Datei config.yaml und definieren Sie die Konfiguration in der folgenden Struktur
   source_config:
       config_path: Pfad/zu/Ihrem/delta-sharing-credentials-file.share
   tables: # Optional - Lassen Sie das Feld leer, um alle Tabellen zu verarbeiten
       - table_name1
       - table_name2
   target_config:
       lakehouse_path: path/to/your/fabric/lakehouse/Tables/ # Pfad zum Fabric Lakehouse

Richten Sie Ihr Seehaus ein

1. Öffnen Sie Ihren Microsoft Fabric-Arbeitsbereich.
2. Navigieren Sie zu Ihrem Lakehouse und klicken Sie auf Notizbuch öffnen und dann auf Neues Notizbuch.
3. Wenn Sie den Wert in config.yaml#lakehouse_path nicht kennen, Sie können es vom Bildschirm kopieren.
4. Klicken Sie auf die Ellipse auf Dateien, und wählen Sie ABFS-Pfad kopieren aus:
   
   
   

3. Kopieren Sie den Code der ds_to_lakehouse.py und fügen Sie ihn in das Notebook-Fenster ein (Pyspark Python):

Der nächste Schritt besteht darin, Ihre eigenen config.yaml und config.share in den Ordner Resources des Lakehouse hochzuladen. Sie können Ihr eigenes Verzeichnis erstellen oder ein eingebautes Verzeichnis verwenden (das bereits von Lakehouse für Ressourcen erstellt wurde):

Das folgende Beispiel zeigt ein integriertes Standardverzeichnis für eine config.yaml-Datei.
Hinweis: Stellen Sie sicher, dass Sie beide Dateien auf derselben Ebene und für die Eigenschaft config_path hochladen:

4. Überprüfen Sie den Code des Notizbuchs, Zeilen 170-175.
Das folgende Beispiel zeigt die notwendigen Zeilenänderungen:

config_path = "./env/config.yaml"

An 

config_path = "./builtin/config.yaml"

Da sich die Dateien in einem eingebauten Ordner und nicht in einer benutzerdefinierten Umgebung befinden, sollten Sie Ihre eigene Struktur der Dateien überwachen. Sie können sie in verschiedene Ordner hochladen, aber in solchen Fällen aktualisieren Sie den Code des Notebooks, um die Datei config.yaml richtig zu finden.
 

5. Klicken Sie auf Zelle ausführen:

Validierung

• Überprüfen Sie nach Abschluss des Auftrags, ob die Daten erfolgreich in Ihr Lakehouse kopiert wurden.
• Überprüfen Sie die angegebenen Tabellen, und stellen Sie sicher, dass die Daten mit den freigegebenen Delta-Tabellen übereinstimmen.
• Warten Sie, bis der Auftrag abgeschlossen ist, es sollten alle Daten kopiert werden.

Vorbereiten des Pakets

1. Laden Sie das erforderliche Paket herunter (adls_azure_function oder sql_server_azure_function).
2. Extrahieren Sie die Paketdateien in ein lokales Verzeichnis.
3. Platzieren Sie die Delta-Sharing-Datei:
   • Kopieren Sie Ihre *.share Delta Sharing-Profildatei in das extrahierte Verzeichnis.

 Installieren von Abhängigkeiten

1. Öffnen Sie ein Terminal im Paketverzeichnis.
2. Führen Sie den folgenden Befehl aus, um die erforderlichen Python-Abhängigkeiten zu installieren:
   • pip install -r requirements.txt

Konfiguration generieren

1. Generieren Sie die Datei config.yaml , indem Sie Folgendes ausführen:
   • Python-user_exp.py
2. Das Skript fordert Sie auf, Anmeldedaten einzugeben, z. B.:
   • Tabellen
   • Name der Datenbank
   • Gastgeber
   • Zusätzliche Anmeldedaten.
3. Die Konfiguration kann wiederverwendet oder manuell oder durch erneutes Ausführen  von python user_exp.pyaktualisiert werden.

 Einrichtung der Azure CLI

1. Melden Sie sich bei Azure an.
2. Führen Sie den folgenden Befehl aus, um sich anzumelden:
   az login
3. Überprüfen des Azure-Kontos:
   • az account show
   • Wenn der Befehl az nicht verfügbar ist, installieren Sie die Azure CLI, indem Sie die Anweisungen befolgen, die Sie hier finden: Microsoft Learn.

Installieren von Azure Functions Kerntools

Gehe zu

Vorbereiten der Azure-Funktion

1. Verwenden Sie
   Azure Portal guide
   So erstellen Sie Folgendes:
   • Eine Funktions-App
   • Eine Ressourcengruppe
   • Verbrauchsplan
   • Speicherkonto
2. Benutzerdefinierten Cron-Zeitplan festlegen (optional).
   • Öffnen Sie function_app.py in einem Editor.
   • Suchen Sie die Zeile: @app.timer_trigger(schedule="0 0 */8 * * *",
3. Ersetzen Sie den Terminplan durch Ihren benutzerdefinierten Cron-Ausdruck und speichern Sie die Datei.

Einsatz

1. Öffnen Sie ein Terminal im Paketverzeichnis (adls_azure_function).
2. Führen Sie den folgenden Bereitstellungsbefehl aus:
   • func azure functionapp publish <FunctionAppName> --build remote --python --clean
3. Ersetzen Sie <FunctionAppName> durch den Namen Ihrer Azure-Funktions-App in Ihrem Azure-Abonnement.

Validierung

• Stellen Sie sicher, dass die Bereitstellung erfolgreich ist, indem Sie im Azure-Portal den Status Ihrer Funktions-App überprüfen.
• Überwachen Sie Protokolle, um zu überprüfen, ob die Funktion wie erwartet ausgeführt wird.

Zugriff auf Data Flow Gen2

1. Melden Sie sich bei Ihrem Microsoft Fabric-Konto an.
2. Navigieren Sie zum Arbeitsbereich.
3. Wählen Sie aus den verfügbaren Optionen "Datenfluss Gen2"  aus.

Konfigurieren der Datenquelle

1. Klicken Sie auf "Daten aus einer anderen Quelle",  um die Konfiguration zu starten.
2. Gehen Sie auf dem Bildschirm Daten abrufen wie folgt vor:
   • Suchen Sie die Suchleiste mit der Bezeichnung "Datenquelle auswählen".
   • Geben Sie "Delta Sharing"  in das Suchfeld ein.
   • Wählen Sie in den Ergebnissen Deltafreigabe aus.
     
     

Einrichten der Delta Share-Verbindung

1. Geben Sie Ihre Delta Share-Anmeldedaten ein, wenn Sie dazu aufgefordert werden.
   • Stellen Sie sicher, dass alle erforderlichen Felder korrekt ausgefüllt sind.
   • Überprüfen Sie, wenn möglich, die Verbindung.
2. Klicken Sie auf "Weiter",  um fortzufahren.
3. Überprüfen Sie die Liste der verfügbaren Tabellen:
   • Es werden alle Tabellen angezeigt, auf die Sie Zugriff haben.
   • Wählen Sie die gewünschten Tabellen für die Übertragung aus.
     

Datenziel konfigurieren

1. Klicken Sie auf "Datenziel hinzufügen".
2. Wählen Sie als Ziel "SQL-Warehouse"  aus.
   
3. Geben Sie die SQL-Anmeldedaten ein:
   • Server-Details.
   • Informationen zur Authentifizierung.
   • Datenbank-Spezifikationen.
   • Überprüfen Sie die Verbindungseinstellungen.

Finalisieren und Bereitstellen

1. Überprüfen Sie alle Konfigurationen.
2. Klicken Sie auf "Veröffentlichen",  um den Datenfluss bereitzustellen.
3. Warten Sie auf die Bestätigungsmeldung.

Verifizierung

1. Greifen Sie auf Ihr SQL-Warehouse zu.
2. Stellen Sie sicher, dass die Daten verfügbar und richtig strukturiert sind.
3. Führen Sie Testabfragen aus, um die Datenintegrität sicherzustellen.

Problembehebung

Häufige Probleme und Lösungen:

• Verbindungsfehler: Überprüfen Sie die Anmeldedaten und die Netzwerkverbindung.
• Fehlende Tabellen: Überprüfen Sie die Delta-Freigabeberechtigungen.
• Leistungsprobleme: Überprüfen Sie die Einstellungen für die Ressourcenzuweisung und -optimierung.

Erstkonfiguration

Führen Sie das Konfigurationsdienstprogramm mit Python user_exp.py aus.

Daten-Synchronisation

Nach der Konfiguration haben Sie zwei Möglichkeiten, die Datensynchronisierung auszuführen: 

• Direkte Ausführung:
  • Python-ds_to_snowflake.py
• Geplante Ausführung
  • Wenn Sie dies während des Setups konfigurieren, wird der Auftrag automatisch gemäß Ihrem Cron-Zeitplan ausgeführt.
  • Um die Planungsprotokolle zu überprüfen, wird die Datei 'procore_scheduling.log' erstellt, sobald die Planung eingerichtet wird.
  • Sie können die Planung auch überprüfen, indem Sie den folgenden Befehl im Terminal ausführen:

Für Linux und MacOS:

• Bearbeiten/Löschen - Bearbeiten Sie den Terminplanungs-Cron mit:

  '''Bash
  
  EDITOR=nano crontab -e
  
  ```

• Nachdem Sie den obigen Befehl ausgeführt haben, sollten Sie etwas Ähnliches wie das folgende sehen:

  2 * * * *
  /Benutzer/your_user/snowflake/venv/bin/python
  
   /Benutzer/your_user/Schneeflocke/sql_server_python/connection_config.py
  2>&1 | während der gelesenen Zeile; do echo "$(date) - $line"; Fertig>>
  
   /Benutzer/your_user/Schneeflocke/sql_server_python/procore_scheduling.log # Procore-Daten-Import 

   
• Sie können auch den Zeitplan anpassen oder die gesamte Zeile löschen, um zu verhindern, dass sie nach Zeitplan ausgeführt wird.

Für Windows:

• Überprüfen Sie, ob die Terminplanaufgabe erstellt wurde: 

  ```
      PowerShell (PowerShell) 
  
      schtasks /query /tn "ProcoreDeltaShareScheduling" /fo LIST /v 
  
  ``` 

• Um die Planungsaufgabe zu bearbeiten/zu löschen , öffnen Sie den Taskplaner.
• Drücken Sie Win + R, geben Sie taskschd.msc ein. und drücken Sie die Eingabetaste. 
• Navigieren Sie zu den geplanten Aufgaben. 
• Erweitern Sie im linken Bereich die Taskplaner-Bibliothek. 
• Suchen Sie nach dem Ordner, in dem Ihre Aufgabe gespeichert ist:
  Beispiel:  Taskplaner-Bibliothek oder ein benutzerdefinierter Ordner.
• Finde deine Aufgabe.
• Suchen Sie nach dem Namen der Aufgabe: ProcoreDeltaShareScheduling. 
• Klicken Sie darauf, um die Details im unteren Bereich anzuzeigen. 
• Überprüfen Sie den Zeitplan: 
  • Überprüfen Sie die Registerkarte Trigger, um zu sehen, wann die Aufgabe ausgeführt werden soll. 
  • Überprüfen Sie die Registerkarte Verlauf, um die letzten Ausführungen zu bestätigen. 
• So löschen Sie die Aufgabe: 
  • Löschen Sie die Aufgabe aus der GUI.

Konfiguration der Delta-Freigabe

• Erstellen der config.share-Datei 
• Bevor Sie das Konfigurationsdienstprogramm ausführen können, müssen Sie eine config.share-Datei mit Ihren Delta Share-Anmeldedaten erstellen. Die Datei sollte im JSON-Format vorliegen: 

  { 

  "shareCredentialsVersion": 1, 
  "bearerToken": "xxxxxxxxxxxxxxx", 
  "endpoint": "https://nvirginia.cloud.databricks.c...astores/xxxxxx
  
  } 

   

• Pflichtfelder: 
  • ShareCredentialsVersion: Versionsnummer (derzeit 1). 
  • BearerToken: Ihr Delta Share-Zugriffstoken.
  • Endpunkt: Die URL Ihres Delta Share-Endpunkts.
  • Diese Details können über die Procore-Web-Benutzeroberfläche abgerufen werden.
• Schritte zum Erstellen von config.share: 
  • Erstellen Sie eine neue Datei mit dem Namen config.share.
  • Kopieren Sie die obige JSON-Vorlage. 
  • Ersetzen Sie die Platzhalterwerte durch Ihre tatsächlichen Anmeldedaten. 
  • Speichern Sie die Datei an einem sicheren Ort. 
  • Sie müssen den Pfad zu dieser Datei während der Konfiguration angeben. Bei der Konfiguration der Datenquelle werden Sie aufgefordert, Folgendes anzugeben:
    • Liste der Tabellen (durch Kommas getrennt).
    • Lassen Sie das Feld leer, um alle Tabellen zu synchronisieren.
    • Beispiel: Tabelle1, Tabelle2, Tabelle3.
• Pfad zu Ihrer config.share-Datei .

Snowflake-Konfiguration

Sie müssen die folgenden Snowflake-Details angeben:

• Authentifizierung (wählen Sie eine aus): 
  • Benutzer-Authentifizierung 
    • Nutzername 
    • Passwort (sicher eingegeben) 
• Schlüsselpaar-Authentifizierung
  • Nutzername 
  • Dateipfad des privaten Schlüssels
  • Passwort für die Datei mit privatem Schlüssel 
• Details zur Verbindung: 
  • Konto-ID 
  • Name des Lagers 
  • Name der Datenbank 
  • Name des Schemas 
  • Anzahl gleichzeitiger Threads 

Optionen für die Planung

Das Tool bietet die Möglichkeit, eine automatische Datensynchronisierung zu planen.

• Cronjob-Konfiguration 
  • Auswählen, ob Sie ein tägliches Projekt einrichten möchten 
  • Wenn ja, geben Sie einen Cron-Zeitplan an 
  • Format: * * * * * (Minute, Stunde, Monat, Monat, Wochentag)
  • Beispiel für täglich um 2 Uhr morgens: 0 2 * * * 
• Sofortige Ausführung 
  • Option zum sofortigen Ausführen der ds_to_snowflake.py nach der Konfiguration  
• Datei-Struktur

  Unset 
  ├── requirements.txt                    # Abhängigkeiten 
  ├── user_exp.py                                # Konfigurations-Dienstprogramm
  ├── ds_to_snowflake.py                # Skript zur Datensynchronisierung
  ├── config.yaml                                  # Generierte Konfiguration
  ├── config.share                               # Delta-Share-Konfigurationsdatei
  ├── procore_scheduling.log       # Protokoll der Terminierungsläufe 

  
  Beispiel für die Verwendung 
  • Schritt 1: Installieren von Abhängigkeiten 
    $ pip install -r requirements.txt
  • Schritt 2: Konfigurationsdienstprogramm ausführen 
    $ python user_exp.py 
  • Procore Analytics Cloud Connect-Zugriff 
    • Diese CLI hilft Ihnen bei der Auswahl Ihres Quell- und Zielspeichers für den Zugriff/das Schreiben von Procore-Daten in Snowflake. 
    • Drücken Sie die Eingabetaste, um fortzufahren.
    • Geben Sie die Liste der Tabellen ein (durch Kommas getrennt), lassen Sie sie für alle Tabellen leer: Projekte, Benutzer, Aufgaben.
    • Geben Sie den Pfad zu config.share ein: /Pfad/zur/config.share.
    • Geben Sie den Benutzernamen ein: snowflake_user.
    • Welchen Authentifizierungstyp möchten Sie verwenden? (Benutzer/key_pair): Eingabetaste.
    • 1 für Benutzer,
    • 2 für Schlüsselpaar:
    • 1 
    • Passwort eingeben: ******** 
    • Konto eingeben: my_account 
    • Lager eingeben: my_warehouse 
    • Geben Sie den Datenbanknamen ein: procore_db
    • Geben Sie den Schemanamen ein: procore_schema 
    • Anzahl der Threads eingeben: 4 
    • Möchten Sie dies als täglichen Job auf cron konfigurieren? (Ja/Nein): Ja 
    • Geben Sie den Zeitplan im Cron-Format ein (z. B. * * * * * ): 0 2 * * * 
    • Möchten Sie den Auftrag jetzt ausführen? (Ja/Nein): Ja 
  • Schritt 3: Manuelle Ausführung (falls erforderlich)
    $ python ds_to_snowflake.py 
• Wiederverwendung von Konfigurationen
  Das Tool speichert Ihre Konfiguration in der Datei config.yaml und bietet die Möglichkeit, zuvor gespeicherte Einstellungen wiederzuverwenden: 
  • Die Quellkonfiguration kann wiederverwendet werden.
  • Die Zielkonfiguration (Snowflake) kann wiederverwendet werden. 
  • Sie können wählen, ob Sie beide Konfigurationen unabhängig voneinander aktualisieren möchten.

Bewährte Methoden 

• Authentifizierung
  • Verwenden Sie, wenn möglich, die Authentifizierung von Schlüsselpaaren.
  • Wechseln Sie die Anmeldedaten regelmäßig. 
  • Verwenden Sie die minimal erforderlichen Berechtigungen.
• Leistung 
  • Passen Sie die Threadanzahl basierend auf Ihren Systemfunktionen an. 
  • Beginnen Sie mit einer kleineren Teilmenge von Tabellen zum Testen.

Fehlerbehebung 

• Häufige Probleme und Lösungen: 
  • Ungültiger Authentifizierungstyp 
    • Stellen Sie sicher, dass Sie entweder "1" (Benutzer) oder "2" (key_pair) auswählen, wenn Sie dazu aufgefordert werden.
• Cronjob einrichten  
  • Stellen Sie sicher, dass Sie über die entsprechenden Systemberechtigungen verfügen.
  • Überprüfen Sie die Systemprotokolle, wenn der Auftrag nicht ausgeführt werden kann.
  • Stellen Sie sicher, dass das ds_to_snowflake.py über die richtigen Berechtigungen verfügt. 
  • Überprüfen Sie die Einrichtung des Cron-Jobs, indem Sie die Systemprotokolle überprüfen:
    Siehe Datei 'procore_scheduling.log'.
• Konfigurationsdatei
  • Befindet sich im selben Verzeichnis wie das Skript
  • Mit dem Namen config.yaml.
  • Sichern Sie, bevor Sie Änderungen vornehmen.
• Unterstützen
  • Überprüfen Sie die Protokollausgabe des Skripts. 
  • Überprüfen Sie die Datei config.yaml . 
  • Wenden Sie sich an Ihren Systemadministrator, wenn Sie Fragen zu Berechtigungen haben.
  • Wenden Sie sich bei Problemen mit dem Delta Share-Zugriff an den Procore Support.

Anmerkung: Denken Sie daran, Ihre Konfiguration immer zu sichern, bevor Sie Änderungen vornehmen, und neue Konfigurationen zuerst in einer Nicht-Produktionsumgebung zu testen.
 

Erstkonfiguration

Führen Sie das Konfigurationsdienstprogramm mit python user_exp.py aus.

Dies wird Ihnen bei der Einrichtung helfen:

• Konfiguration der Delta-Freigabe
• S3-Zielkonfiguration
• Einstellungen für die Terminplanung 

Konfiguration der Delta-Freigabe

• Erstellen der config.share-Datei 
• Bevor Sie das Konfigurationsdienstprogramm ausführen können, müssen Sie eine config.share-Datei mit Ihren Delta Share-Anmeldedaten erstellen. Die Datei sollte im JSON-Format vorliegen: 

  { 

  "shareCredentialsVersion": 1, 
  "bearerToken": "xxxxxxxxxxxxxxx", 
  "Endpunkt": "xxxxxx"
  
  } 

• Pflichtfelder: 
  • ShareCredentialsVersion: Versionsnummer (derzeit 1). 
  • BearerToken: Ihr Delta Share-Zugriffstoken.
  • Endpunkt: Die URL Ihres Delta Share-Endpunkts.
  • Diese Details können über die Procore-Web-Benutzeroberfläche abgerufen werden.
• Schritte zum Erstellen von config.share: 
  • Erstellen Sie eine neue Datei mit dem Namen config.share.
  • Kopieren Sie die obige JSON-Vorlage. 
  • Ersetzen Sie die Platzhalterwerte durch Ihre tatsächlichen Anmeldedaten. 
  • Speichern Sie die Datei an einem sicheren Ort. 
  • Sie müssen den Pfad zu dieser Datei während der Konfiguration angeben. Bei der Konfiguration der Datenquelle werden Sie aufgefordert, Folgendes anzugeben:
    • Liste der Tabellen (durch Kommas getrennt).
    • Lassen Sie das Feld leer, um alle Tabellen zu synchronisieren.
    • Beispiel: Tabelle1, Tabelle2, Tabelle3.
• Pfad zu Ihrer config.share-Datei .

S3-Konfiguration

Sie müssen die folgenden S3-Details angeben:

• Authentifizierung:
  • Zugriffsschlüssel
  • Geheimer Schlüssel
  • Bucket-Name ohne s3://
  • Schlüssel - Verzeichnis 

Optionen für die Planung

Das Tool bietet die Möglichkeit, eine automatische Datensynchronisierung zu planen.

• Cronjob-Konfiguration 
  • Wählen Sie aus, ob Sie ein tägliches Projekt einrichten möchten. 
  • Wenn ja, geben Sie einen Cron-Zeitplan an. 
  • Format: * * * * * (Minute, Stunde, Monat, Monat, Wochentag).
  • Beispiel für täglich um 2 Uhr morgens: 0 2 * * * 
  • Um die Terminierungsprotokolle zu überprüfen, wird die Datei 'procore_scheduling.log' erstellt, sobald die Terminierung eingerichtet ist.

Sie können die Zeitplanung auch überprüfen, indem Sie den Befehl in terminal ausführen

Für Linux und MacOs:    

Bearbeiten/Löschen - Bearbeiten Sie den Terminplanungs-Cron mit:

• Nachdem Sie den obigen Befehl ausgeführt haben, sollten Sie etwas Ähnliches wie das folgende sehen:
• 2 * * * * /Benutzer/your_user/snowflake/venv/bin/python /Benutzer/your_user/snowflake/sql_server_python/connection_config.py 2>&1 | während der gelesenen Zeile; do echo "$(date) - $line"; Erledigt >> /Benutzer/your_user/snowflake/sql_server_python/procore_scheduling.log # procore-data-import
• Sie können auch den Zeitplan anpassen oder die gesamte Zeile löschen, um zu verhindern, dass sie nach Zeitplan ausgeführt wird.

Für Windows:

• Überprüfen Sie, ob die Terminplanaufgabe erstellt wurde:
  '''Powershell
  schtasks /query /tn "ProcoreDeltaShareScheduling" /fo LIST /v
  ```
• So bearbeiten/löschen Sie die Planungsaufgabe:
  Öffnen Sie den Taskplaner:
  • Drücken Sie Win + R, geben Sie taskschd.msc ein. und drücken Sie die Eingabetaste.
  • Navigieren Sie zu den geplanten Aufgaben.
  • Erweitern Sie im linken Bereich die Taskplaner-Bibliothek.
  • Suchen Sie nach dem Ordner, in dem Ihre Aufgabe gespeichert ist (z. B. Taskplaner-Bibliothek oder ein benutzerdefinierter Ordner).
• Finden Sie Ihre Aufgabe:
  • Suchen Sie nach dem Aufgabennamen ProcoreDeltaShareScheduling.
  • Klicken Sie darauf, um die Details im unteren Bereich anzuzeigen.
• Überprüfen Sie den Zeitplan:
  • Überprüfen Sie die Registerkarte Trigger, um zu sehen, wann die Aufgabe ausgeführt werden soll.
  • Überprüfen Sie die Registerkarte Verlauf, um die letzten Ausführungen zu bestätigen.
• So löschen Sie die Aufgabe:
  • Löschen Sie die Aufgabe aus der GUI.

• Sofortige Ausführung 
  • Option zum Ausführen der delta_share_to_s3_.py Datei-Struktur

• Unset 
  
  ├── requirements.txt                    # Abhängigkeiten 
  ├── user_exp.py                                # Konfigurations-Dienstprogramm
  ├── delta_share_to_s3.py            # Skript zur Datensynchronisierung
  ├── config.yaml                                  # Generierte Konfiguration
  ├── config.share                               # Delta-Share-Konfigurationsdatei
  ├── procore_scheduling.log       # Protokoll der Terminierungsläufe 

  
  Beispiel für die Verwendung 
  • Schritt 1: Installieren von Abhängigkeiten 
    $ pip install -r requirements.txt
  • Schritt 2: Konfigurationsdienstprogramm ausführen 
    $ python user_exp.py 
  • Procore Analytics Cloud Connect-Zugriff 
    • Diese CLI hilft Ihnen bei der Auswahl Ihres Quell- und Zielspeichers für den Zugriff/das Schreiben von Procore-Daten in S3. 
    • Drücken Sie die Eingabetaste, um fortzufahren.
    • Geben Sie die Liste der Tabellen ein (durch Kommas getrennt), lassen Sie sie für alle Tabellen leer: Projekte, Benutzer, Aufgaben.
    • Geben Sie den Pfad zu config.share ein: /Pfad/zur/config.share.
    • Geben Sie den Zugriffsschlüssel ein: s3-Schlüssel.
    • Geben Sie secret: secret ein.
    • Geben Sie bucket ein: Bucket-Name.
    • Möchten Sie dies als täglichen Job auf cron konfigurieren? (Ja/Nein): Ja 
    • Geben Sie den Zeitplan im Cron-Format ein (z. B. * * * * * ): 0 2 * * * 
    • Möchten Sie den Auftrag jetzt ausführen? (Ja/Nein): Ja 
  • Schritt 3: Manuelle Ausführung (falls erforderlich)
    $ python delta_share_to_s3.py 
• Wiederverwendung von Konfigurationen
  Das Tool speichert Ihre Konfiguration in der Datei config.yaml und bietet die Möglichkeit, zuvor gespeicherte Einstellungen wiederzuverwenden: 
  • Die Quellkonfiguration kann wiederverwendet werden.
  • Die Zielkonfiguration (S3) kann wiederverwendet werden. 
  • Sie können wählen, ob Sie beide Konfigurationen unabhängig voneinander aktualisieren möchten.

Fehlerbehebung 

Häufige Probleme und Lösungen: 

• Cronjob einrichten  
  • Stellen Sie sicher, dass die Systemberechtigungen korrekt konfiguriert sind.
  • Überprüfen Sie die Systemprotokolle, wenn der Auftrag nicht ausgeführt werden kann.
  • Überprüfen des Skripts (delta_share_to_s3.py) Ausführen von Berechtigungen.
• Konfigurationsdatei
  • Vergewissern Sie sich, dass sich die Datei config.yaml im selben Verzeichnis wie das Skript befindet.
  • Sichern Sie, bevor Sie Änderungen vornehmen.
• Unterstützen
  • Überprüfen Sie die Skriptprotokolle auf detaillierte Fehlermeldungen.
  • Überprüfen Sie die Datei config.yaml auf Fehlkonfigurationen.
  • Wenden Sie sich an Ihren Systemadministrator, wenn Sie Fragen zu Berechtigungen haben.
  • Wenden Sie sich bei Problemen mit dem Delta Share-Zugriff an den Procore Support.
  • Überprüfen Sie die Einrichtung von Cron-Jobs, indem Sie die Systemprotokolle überprüfen: Siehe 'procore_scheduling_log' -Datei.

Hinweise:

1. Denken Sie daran, Ihre Konfiguration immer zu sichern, bevor Sie Änderungen vornehmen.
2. Testen Sie neue Konfigurationen zunächst in einer Nicht-Produktionsumgebung.

Python-Konnektor

Der Delta Sharing Python Connector ist eine Python-Bibliothek, die das Delta Sharing Protocol implementiert, um Tabellen von einem Delta Sharing-Server zu lesen. Sie können freigegebene Tabellen als Pandas-DataFrame oder als Apache Spark-DataFrame laden, wenn sie in PySpark mit installiertem Apache Spark Connector ausgeführt werden.

Apache Spark-Konnektor

Der Apache Spark Connector implementiert das Delta Sharing Protocol , um freigegebene Tabellen von einem Delta Sharing Server zu lesen. Es kann in SQL, Python, Java, Scala und R verwendet werden.

Konfigurieren von Apache Spark

Sie können Apache Spark so einrichten, dass der Delta Sharing-Connector in den folgenden beiden Fällen geladen wird
Wege:

• Interaktiv ausführen: Starten Sie die Spark-Shell (Scala oder Python) mit dem Delta Sharing-Connector, und führen Sie die Codeausschnitte interaktiv in der Shell aus.
• Als Projekt ausführen: Richten Sie ein Maven- oder SBT-Projekt (Scala oder Java) mit dem Delta Sharing-Connector ein, kopieren Sie die Codeausschnitte in eine Quelldatei, und führen Sie das Projekt aus.

Wenn Sie Databricks Runtime verwenden, können Sie diesen Abschnitt überspringen und der Dokumentation zu den Databricks-Bibliotheken folgen, um den Connector in Ihren Clustern zu installieren.

Einrichten einer interaktiven Shell

Um den Delta Sharing-Connector interaktiv in der Scala/Python-Shell von Spark zu verwenden, können Sie die Shells wie folgt starten.

PySpark-Hülle

Unset
pyspark --packages io.delta:delta-sharing-spark_2.12:3.1.0

Scala-Shell

Unset
bin/spark-shell --pakete
io.delta:delta-sharing-spark_2.12:3.1.0

Einrichten eines eigenständigen Projekts

Wenn Sie ein Java/Scala-Projekt mit dem Delta Sharing Connector aus dem Maven Central Repository erstellen möchten, können Sie die folgenden Maven-Koordinaten verwenden.