Exportieren in SQL Server mit Python (SSIS)
Übersicht
Das Procore Analytics Cloud Connect Access Tool ist eine Befehlszeilenschnittstelle (CLI), mit der Sie Datenübertragungen von Procore zu MS SQL Server konfigurieren und verwalten können. Es besteht aus zwei Hauptkomponenten:
- user_exp.py (Dienstprogramm zur Konfigurationseinrichtung)
- delta_share_to_azure_panda.py (Skript zur Datensynchronisation)
Voraussetzungen
- Python und pip sind auf Ihrem System installiert.
- Zugriff auf Procore Delta Share.
- Anmeldedaten für das MS SQL Server-Konto.
- Erforderliche Abhängigkeiten installieren: pip install -r requirements.txt.
Schritte
- Erstkonfiguration
- Daten-Synchronisation
- Konfiguration der Delta-Freigabe
- MS SQL Server-Konfiguration
- SSIS-Konfiguration
Erstkonfiguration
- Führen Sie das Konfigurationsdienstprogramm aus:
Python-user_exp.py
Dies wird Ihnen bei der Einrichtung helfen:
- Konfiguration der Delta Share-Quelle
- MS SQL Server-Zielkonfiguration
- Einstellungen für die Terminplanung
Daten-Synchronisation
Nach der Konfiguration haben Sie zwei Möglichkeiten, die Datensynchronisierung auszuführen:
- Python für die direkte Ausführung
delta_share_to_azure_panda.py
ODER - Geplante Ausführung
Wenn Sie dies während des Setups konfigurieren, wird der Auftrag automatisch gemäß Ihrem Cron-Zeitplan ausgeführt.
Konfiguration der Delta-Freigabe
- Erstellen Sie eine neue Datei mit dem Namen config.share mit Ihren Delta Share-Anmeldedaten im JSON-Format.
{
"shareCredentialsVersion": 1,
"bearerToken": "xxxxxxxxxxxxxxx",
"endpoint": "https://nvirginia.cloud.databricks.c...astores/xxxxxx
}
- Abrufen von Pflichtfeldern:
Anmerkung: Diese Details können über die Procore Analytics-Webanwendung abgerufen werden.- ShareCredentialsVersion: Versionsnummer (derzeit 1).
- BearerToken: Ihr Delta Share-Zugriffstoken.
- Endpunkt: Die URL Ihres Delta Share-Endpunkts.
- Speichern Sie die Datei an einem sicheren Ort.
- Bei der Konfiguration der Datenquelle werden Sie aufgefordert, Folgendes anzugeben:
- Liste der Tabellen (durch Kommas getrennt).
- Lassen Sie das Feld leer, um alle Tabellen zu synchronisieren.
- Beispiel: 'table1, t able2, table3'.
- Pfad zu Ihrer 'config.share' Datei.
MS SQL Server-Konfiguration
Sie müssen die folgenden MS SQL Server-Details angeben:
- Datenbank
- Gastgeber
- Passwort
- Schema
- Nutzername
SSIS-Konfiguration
- Navigieren Sie über die Befehlszeile zu dem Ordner, indem Sie'cd'<path to the folder> eingeben.
- Installieren Sie die erforderlichen Pakete mit 'pip install -r requirements.txt' oder 'python -m pip install -r requirements.txt'.
- Öffnen Sie SSIS, und erstellen Sie ein neues Projekt.
- Ziehen Sie aus der SSIS-Toolbox die Aktivität "Prozessaufgabe ausführen" per Drag & Drop.
- Doppelklicken Sie auf "Prozessaufgabe ausführen" und navigieren Sie zur Registerkarte Verarbeiten.
- Geben Sie unter "Ausführbare Datei" den Pfad ein, um im Python-Installationsordner zu python.exe.
- Geben Sie in 'WorkingDirectory' einen Pfad zu dem Ordner ein, der das Skript enthält , das Sie ausführen möchten (ohne den Namen der Skriptdatei).
- Geben Sie unter 'Argumente' den Namen des Skripts 'delta_share_to_azure_panda.py' ein, die Sie mit dem .py ausführen möchten zu erweitern und zu speichern.
- Klicken Sie auf die Schaltfläche "Start" im oberen Bereich:
- Während der Ausführung der Aufgabe wird die Ausgabe der Python-Konsole im Fenster der externen Konsole angezeigt.
- Sobald die Aufgabe erledigt ist, wird ein grünes Häkchen angezeigt:
