Exportieren in SQL Server mit Python (SSIS)

Zuletzt aktualisiert
Als PDF speichern

Übersicht

Das Analytics Cloud Connect Access-Tool ist eine Befehlszeilenschnittstelle (CLI), mit der Sie Datenübertragungen von Procore zu MS SQL Server konfigurieren und verwalten können. Es besteht aus zwei Hauptkomponenten:

user_exp.py (Dienstprogramm zur Konfigurationseinrichtung)
delta_share_to_azure_panda.py (Skript zur Datensynchronisation)

Voraussetzungen

Python und pip sind auf Ihrem System installiert.
Zugriff auf Procore Delta Share.
Anmeldedaten für das MS SQL Server-Konto.
Laden Sie das gezippte Paket aus dem Unternehmensebene Analytics-Tool herunter (über Analytics > Erste Schritte > Verbindungsoptionen > SQL Server).
Erforderliche Abhängigkeiten installieren: pip install -r requirements.txt.
Profildatei für die Delta-Freigabe:
- Aktualisieren Sie das Token und den Endpunkt, die Sie von der Procore-Benutzeroberfläche in der Datei template_config.share (im heruntergeladenen Inhalt) erhalten haben, und benennen Sie template_config.share in config.share um.
- Python-Umgebung:
  - Installieren Sie Python 3.9+ und pip auf Ihrem System.

Erstkonfiguration

Führen Sie das Konfigurationsdienstprogramm aus:
Python-user_exp.py

Dies wird Ihnen bei der Einrichtung helfen:

Konfiguration der Delta Share-Quelle
MS SQL Server-Zielkonfiguration
Einstellungen für die Terminplanung

Daten-Synchronisation

Nach der Konfiguration haben Sie zwei Möglichkeiten, die Datensynchronisierung auszuführen:

Python für die direkte Ausführung
delta_share_to_azure_panda.py
ODER
Geplante Ausführung
Wenn Sie dies während des Setups konfigurieren, wird der Auftrag automatisch gemäß Ihrem Cron-Zeitplan ausgeführt.

Konfiguration der Delta-Freigabe

Erstellen Sie eine neue Datei mit dem Namen config.share mit Ihren Delta Share-Anmeldedaten im JSON-Format.

{
"shareCredentialsVersion": 1,
"bearerToken": "xxxxxxxxxxxxxxx",
"endpoint": "https://nvirginia.cloud.databricks.c...astores/xxxxxx
}

Abrufen von Pflichtfeldern:
Hinweis: Diese Details können über die Analytics-Webanwendung abgerufen werden.
- ShareCredentialsVersion: Versionsnummer (derzeit 1).
- BearerToken: Ihr Delta Share-Zugriffstoken.
- Endpunkt: Die URL Ihres Delta Share-Endpunkts.
- Speichern Sie die Datei an einem sicheren Ort.
Bei der Konfiguration der Datenquelle werden Sie aufgefordert, Folgendes anzugeben:
- Liste der Tabellen (durch Kommas getrennt).
- Lassen Sie das Feld leer, um alle Tabellen zu synchronisieren.
- Beispiel: 'table1, t able2, table3'.
- Pfad zu Ihrer 'config.share' Datei.

MS SQL Server-Konfiguration

Sie müssen die folgenden MS SQL Server-Details angeben:

Datenbank
Gastgeber
Passwort
Schema
Nutzername

SSIS-Konfiguration

Navigieren Sie über die Befehlszeile zu dem Ordner, indem Sie'cd'<path to the folder> eingeben.
Installieren Sie die erforderlichen Pakete mit 'pip install -r requirements.txt' oder 'python -m pip install -r requirements.txt'.
Öffnen Sie SSIS, und erstellen Sie ein neues Projekt.
Ziehen Sie aus der SSIS-Toolbox die Aktivität "Prozessaufgabe ausführen" per Drag & Drop.
Doppelklicken Sie auf "Prozessaufgabe ausführen" und navigieren Sie zur Registerkarte Verarbeiten.
Geben Sie unter "Ausführbare Datei" den Pfad ein, um im Python-Installationsordner zu python.exe.
Geben Sie in 'WorkingDirectory' einen Pfad zu dem Ordner ein, der das Skript enthält , das Sie ausführen möchten (ohne den Namen der Skriptdatei).
Geben Sie unter 'Argumente' den Namen des Skripts 'delta_share_to_azure_panda.py' ein, die Sie mit dem .py ausführen möchten zu erweitern und zu speichern.
Klicken Sie auf die Schaltfläche "Start" im oberen Bereich:
Während der Ausführung der Aufgabe wird die Ausgabe der Python-Konsole im Fenster der externen Konsole angezeigt.
Sobald die Aufgabe erledigt ist, wird ein grünes Häkchen angezeigt: