Zu Hauptinhalten wechseln
Procore

Herstellen einer Verbindung mit BigQuery

  1. Zuletzt aktualisiert
  2. Als PDF speichern

Ziel

Das Analytics Cloud Connect Access-Tool ist ein Notebook , mit dem Sie Datenübertragungen von Procore zu BigQuery mit Analytics 2.0 konfigurieren und verwalten können. 

Voraussetzungen

  • Analytics 2.0 SKU
  • Zugriff auf die Google Cloud Platform (GCP)
  • Erforderliche Berechtigungen für Delta Share und BigQuery
  • Laden Sie das ZIP-Paket aus dem Unternehmensebene Analytics-Tool herunter (über Analytics > Erste Schritte > Verbindungsoptionen > BigQuery).

Schritte

  1. Konfiguration einrichten
  2. BigQuery-Anwendung ausführen

Konfiguration einrichten 

Konfiguration der Delta-Freigabe 

  1. Erstellen Sie eine Datei mit dem Namen config.share mit Ihren Delta Share-Anmeldedaten im JSON-Format.
  2. Abrufen von Pflichtfeldern.
    Hinweis: Diese Details können über die Analytics-Webanwendung abgerufen werden.
    • bearerToken: Ihr Delta Share-Zugriffstoken.
    • Endpunkt: Ihre Delta Share-Endpunkt-URL.
    • shareCredentialsVersion: Versionsnummer (derzeit 1).
Beispiel für eine config.share-Datei

{
"shareCredentialsVersion": 1,
"bearerToken": "",
"Endpunkt": ""
}

BIGQUERY-KONFIGURATION 

  1. Laden Sie die bigquery.zip Datei aus der Analytics-Webanwendung herunter. 
    Hinweis: Sie können das gezippte Paket aus dem Unternehmensebene Analytics-Tool herunterladen (über Analytics > Erste Schritte > Verbindungsoptionen > BigQuery).
  2. Extrahieren Sie das Paket in ein Verzeichnis Ihrer Wahl.
  3. Öffnen Sie die Datei config.yaml, und ändern Sie die folgenden Parameter:
    • source_config.config_path: Pfad zur Delta Share-Konfigurationsdatei.
    • source_config.Tabellen: Optionale Liste spezifischer Tabellen, die verarbeitet werden sollen. Lassen Sie es leer, um alle Tabellen zu verarbeiten.
    • target_config.project_id: GCP-Projekt-ID für BigQuery.
    • target_config.dataset: Name des BigQuery-Datasets.
    • target_config.threads: Anzahl der gleichzeitigen Tabellenprozesse.
Beispiel für eine config.yaml-Datei

source_config:
config_path: "<path_to_delta_share_config>"
tables: # Optional - Liste der zu verarbeitenden Tabellen
- "Tabelle1"
- "Tabelle2"

target_config:
project_id: "<your-gcp-project-id>"
Datensatz: "<bigquery-dataset-name>"
target_type: bigquery

Konfigurationsdatei hochladen
  1. Laden Sie die Datei config.yaml und die Datei config.share in den gs-Bucket hoch.
    1. Google Cloud-Speicher (GCS)

BigQuery-Anwendung ausführen

  1. Erstellen Sie ein Python-Notebook, und installieren Sie die folgenden Pakete:
    • %pip Delta-Sharing installieren
    • pip install pandas-gbq -U
  2. Kopieren Sie den Code von delta_share_to_bq.py, fügen Sie ihn in Ihr Notebook ein, aktualisieren Sie den Konfigurationspfad (config.yaml), und führen Sie es aus.

Überwachung und Protokollierung

Die Anwendung bietet eine detaillierte Protokollierung mit:

  • Bearbeitungsstatus für jede Tabelle.
  • Fehlermeldungen und Ausnahmen.
  • Gleichzeitige Verarbeitung von Informationen.

Best Practices

  • Performance-Optimierung
    • Passen Sie die Anzahl der Threads basierend auf den Systemressourcen an.
    • Überwachen Sie die Speicherauslastung mit großen Tabellen.
    • Berücksichtigen Sie Tabellengrößen, wenn Sie gleichzeitige Prozesse festlegen.
  • Fehlermanagement
    • Überwachen Sie Anwendungsprotokolle.
    • Richten Sie eine entsprechende Warnung ein.
    • Pflegen Sie Backup-Konfigurationen.

Problembehebung

Häufige Probleme und Lösungen:

  • Verbindungsfehler
    • Überprüfen Sie die Netzwerkverbindung.
    • Überprüfen Sie die Gültigkeit der Anmeldeinformationen.
    • Bestätigen Sie die Berechtigungen für das Servicekonto.
  • Verarbeitungsfehler
    • Überprüfen Sie das Vorhandensein der Tabelle.
    • Überprüfen Sie die Zugriffsberechtigungen für die Tabelle.
    • Überprüfen Sie die Konfigurationseinstellungen.
  • Leistungsprobleme
    • Reduzieren Sie die Anzahl gleichzeitiger Threads.
    • Überwachen Sie die Systemressourcen.

Unterstützen

Für weitere Hilfe:

  • Überprüfen Sie die Anwendungsprotokolle auf Fehlerdetails.
  • Überprüfen Sie die Konfigurationseinstellungen.
  • Stellen Sie sicher, dass alle Voraussetzungen erfüllt sind.
  • Wenden Sie sich an Ihren Systemadministrator, wenn Sie Fragen zu Berechtigungen haben.