Herstellen einer Verbindung mit BigQuery

Ziel

Das Analytics Cloud Connect Access-Tool ist ein Notebook , mit dem Sie Datenübertragungen von Procore zu BigQuery mit Analytics 2.0 konfigurieren und verwalten können.

Voraussetzungen

Analytics 2.0 SKU
Zugriff auf die Google Cloud Platform (GCP)
Erforderliche Berechtigungen für Delta Share und BigQuery
Laden Sie das ZIP-Paket aus dem Unternehmensebene Analytics-Tool herunter (über Analytics > Erste Schritte > Verbindungsoptionen > BigQuery).

Konfiguration einrichten

Konfiguration der Delta-Freigabe

Erstellen Sie eine Datei mit dem Namen config.share mit Ihren Delta Share-Anmeldedaten im JSON-Format.
Abrufen von Pflichtfeldern.
Hinweis: Diese Details können über die Analytics-Webanwendung abgerufen werden.
- bearerToken: Ihr Delta Share-Zugriffstoken.
- Endpunkt: Ihre Delta Share-Endpunkt-URL.
- shareCredentialsVersion: Versionsnummer (derzeit 1).

Beispiel für eine config.share-Datei

{
"shareCredentialsVersion": 1,
"bearerToken": "",
"Endpunkt": ""
}

BIGQUERY-KONFIGURATION

Laden Sie die bigquery.zip Datei aus der Analytics-Webanwendung herunter.
Hinweis: Sie können das gezippte Paket aus dem Unternehmensebene Analytics-Tool herunterladen (über Analytics > Erste Schritte > Verbindungsoptionen > BigQuery).
Extrahieren Sie das Paket in ein Verzeichnis Ihrer Wahl.
Öffnen Sie die Datei config.yaml, und ändern Sie die folgenden Parameter:
- source_config.config_path: Pfad zur Delta Share-Konfigurationsdatei.
- source_config.Tabellen: Optionale Liste spezifischer Tabellen, die verarbeitet werden sollen. Lassen Sie es leer, um alle Tabellen zu verarbeiten.
- target_config.project_id: GCP-Projekt-ID für BigQuery.
- target_config.dataset: Name des BigQuery-Datasets.
- target_config.threads: Anzahl der gleichzeitigen Tabellenprozesse.

Beispiel für eine config.yaml-Datei

source_config:
config_path: "<path_to_delta_share_config>"
tables: # Optional - Liste der zu verarbeitenden Tabellen
- "Tabelle1"
- "Tabelle2"

target_config:
project_id: "<your-gcp-project-id>"
Datensatz: "<bigquery-dataset-name>"
target_type: bigquery

Konfigurationsdatei hochladen

Laden Sie die Datei config.yaml und die Datei config.share in den gs-Bucket hoch.
1. Google Cloud-Speicher (GCS)
  - Verwenden Sie das Format: gs://bucket-name/path/to/config.yaml.

BigQuery-Anwendung ausführen

Erstellen Sie ein Python-Notebook, und installieren Sie die folgenden Pakete:
- %pip Delta-Sharing installieren
- pip install pandas-gbq -U
Kopieren Sie den Code von delta_share_to_bq.py, fügen Sie ihn in Ihr Notebook ein, aktualisieren Sie den Konfigurationspfad (config.yaml), und führen Sie es aus.

Überwachung und Protokollierung

Die Anwendung bietet eine detaillierte Protokollierung mit:

Bearbeitungsstatus für jede Tabelle.
Fehlermeldungen und Ausnahmen.
Gleichzeitige Verarbeitung von Informationen.

Best Practices

Performance-Optimierung
- Passen Sie die Anzahl der Threads basierend auf den Systemressourcen an.
- Überwachen Sie die Speicherauslastung mit großen Tabellen.
- Berücksichtigen Sie Tabellengrößen, wenn Sie gleichzeitige Prozesse festlegen.
Fehlermanagement
- Überwachen Sie Anwendungsprotokolle.
- Richten Sie eine entsprechende Warnung ein.
- Pflegen Sie Backup-Konfigurationen.

Problembehebung

Häufige Probleme und Lösungen:

Verbindungsfehler
- Überprüfen Sie die Netzwerkverbindung.
- Überprüfen Sie die Gültigkeit der Anmeldeinformationen.
- Bestätigen Sie die Berechtigungen für das Servicekonto.
Verarbeitungsfehler
- Überprüfen Sie das Vorhandensein der Tabelle.
- Überprüfen Sie die Zugriffsberechtigungen für die Tabelle.
- Überprüfen Sie die Konfigurationseinstellungen.
Leistungsprobleme
- Reduzieren Sie die Anzahl gleichzeitiger Threads.
- Überwachen Sie die Systemressourcen.

Unterstützen

Für weitere Hilfe:

Überprüfen Sie die Anwendungsprotokolle auf Fehlerdetails.
Überprüfen Sie die Konfigurationseinstellungen.
Stellen Sie sicher, dass alle Voraussetzungen erfüllt sind.
Wenden Sie sich an Ihren Systemadministrator, wenn Sie Fragen zu Berechtigungen haben.