GCP BigQueryからMashuにメタデータを取り込む方法を説明します。
GCP BigQueryに対するメタデータソースを作成するためには、タイプにGCP Catalogを選択してメタデータソースを作成します。
GCPのData Catalogとの連携には、GCPの認証情報が必要です。Mashuでは、GCPのサービスアカウントのキーを使用しています。この認証には、サービスアカウントのキーの内容が必要となります。サービスアカウントのキーのタイプをJSONにしてキーを作成してください。作成したキーを接続設定タブのService Account Keyテキストエリアに貼り付けてください。
接続設定を作成したのちにメタデータタブのメタデータ同期ボタンを押下するとサービスアカウントの属するプロジェクト内のBigQueryのメタデータを取り込むことができます。
BigQueryのメタデータを取り込むためにはサービスアカウントに以下の権限を付与する必要があります。
- datacatalog.catalogs.searchAll（必須）
- bigquery.tables.get（任意・BigQueryのテーブル/ビュー/マテリアライズドビューを取得したい場合のみ権限を付与する）
- bigquery.models.getMetadata（任意・BigQueryのモデルを取得したい場合のみ権限を付与する）
- bigquery.routines.get（任意・BigQueryのルーティンを取得したい場合のみ権限を付与する）
- bigquery.datasets.get（任意・BigQueryのデータセットを取得したい場合のみ権限を付与する）
MashuがBigQueryからメタデータを取り込む場合は、GCP DataCatalogからメタデータを取り込みます。そのためGCP DataCatalogにBigQuery以外のメタデータが存在する場合は、サービスアカウントに付与した権限次第で、BigQuery以外のサービスのメタデータを取得してしまいます。BigQuery以外のメタデータを取得したくない場合は上記5つ以外の権限を付与していないサービスアカウントを接続設定に設定してください。