メタデータを同期する（Dataplex Universal Catalog）

Dataplex Universal Catalog からMashuへメタデータを同期するための設定手順と、必要なGCPの権限について説明します

1. データソースの作成

Mashuに新しいデータソースを作成します。データソースのタイプ選択画面で、「Dataplex Universal Catalog」を選択してください。

2. Dataplex Universal Catalog への接続情報設定

データソース画面の「接続設定」タブで、 Dataplex Universal Catalog への接続情報を設定します。

• Service Account Key (JSON): GCPのサービスアカウントキー（JSON形式）をアップロードします。このキーは安全に管理してください。

• Locations（複数指定可）: メタデータを同期したいGCPのロケーション（例: asia-northeast1）を指定します。指定したロケーションのみが同期対象となります。

3. 接続設定の保存とシステム選択

Dataplex Universal Catalog への接続情報を入力後、「保存」ボタンをクリックします。GCPへの接続に成功すると、GCPプロジェクトで利用可能なソースシステム（BigQuery, CloudSQLなど）の一覧が表示されます。一覧からメタデータを同期したいシステムを選択してください。

同期したいメタデータが含まれるシステムを選択してください。

4.データソース設定（メタデータ同期オプション）

「データソース設定」タブでは、メタデータの同期に関する3つのオプション（マッピング、マージ、同期対象）を設定できます。

4.1. マッピング設定

Dataplex のエントリー・カラムの「説明」を、Mashuのどの項目（エイリアス／説明）に対応させるかを設定します。

• エントリーの説明のマッピング先:
  • エイリアス: エントリーの説明をMashuメタデータの「エイリアス」にマッピングします。
  • 説明: エントリーの説明をMashuメタデータの「説明」にマッピングします。
  • エイリアスと説明: 両方にマッピングします。
• カラムの説明のマッピング先:
  • エイリアス: カラムの説明をMashuカラムの「エイリアス」にマッピングします。
  • 説明: カラムの説明をMashuカラムの「説明」にマッピングします。
  • エイリアスと説明: 両方にマッピングします。
    

4.2. メタデータマージ設定

2回目以降の同期時に、Dataplex の「エントリーの説明」と「カラムの説明」でMashu上の「エイリアス」と「説明」を上書きする際のルールを設定します。

• メタデータのエイリアスを上書きする: ONにすると、「エントリーの説明」でMashu メタデータのエイリアスを上書きします。
• メタデータの説明を上書きする: ONにすると、「エントリーの説明」でMashu メタデータの説明を上書きします。
• カラムのエイリアスを上書きする: ONにすると、「カラムの説明」でMashu カラムのエイリアスを上書きします。
• カラムの説明を上書きする: ONにすると、「カラムの説明」でMashuカラムの説明を上書きします。

4.3 同期対象設定

Dataplex から同期するエントリーの種類を選択します。チェックを外した種類のエントリーは同期されません。データソース画面の「データソース設定」タブで、同期するメタデータの種類を絞り込むための「タイプエイリアス」を指定します。

5. 必要な GCP 権限

手順2で使用するサービスアカウントには、MashuがDataplexからメタデータを読み取るためのIAM権限が必要です。GCPコンソールで、以下の権限をサービスアカウントに付与してください。

5.1 Dataplex Universal Catalog に対する権限

• dataplex.aspectTypes.get
• dataplex.entries.get
• dataplex.entryGroups.get
• dataplex.entryTypes.get
• dataplex.projects.search
• dataplex.entryTypes.list
• dataplex.aspectTypes.list

5.2 別プロジェクトのリソースに対する権限付与

サービスアカウントが、自身が所属するプロジェクトとは別のプロジェクトに存在するDataplexリソース（アスペクトタイプやエントリータイプ）を参照する場合、そのリソースが存在するプロジェクト側で、サービスアカウントに対して適切な権限を付与する必要があります。対象リソースの定義を読み取るために、以下の権限が必要です。

• dataplex.aspectTypes.get
• dataplex.entryTypes.get

5.3 ソースシステムに対する権限

Dataplexがメタデータを収集している元のサービス（ソースシステム）に対しても、メタデータを読み取る権限が必要です。以下に代表的なシステムに対して必要な権限を示します。

BigQuery

• bigquery.tables.get: テーブル・ビュー・マテリアライズドビューなどの同期に必要な権限
• bigquery.models.getMetadata: モデルの同期に必要な権限
• bigquery.routines.get: ルーチンの同期に必要な権限
• bigquery.datasets.get: データセットの同期に必要な権限

CloudSQL

• cloudsql.schemas.view