メタデータ同期(AWS Glue キーペア認証/非推奨)

AWS Glueからキーペア認証を使用してMashuにメタデータを取込む方法を説明します。

キーペア認証によるAWS Glue接続は非推奨です。
新しくデータソースを作成すると、自動的にクロスアカウントロールを使用した接続になります。過去に作成されたデータソースはキーペア認証を使用しているため、必要に応じて作り直してください。

AWS Glueに対するメタデータソースを作成するためには、メタデータソースを作成する際にタイプとして AWSGlueを選択する必要があります。

AWS Glue との連携には、AWSの認証情報が必要です。Mashuでは、StaticCredentialsProvider API を使用しています。この認証には、AccessKeyID と SecretAccessKey と Region、オプションの Tokenが必要となります。

データソース-AWS


これらの値を用意する方法は、複数あるかと思いますので、AWSの管理者の方とご相談ください。ここでは、専用のIAMユーザーを作成する方法を説明します。この方法の場合、Tokenは不要です。

  1. AWS Glue のオーナーのAWSアカウントに専用のIAMユーザーを作成します。
  2. 1.で作成したIAMユーザー専用のIAMグループを作成します。
  3. 2.で作成したIAMグループにGlueへの最低限のポリシーを付与します。
    1. Actionは、"glue:GetTables" と "glue:GetDatabases" の2つです。
    2. リソースは、catalog、table、database が対象となります。Mashuはメタデータのみを取得しますので安全ですが、必要があれば、リージョンや名称で限定ください。
  4. 1.で作成したIAMユーザーのセキュリティ認証情報のアクセスキーを作成して、ダウンロードした値をMashuに設定します。