digdagのローカルモードでSecrets使う

Digdagで「td_table_export」とかSecretsにAWSのAPIキー等を設定して使うOperatorをさくっと使いたい時に、いちいちサーバー起動したり、TDWorkflowに上げたりするのが面倒 とりあえず動けばいいよってときに、さくっとローカルモードで動かす方法。

  • 「~/.config/digdag/config」にSecretsを書く
1
vi ~/.config/digdag/config
1
2
secrets.aws.s3.access_key_id=XXXXXXXXXXXXXXXXXXXX
secrets.aws.s3.secret_access_key=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
  • digdagは↓
1
2
3
4
5
6
7
8
9
+task:
td_table_export>:
database: test
table: web_logs
file_format: tsv.gz
from: ${moment(session_time).add(-1, 'days').format("YYYY-MM-DD")} 00:00:00 +0900
to: ${moment(session_time).format("YYYY-MM-DD")} 00:00:00 +0900
s3_bucket: backup
s3_path_prefix: web_logs/
  • あとは 「digdag run」で普通に動く

※ ちなみにtd_table_exportのエクスポート先のBucketは米国東部(バージニア北部)のus-east-1じゃないとエラー出る。

参考