Slackからメールが届かない。。。(Gmail)

Slackで新規チーム作ろうとしたり、入ってるチーム忘れたときにメールが届かなくてこまった。。。
迷惑メールにもないし、何度送っても届かない。。。
さんざんググッた結果、Gmailは迷惑メールにすら入らず破棄されることもあるらしい。

対策

Googleの連絡先に以下のアドレスを追加する

  • no-reply@slack.com
  • feedback@slack.com

これで届くようになりました。

参考・関連リンク

digdagのローカルモードでSecrets使う

Digdagで「td_table_export」とかSecretsにAWSのAPIキー等を設定して使うOperatorをさくっと使いたい時に、いちいちサーバー起動したり、TDWorkflowに上げたりするのが面倒 とりあえず動けばいいよってときに、さくっとローカルモードで動かす方法。

  • 「~/.config/digdag/config」にSecretsを書く
1
vi ~/.config/digdag/config
1
2
secrets.aws.s3.access_key_id=XXXXXXXXXXXXXXXXXXXX
secrets.aws.s3.secret_access_key=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
  • digdagは↓
1
2
3
4
5
6
7
8
9
+task:
  td_table_export>:
  database: test
  table: web_logs
  file_format: tsv.gz
  from: ${moment(session_time).add(-1, 'days').format("YYYY-MM-DD")} 00:00:00 +0900
  to:   ${moment(session_time).format("YYYY-MM-DD")} 00:00:00 +0900
  s3_bucket: backup
  s3_path_prefix: web_logs/
  • あとは 「digdag run」で普通に動く

※ ちなみにtd_table_exportのエクスポート先のBucketは米国東部（バージニア北部）のus-east-1じゃないとエラー出る。

参考

HIVEで形態素解析するときに、不要と思われる文字列は除外していくクエリ

不要な文字は除いて意味のある文字列のみをある程度フィルタリングしたかった。

1
2
3
4
5
6
7
8
SELECT *, word
FROM {table}
LATERAL VIEW explode(tokenize_ja({text_column})) t AS word
WHERE 1=1
AND word not rlike '^[a-zA-Z0-9]{1}$' -- 除外 英語一文字
AND word not rlike "^[!-9@_]*$" -- 除外 数字記号のみ
AND word not rlike "^[〇一二三四五六七八九]*$" -- 漢数字のみ
AND word not rlike "^[\u3041-\u3096\u30A1-\u30FA]{1}$" -- ひらがなカタカナ1文字

わりかし個人用なので要件に応じて調整してください。
もっといいやつあったらください。

ちなみにtokenize_jaはHivemallの関数です。

参考

Github Pages （プロジェクトサイト）を独自ドメインで公開するメモ

概要

Github Pagesを使いほぼ無料で自分のサイトを公開します。
今回は独自ドメインで公開するのでドメイン代がかかりますが、独自ドメインを当てない場合は無料です。

Githubには「Github Pages」という、無料のサイトホスティング機能があります。
それを使いサイトを公開します。

この記事の前提条件です。事前準備をお願いします。

  • Githubアカウント作成済み
  • 当てたいドメイン購入済み
    • ドメイン、DNSの設定ができる
  • サイト作成の知識がある
  • Gitに関する知識がある
    • サイトの更新はGitで行います

今回作るもの

続きを読む

MacOS Sierraを開発用にセットアップするメモ

個人的にMacをセットアップする際のメモです。

クリーンインストール

初期設定

  • ファンクションキーを変更
  • capsキーをcommandキーにする
  • タッチパッドのクリックを変更
  • ぬるっとしたアニメーションを消す
  • （TODO カーソルスピードを上げる）

  • 隠しファイルを表示 https://pc-karuma.net/mac-finder-show-all-files/

    1
    2
    defaults write com.apple.finder AppleShowAllFiles TRUE
    killall Finder

  • .bashrcを読み込むようにする（基本的に.bashrcに色々書く） http://magonote.skr.jp/bashrc/

    1
    2
    3
    4
    5
    6
    vi ~/.bash_profile
        if [ -f ~/.bashrc ]; then
            . ~/.bashrc
        fi

    source ~/.bash_profile

  • コマンドにエイリアスを張る http://qiita.com/pugiemonn/items/da04a422cc7da548632e

    1
    2
    3
    4
    5
    vi ~/.bashrc
        alias la='ls -la'
        alias ll='ls -l'

    source ~/.bashrc

続きを読む