Embulk
これまでのあらすじ 今回の内容 この記事を書いた時点のバージョン 事前準備 Health Planet API の準備 Google Drive API の準備 Drive API の有効化 Drive API に接続するための認証情報の作成 Google Spreadsheet ファイルの作成 Google Spreadsheet ファ…
きっかけ：エクスポート機能がほしい 注意事項 使用手順 1. Health Planet のアカウント作成 2. Client ID および Client Secret の取得 3. Embulk のインストール 4. embulk-input-healthplanet のインストール 5. Embulk の設定ファイルの作成 6. 実行 ソ…
年末は、この忙しい時に Ingress やりに沖縄行って美味しいもの食べてたせいでプレゼンの準備でバタバタしてました。 いずれのプレゼンもこのブログに書いたメモを発展させた内容なので、このブログしか見てない方向けにスライドを紹介しておきます。 あえて…
Embulkが0.6系から0.7系にメジャーバージョンアップされて、色々と機能が増えたのに加えて、APIにも変更が加わったようです。 リリースノート Release 0.7.0 — Embulk 0.7 documentation Release 0.7.1 — Embulk 0.7 documentation プラグインを開発している…
自分でも公開/非公開含めて何個かプラグインを書いてみたのですが、今のところテストコードは一個も書いたことないです。 とはいえ、Embulkのバージョンが上がったりしても使えるように、できるだけテストコードは書いておきたいし、どうせ書くならそのコミ…
EmbulkのFilterプラグイン「embulk-filter-insert」を本日リリースしました。Filterプラグインと言いつつ、このプラグインを適用してもレコードは減らず、むしろカラムが増えます。Rubygemsで公開済みのため、インストールは以下のコマンド一発です。 $ embu…
Embulkにはfilterプラグインという仕組みがあり、これを自作することで、Embulkで入力およびパースした結果を色々と加工することができます。例えば、「すべてのログにホスト名を追加する」といった、ログの種類によらない共通処理を定義するのに向いた仕組…
2015年4月7日にリリースされたEmbulk 0.6.0から、Executorをプラグインで差し替え可能になりました。このニュースリリースの中に、 The built-in executor plugin is LocalExecutorPlugin that runs tasks using multiple threads. It has a shared thread p…
前回の準備編からの続きです。 基本的には、準備編で用意したコードに、Rubyでパース処理を書き足すだけで、簡単に独自のparserプラグインを作れました。ただ、その際にいくつか調べた点や、自分で工夫した点があったのでご紹介します。何かの参考になれば幸…
最近、仕事の関係で、1個のログが1行〜複数行からなる特殊なログを解析する必要があり、Rubyでパーサを書く機会がありました。 しかし、そういえばこのパース処理ってEmbulkを使えばより簡単に作れて、かつ機能追加（パース結果をデータベースに入れるとか）…
