無印吉澤

Site Reliability Engineering(SRE)、ソフトウェア開発、クラウドコンピューティングなどについて、吉澤が調べたり試したことを書いていくブログです。

Embulk

タニタの Health Planet から新しいデータだけエクスポートして Google Spreadsheet にポコポコ足していく方法

これまでのあらすじ 今回の内容 この記事を書いた時点のバージョン 事前準備 Health Planet API の準備 Google Drive API の準備 Drive API の有効化 Drive API に接続するための認証情報の作成 Google Spreadsheet ファイルの作成 Google Spreadsheet ファ…

Health Planet からデータをエクスポートするための embulk-input-healthplanet プラグイン

きっかけ:エクスポート機能がほしい 注意事項 使用手順 1. Health Planet のアカウント作成 2. Client ID および Client Secret の取得 3. Embulk のインストール 4. embulk-input-healthplanet のインストール 5. Embulk の設定ファイルの作成 6. 実行 ソ…

2015年12月に発表したスライド2件(Embulk 関連、Otto 関連)

年末は、この忙しい時に Ingress やりに沖縄行って美味しいもの食べてたせいでプレゼンの準備でバタバタしてました。 いずれのプレゼンもこのブログに書いたメモを発展させた内容なので、このブログしか見てない方向けにスライドを紹介しておきます。 あえて…

embulk-filter-insert 1.1.0リリース(Liquidで環境変数を挿入できるようになりました)

Embulkが0.6系から0.7系にメジャーバージョンアップされて、色々と機能が増えたのに加えて、APIにも変更が加わったようです。 リリースノート Release 0.7.0 — Embulk 0.7 documentation Release 0.7.1 — Embulk 0.7 documentation プラグインを開発している…

テストコードのついているEmbulkプラグイン一覧(2015年6月版)

自分でも公開/非公開含めて何個かプラグインを書いてみたのですが、今のところテストコードは一個も書いたことないです。 とはいえ、Embulkのバージョンが上がったりしても使えるように、できるだけテストコードは書いておきたいし、どうせ書くならそのコミ…

カラムを好きな場所に挿し込みたい人のためのembulk-filter-insertプラグイン

EmbulkのFilterプラグイン「embulk-filter-insert」を本日リリースしました。Filterプラグインと言いつつ、このプラグインを適用してもレコードは減らず、むしろカラムが増えます。Rubygemsで公開済みのため、インストールは以下のコマンド一発です。 $ embu…

EmbulkのfilterプラグインをRubyで開発する話

Embulkにはfilterプラグインという仕組みがあり、これを自作することで、Embulkで入力およびパースした結果を色々と加工することができます。例えば、「すべてのログにホスト名を追加する」といった、ログの種類によらない共通処理を定義するのに向いた仕組…

EmbulkのLocalThreadExecutorプラグインに最大スレッド数を指定する方法

2015年4月7日にリリースされたEmbulk 0.6.0から、Executorをプラグインで差し替え可能になりました。このニュースリリースの中に、 The built-in executor plugin is LocalExecutorPlugin that runs tasks using multiple threads. It has a shared thread p…

複数行からなるログを解析するために、EmbulkのparserプラグインをRubyで開発する話(実践編)

前回の準備編からの続きです。 基本的には、準備編で用意したコードに、Rubyでパース処理を書き足すだけで、簡単に独自のparserプラグインを作れました。ただ、その際にいくつか調べた点や、自分で工夫した点があったのでご紹介します。何かの参考になれば幸…

複数行からなるログを解析するために、EmbulkのparserプラグインをRubyで開発する話(準備編)

最近、仕事の関係で、1個のログが1行〜複数行からなる特殊なログを解析する必要があり、Rubyでパーサを書く機会がありました。 しかし、そういえばこのパース処理ってEmbulkを使えばより簡単に作れて、かつ機能追加(パース結果をデータベースに入れるとか)…