自分でも公開/非公開含めて何個かプラグインを書いてみたのですが、今のところテストコードは一個も書いたことないです。 とはいえ、Embulkのバージョンが上がったりしても使えるように、できるだけテストコードは書いておきたいし、どうせ書くならそのコミ…
EmbulkのFilterプラグイン「embulk-filter-insert」を本日リリースしました。Filterプラグインと言いつつ、このプラグインを適用してもレコードは減らず、むしろカラムが増えます。Rubygemsで公開済みのため、インストールは以下のコマンド一発です。 $ embu…
イベントページ: Norikra meetup #2 : ATND 僕自身はNorikra使ったことないのですが、周囲には使っている人がいて評判も良いので、他の人のユースケースも聞いてみたい、あわよくば自分とこの業務にもねじ込みたい、と思い参加してきました。期待通り、ユー…
イベントページ: Fluentd Meetup 2015 夏 - 2015/06/01(月) - dots. Fluentd Meetupに参加してきました。6月上旬なのにタイトルは夏？と思わないでもないですが、まあすでに暑いですしね……。 イベント中にざっと講演内容をメモしてたので、せっかくですしブ…
Embulkにはfilterプラグインという仕組みがあり、これを自作することで、Embulkで入力およびパースした結果を色々と加工することができます。例えば、「すべてのログにホスト名を追加する」といった、ログの種類によらない共通処理を定義するのに向いた仕組…
2015年4月7日にリリースされたEmbulk 0.6.0から、Executorをプラグインで差し替え可能になりました。このニュースリリースの中に、 The built-in executor plugin is LocalExecutorPlugin that runs tasks using multiple threads. It has a shared thread p…
前回の準備編からの続きです。 基本的には、準備編で用意したコードに、Rubyでパース処理を書き足すだけで、簡単に独自のparserプラグインを作れました。ただ、その際にいくつか調べた点や、自分で工夫した点があったのでご紹介します。何かの参考になれば幸…
最近、仕事の関係で、1個のログが1行〜複数行からなる特殊なログを解析する必要があり、Rubyでパーサを書く機会がありました。 しかし、そういえばこのパース処理ってEmbulkを使えばより簡単に作れて、かつ機能追加（パース結果をデータベースに入れるとか）…
