無印吉澤

ソフトウェア開発、運用管理(俗にいう DevOps)、クラウドコンピューティングなどについて、吉澤が調べたり試したことを書いていくブログです。

Fluentd Meetup 2015 夏の参加レポート

イベントページ: Fluentd Meetup 2015 夏 - 2015/06/01(月) - dots. Fluentd Meetupに参加してきました。6月上旬なのにタイトルは夏?と思わないでもないですが、まあすでに暑いですしね……。 イベント中にざっと講演内容をメモしてたので、せっかくですしブ…

EmbulkのfilterプラグインをRubyで開発する話

Embulkにはfilterプラグインという仕組みがあり、これを自作することで、Embulkで入力およびパースした結果を色々と加工することができます。例えば、「すべてのログにホスト名を追加する」といった、ログの種類によらない共通処理を定義するのに向いた仕組…

EmbulkのLocalThreadExecutorプラグインに最大スレッド数を指定する方法

2015年4月7日にリリースされたEmbulk 0.6.0から、Executorをプラグインで差し替え可能になりました。このニュースリリースの中に、 The built-in executor plugin is LocalExecutorPlugin that runs tasks using multiple threads. It has a shared thread p…

複数行からなるログを解析するために、EmbulkのparserプラグインをRubyで開発する話(実践編)

前回の準備編からの続きです。 基本的には、準備編で用意したコードに、Rubyでパース処理を書き足すだけで、簡単に独自のparserプラグインを作れました。ただ、その際にいくつか調べた点や、自分で工夫した点があったのでご紹介します。何かの参考になれば幸…

複数行からなるログを解析するために、EmbulkのparserプラグインをRubyで開発する話(準備編)

最近、仕事の関係で、1個のログが1行〜複数行からなる特殊なログを解析する必要があり、Rubyでパーサを書く機会がありました。 しかし、そういえばこのパース処理ってEmbulkを使えばより簡単に作れて、かつ機能追加(パース結果をデータベースに入れるとか)…