手を動かす Spark MLlib & Word2Vec Part 2 （Wikipedia 英語版から Word2Vec モデルを作るまで）

Spark MLlib Machine Learning

このシリーズについて Part 2 の範囲 Wikipedia 英語版のデータからコーパス作成最終的にやったことつまづいたことコーパスの、S3 へのアップロード最終的にやったことつまづいたこと spark-submit で使う jar の作成最終的にやったことつまづいたこ…

手を動かす Spark MLlib & Word2Vec Part 1 （spark-ec2 でクラスタを構築するまで）

Spark MLlib Machine Learning

このシリーズについて Part 1 の範囲 Spark をローカル環境（Mac）にインストールする最終的にやったことつまづいたことローカル環境での Word2Vec の実行最終的にやったことつまづいたこと Amazon EC2 への Spark クラスタの構築（spark-ec2 を使った…

Docker Spark Machine Learning

最近、Spark MLlib を勉強するための環境を作る機会があったので、せっかくなので Cloudera QuickStart Docker Image で環境構築してみました。その際に、普通に進めるとうまくいかないポイントがいくつかあったので、そのときの構築手順をまとめておきます。