MongoDB 2.2 Aggregation Framework

MognoDB 2.2 Aggregation Frameworkの新機能

NoSQL

NoSQLの登場により「ハイパフォーマンス」や「スケーラビリティ」を手に入れた一方で、失った物がいくつかあります。そのうちの1つが「データの操作性」です。特に「データの集計」について、多くの開発者は、MapReduceを利用することでしのいでいると思います。

MongoDBでMapReduceを行う場合は、JavaScriptでコードを書くことになります。これにより、JavaScript故のパフォーマンス問題に直面することが容易に想像されます。

Aggregation Framework

MongoDB 2.2で登場した新機能が、これまでMapReduceで補完していたデータの操作性を向上させられるAggregation Frameworkです。この新機能の登場でJavaScriptは不要となり、MongoDBに対するコマンドの一部として実行できるようになりました。中でも、SQLでGROUP BY句に相当する$groupについては、非常に分かりやすいのでこれを取り上げてみます。

IIJの様々なサービスの中で我々が日々直面しているタスクの1つである「膨大なログデータの集計」が、Aggregation Frameworkを使うことで、どのようなことが可能になるかをご覧ください。対象となるログデータはapache combined形式で、複数のサーバからfluentdなどを使うことで常にMongoDBに更新され続けているという状況を想定し、以下の結果を得ることを目的とします。

Aggregation Frameworkが追加される前であれば、MapReduceを用いた処理を1時間おきに呼び出し、最後に日次集計を実行という処理をされていたと思います。しかし、2.2以降であれば、コマンド1つで集計が可能になりました。今回は、$matchと$groupを組み合わせましたが、これに限らず非常に強力なオペレータが用意されていますので、是非ともお試しください。

なお、誤解を与えないように補足をしますが、Aggregation Frameworkが登場したことでMapReduceがもはや不要となったという短絡的な結論ではありません。「様々な条件、状況によって取り得る最適な手段の1つとして、Aggregation Frameworkという選択肢が増えた」と私たちは捉えています。

MongoDB 2.2の課題、他の新機能

課題

Aggregation Frameworkにも課題はあります。現在の2.2.0では、explain()が取得できません。これはMongoDB開発元の10genでも早急に対処すべく、2.3系で実装する予定だということです。となると、安定版へのマージは2.4が最短となるでしょう。

新機能

2.2における新機能は、他にもあります。

• Global Lock（db lock）の排除
  • 複数のDBを収容しているためにWrite要求が高いシステムにおけるパフォーマンスの改善が期待されます。
• TTL collection
  • 別のKey-Value Store（KVS）エンジンであるRedisでも馴染みのある機能が、MongoDBにも実装されました。ただし、MongoDBではCollectionに対してTTLが有効になるため、他のドキュメントとの共存を避けるなどの工夫が必要かもしれません。

今後の展望

最後に、非公開の情報ではありますが、2.4ではMongoDBを使う大多数の技術者が期待しているShardingの新機能も実装することになっているようです。引き続きMongoDBの動向に目が離せないでしょう。