分散データ処理技術

現代はデータの時代と言われています。業種を問わず、多くの企業で大量のデータ（Big Data）を処理することが、業務の遂行や意思決定にとって重要となっています。

インターネットサービスプロバイダであるIIJでは、自社が提供するネットワークやサービスの状態を正しく把握し、運用や設計を最適な状態に維持するために、様々な計測やロギングを行っています。そうして得られる膨大な量の情報を活用するためには、大量のデータを保持し、高速に検索・集計できるシステムが不可欠です。
ここでは、そのようなBig Dataを扱うためのIIJの取り組みについてご紹介します。

「ddd」とは

dddは、大量のデータを処理するためにIIJが独自に開発した分散データ処理システムで、広い意味のデータベースの一種です。最近はやりの NoSQL に属するものと考えることもできます。

dddの特徴は以下の通りです。

• 多数のコンピュータノードを協調動作させる分散システム構成
• ノードを増やせば増やすほど、容量が増え、性能が上がる高いスケーラビリティ
• 一部のノードが故障しても、システム全体としては動作し続ける高可用性
• MapReduceによる高速な並列データ処理

dddは、大きく分けると、データを格納する分散ストレージと、その格納されたデータを高速に抽出・集計するMapReduce機能の二つにわけることができます。

トラフィック解析への応用

前述の通り、IIJではさまざまな計測やロギングを行っていますが、その中でも特にデータの量が多いのが、バックボーンネットワークのトラフィックを計測するためにルータが出力するフロー統計情報です。フロー統計情報では、パケットのヘッダ情報相当をサンプリングしたものが得られますが、機器台数が多くトラフィックも膨大であるため、データ量も膨大なものとなります。

トラヒック解析時には、データを解析しようとするユーザの注目するポイントに応じて、AS番号、プロトコル番号、ポート番号など多岐にわたるパラメータを自由に組み合わせて指定できる必要があります。そのため、IIJでは、フロー統計情報を事前に集約や集計すること無く、そのままの形ですべてdddに保存しています。

一方で、ユーザのオンデマンドによるデータの抽出や集計が実用に耐える程度の性能が要求されます。ユーザは解析時にパラメータの組合わせを試行錯誤することもありますし、特に早急な対応が必要な攻撃や輻輳の発生時には、解析時間を短縮することが素早い対応につながります。

IIJでは、dddのMapReduce機能を使い、複数のノードで並列にデータを検索したり集計することにより、高速にデータ分析ができるようにしています。こうして、いち早くネットワーク状態を把握し、運用や設計に反映することができるようになりました。

今後

dddは、もともとIIJ社内の専門知識を持った人間がデータを分析するためのシステムでしたが、現在は分散システムの高速なデータ処理能力を生かして、一部のレポート系サービスのバックエンドにも使われています。今後はサービスのバックエンドとしての活用を拡大していくほか、機械学習による異常の検出や障害の予測等の応用を考えていく予定です。