Internet Infrastructure Review（IIR）Vol.53
2021年12月24日

2. フォーカス・リサーチ（1）

マルチテナント環境におけるオーバーレイネットワークの運用現場
～ IIJ GIOインフラストラクチャーP2 Gen.2におけるチャレンジ

2.1 IIJの新世代IaaS「P2 Gen.2」とは

IIJは、IIJ GIOブランドの元で開発・提供してきたパブリック型IaaSとプライベート型IaaSを完全統合し、それぞれの特徴を活かした新しいIaaSを「IIJ GIOインフラストラクチャーP2Gen.2」（以下、P2 Gen.2）として2021年10月1日にリリースしました。P2 Gen.2はVMware vSphereベースのプライベートクラウドの特徴を活かしながら、パブリッククラウドのメリットを最大限享受いただけるようにデザインした新世代のIaaSです。

P2 Gen.2はお客様に継続してご利用いただけるよう、次世代を見越したアーキテクチャを採用しています。本稿ではネットワークにフォーカスしP2 Gen.2サービス開発・運用現場の理想と現実を紹介します。

我々は「10年後も継続してご利用いただけるサービス基盤」を目指しP2 Gen.2を開発・運用しています。変化の激しい昨今の状況で10年後を予測することはできません。だた、サービスとしてはお客様が望む限りはずっと使い続けていただけるものであるべし、という思いがここに込められています。DX（Digital transformation）のかけ声の下、クラウドを前提にしたシステム新規開発が増えています。ですが、DXを下支えするために既存のシステムを維持・改修することもエンタープライズITの現場では重要なミッションです。P2 Gen.2はそのような課題にお応えするため、維持し続けられる、オンプレミスやプライベートクラウドだけでなく、パブリッククラウドからも移行しやすいクラウド化の第三の選択肢として開発しました。

P2 Gen.2はフレキシブルサーバリソースという形でお客様にリソースをお使いいただくIaaSです。リソースプールは仮想化され、お客様はリソースプール内のシステム運用にフォーカスいただき、その下のレイヤーの機能はすべてIIJが運用します。VMのインスタンス単位で利用するIaaSでは、VMのサイズはクラウドサービス事業者が指定したインスタンスモデルに合わせていく形となりますが、このサービスでは契約したリソースプールの中で自由にVMを作成できます。つまり、お客様の環境で動いていたマシンスペックをそのまま移行することができます。もちろん、この形式であればイメージを持ち込んだり、V2V、P2Vを実施することでそのまま既存の環境のVMを移行することも可能です。

VMを展開するためのイメージ提供の仕組みや、バックアップ、ネットワーク、移行の機能、ファイル格納領域としてのファイルサーバなども提供される上、ハイパーバイザや、サーバ、ストレージ、ネットワークなどのハードウェアは抽象化されお客様に見える形ですので、意識する必要はありません。これにより、従来のIIJ GIOで提供していたvSphereベースのサービスである仮想化プラットフォームVWシリーズの大きな課題となっていた、ESXiをお客様にそのままお渡しすることによるハイパーバイザやハードウェア更改時の負担をなくすことができます。

2.2 SDN技術を活用したオーバーレイネットワーク

2.3 VMware NSX-Tによるオーバーレイネットワークのメリット

オーバーレイネットワークによるネットワーク仮想化は、サーバ仮想化技術と共にP2 Gen.2のインフラストラクチャーを支えるコアテクノロジーの1つとなっています。ハードウェア層で構成するアンダーレイのネットワークと分割した形でサービスのネットワークを構成することができます。P2 Gen.2のIaaS層はNSX-Tによるネットワーク仮想化を行うことで、物理層と疎結合なフレキシブルなネットワーク構成となります。また、ミニマムスタートからハイパースケール、という形で拡張を考える構成を取る場合、物理ネットワーク機器のスペックは拡張を見込んで設計・サイジングをするなど複雑なネットワークとなりがちなのですが、拡張をオーバーレイで制御できることで運用面の大きなメリットが得られます。

複数のデータセンターで構成されるマルチサイトであることもIaaSとして求められる要件です。物理的に離れた複数のサイトでインフラストラクチャーを構成することで災害対策を実現させたり、大規模なファシリティを確保せずにコンピューティングリソースを確保することができます。これによりサイト間のネットワークを仮想化し、オーバーレイネットワークとすることでロケーションに依存しない形でネットワークが構成できます。物理的に離れた環境下では、ネットワークの遅延や、拠点間の回線帯域など、サイト内に閉じた構成より考慮すべき点が多くなり設計・運用の難易度は上がりますが、適切なリソース監視・モニタリングを行いそのデータを元に制御することで、フレキシブルなネットワークが構成できます。

このようなメリットがありますが、ネットワークの仮想化はまだまだ一般的でないのも現状です。従来の静的に設定されることを前提としたネットワークでは、ネットワーク仮想化の恩恵を受けずにシステムを維持・運用し続けることはできていました。ただ、昨今、変化が激しく、かつ読めない要件に柔軟、迅速に対応することがITインフラ全体に求められています。そのような環境下ではネットワーク仮想化の重要性は増していくと考えられます。

複数のお客様を収容するためのマルチテナントであることがIaaSに求められる要件です。テナント間を分割し機能を提供、セキュリティを確保しつつ定められたサービスレベルを維持するためにもソフトウェアで集中制御、自動化を行う必要があリます。ネットワーク仮想化を行うことでIaaSを構成する他のコンポーネントやモニタリングシステムを連携させやすくなり、各々のテナントが各々のシステム要件に合わせて運用されるマルチテナント環境を適切に制御することができます。NSX-TはVRF（Virtual Routing and Forwarding）の機能も実装されており、VRFを活用することで設備効率性を高めることが可能です。マルチテナントの環境下ではテナント間でルーティングドメインを分割させる必要があり、リソースの制約となっていました。VRFを活用することで集約率を向上させることができます。

また、制御するインタフェースはNSX-Tの管理コンポーネントであるNSX Managerに統一、集中制御されるのでAPIベースのオペレーション・自動化が行いやすくなります。これによりサービスのバックエンドアプリケーション間の連携に関わる開発工数削減にもつながります。

オーバレイネットワークをIaaSとして構成する際にはネットワークの出口が必要です。NSX-TもNSX-Tのドメイン（制御下）外とNSX-Tのカプセル化プロトコルであるGeneveで通信を行うことはできず、NSX Edgeと呼ばれるコンポーネントでVLANに変換し外部と通信する必要があります。従来のIIJ GIOでは外部との接続が完全に自動化できておらず、移行時に利用者で完結する形でのネットワーク構成変更が行えないことが大きな課題となっていました。P2 Gen.2ではIIJプライベートバックボーンサービスとの接続においては経路設定が自動化され、改善することができました。外部と接続するネットワークにおいてもSDN技術を活用することで良い形にすることができますが、現状では従来の制約に大きく縛られる形で構成しなければなりません。NSX-Tは仮想化を行わずにサーバに直接インストールするベアメタル構成でNSX Edgeも構成でき、性能面では申し分ありませんがマルチテナント構成を考慮するとまだ不十分です。また、特に外部接続部分ではソフトウェアのアップグレード時に一定のダウンタイムを伴うなど、多くの課題があります。このように、あるべき姿を目指して更に改善が必要な箇所はまだ残されている状況ですが、これらの解決に向け日々、努力を続けています。

2.4 運用の課題とその解決方法

NSX-Tを採用したSDNによるオーバーレイネットワークはNSX-Tが持つNFV（Network Function Virtualization）と共に、2021年10月1日のリリースに先立ち、2020年よりデータセンター内の一部機能に小規模に適用するフェーズから運用を開始しました。その中でも数々の課題が明らかになっており、日々、改善を続けながら運用を行っています。その現場での気づきや解決方法を紹介します。

SDNによるオーバーレイネットワークを実現するためには物理層（アンダーレイ）とIaaS層（オーバーレイ、論理層）の二面構成とするため従来のネットワークより複雑な構成となります。また、NSX-TはvSphereの運用に精通することで機能を最大限活用できるアーキテクチャとなっているため、技術者にはネットワークだけでなく、サーバ、ハイパーバイザ、仮想化の技術も求められます。従来のネットワークエンジニア、サーバエンジニアといった役割のような特定領域に特化した技術でなく、インフラストラクチャーを構成するための技術スタック全般に習熟する必要があります。小規模なチームで運用を開始しましたが、VMwareのテクノロジーに精通したメンバーと、大規模なサービス基盤運用経験を持ったメンバーでチームを編成し、チームとして継続した開発・運用できる体制を構築しました。得意領域が異なる技術者がチームとして自律的、かつ協力しながら活動するためには、DevOpsの思想の元にサービス・プロダクトをあるべき姿に、より良い形となるよう努力し続けることが最も重要です。

P2 Gen.2ではあるべき姿を実現させるため基盤制御を一から再検討し、運用効率化、自動化に最大限取り組みました。DevOpsの思想でGitベースのCI/CDパイプラインを構築し、技術者は環境を直接操作せずにインフラの運用・構成変更を実施するポリシーとし、VMだけでなく、IaaSを構成する要素の大半を制御しています（図-3）。

拡大する

図-3 IaaSの構成コンポーネントをGitで管理

サーバ仮想化のデファクトスタンダードであるVMware製品群を制御するナレッジやソフトウェアは世の中に多くありますが、SDDC（Software Defined Datacenter）としてマルチテナントのインフラストラクチャー全体を制御するには不十分であり、一部のツール、ライブラリはスクラッチで開発し運用を行っています。

この取り組みにより単なる運用、オペレーションを実施するだけでなくSRE（Site Reliability Engineering）として基盤を実装する下地作りを行いました。

このようにインフラ運用でアジャイルの価値観、メソッドを意識することで固定化されがちなインフラ運用を俊敏かつ柔軟に実施することができますが、アジャイルと相反するファシリティ運用との関わりは強く意識する必要があります。物理機器の調達には一定の納期を伴いますし、データセンターに物理機器をセットアップすることを完全にソフトウェア制御することは不可能です。何らかの人手を伴うことでファシリティが構成されるため、そのリードタイムがボトルネックとならないようにすることが重要です。リソースの在庫を潤沢に確保すればその課題は解消できますが、一方でリソース全体の稼働率が低下し非効率となってしまいます。また、クラウドサービスにおいて在庫切れは許容されません。そこでリソースマネジメントとモニタリング、需要予測が必要不可欠となります。モニタリングと需要予測はオーバーレイだけで行うのでなく、アンダーレイのサーバ、ネットワーク機器、ストレージなど様々なデータソースを集約し可視化できるようにする必要があります。2021年10月1日のリリース以降、実際の利用状況をデータとして蓄積し分析することで、需要予測からジャストインタイムで在庫の投入ができるように活動を行っています。

2.5 今後の展望

P2 Gen.2はまだ最低限の機能であり、今後もお客様のニーズに合わせた形で進化させていくことを考えています。クラウド環境を前提としたITシステムの活用、つまり、クラウドネイティブな考え方でコンピューティングリソースを活用することが一般化され、より俊敏なデジタル基盤が求められています。まずはお客様に使い続けていただくための機能を揃えていくのを最優先としていますが、その先のニーズにもお応えできるようにしていきます。

クラウドへの移行だけでなく、それを手元の近いところに配置して活用するエッジコンピューティング、分散コンピューティングのニーズも高まり始めています。クラウドのコアと分散されたエッジ、そして、その間のネットワークはIIJが「つなぐ」。この一連によって高品質なサービスをお客様により近いところのエッジにお届けできるものとなります。つなぐためのネットワークは従来のものだけでなく、5Gのモバイルネットワークなども活用できます。また、コアとエッジの連携にはVM ベースでワークロード管理するだけでなく、アプリケーションコンテナベースのリソース管理も行う必要があり、アプリケーションをコンテナとして実行できるContainer as a Service（CaaS）としてリソースを提供することもお客様のニーズにお応えする最適解かもしれません（図-4）。

拡大する

図-4 今後の展望

このためにはネットワークをよりアプリケーションに近づける形でソフトウェア制御を行う必要があります。VMを提供するリソースサービスだけでなく、これは現在のアーキテクチャから更に物理リソースに依存しない形にネットワークを進化させることで実現可能なものだと考えています。ただ、エッジにも展開できるコンパクトな形でリソースを展開できるようにするだけでは難しく、ネットワークも連動した形で柔軟に構成する必要があります。

このようなエッジコンピューティング、分散コンピューティングのアーキテクチャに適したテクノロジーとしてSmart NICに個人的に注目しています。VMwareもArmプロセッサのSmart NIC上にESXiを載せるProject Montereyというプロジェクトを進めており、NSX-TのドメインとしてSmart NICを制御することでネットワークをアプリケーションと同等に制御、展開できるようになるものと期待しています。

この世界を実現すべく、我々が作り上げたテクノロジースタックをデータセンターだけでなく、エッジコンピューティングのプラットフォームとして活用するプロジェクトも進めています。IIJ 白井データセンターキャンパスでマイクロデータセンターを屋外設置し、クラウドとエッジ、MECの領域での実証実験を行うことで、ローカル5Gや、IoTなどといったユースケースと共に、更なる発展を目指しています。そのような形にネットワーク・サービスを進化させていくことで、IIJならではの、IIJにしかできないIT インフラをお客様にお届けできればと考えています。

2. フォーカス・リサーチ（1） マルチテナント環境におけるオーバーレイネットワークの運用現場
～ IIJ GIOインフラストラクチャーP2 Gen.2におけるチャレンジ

• 2.1 IIJの新世代IaaS「P2 Gen.2」とは
• 2.2 SDN技術を活用したオーバーレイネットワーク
• 2.3 VMware NSX-Tによるオーバーレイネットワークのメリット
• 2.4 運用の課題とその解決方法
• 2.5 今後の展望