Internet Infrastructure Review（IIR）Vol.41
2018年12月19日

3. フォーカス・リサーチ（2）

海底ケーブルとインターネットの信頼性

IIJ技術研究所では計測や解析を通じてグローバルなインターネットの信頼性向上に貢献する研究を行っています。本稿では、インターネットを支える海底ケーブルを理解することで、信頼性の向上を目指す研究について報告します。なお本稿は、ACM HotNet2018で発表した論文の要約です（※1）。

3.1 はじめに

海底ケーブルは、これだけ大規模かつ重要であるにもかかわらず、既存研究では特定の回線障害に着目されたりブラックボックス扱いされたりしており、グローバル・インターネットにおける役割があまり理解されていません。

本稿では、海底ケーブルに関する公開情報から海底ネットワークの成長と現状を明らかにし、海底ケーブルの障害によるネットワークへの影響について、各種の観測データをもとに考察する手法を提案します。

3.2 海底ケーブルをとりまく状況

ほとんどの海底ケーブルは、共同事業として構築、管理され、複数の通信会社によって共有されています。例えば、先述のTAT-8には、AT & T、ブリティッシュ・テレコム、フランス・テレコムなど当時の大手国際通信事業者をはじめとする35社が関わっていました（※7）。最近の敷設ブームは、GoogleやFacebook、Microsoft、Amazonなどのコンテンツ事業者が牽引しているようです。Telegeographyによれば、コンテンツ事業者が配備した容量は、2013年から2017年で10倍に増加し、他のすべての顧客の増加率を上回っています（※8）。

3.2.1 海底ケーブルに関わる問題

海底ケーブルの全長が急速に拡大し続けるにつれて、ケーブル問題に起因するネットワークトラブルの可能性も増えています。地震や津波などの大規模災害をはじめ、海底の地滑りや海流による岩盤擦れ、サメによる被害など、自然環境に起因する潜在的なリスクが数多くあります。

また自然の力以上に、意図的であるか否かを問わず、人間の行動はケーブルに対する最大の脅威です。ケーブル破壊の約70%は漁業用トロール網や船舶の錨によって引き起こされている（※3）ほか、脆弱なケーブルに対する意図的な攻撃に対する懸念も高まっています。例えば、米海軍関係者は、重要な海底ケーブル付近でロシアの潜水艦やスパイ船を観測することに懸念を表明しています（※9）（※10）。

海底ケーブルの障害の影響は、接続冗長性の高い地域では限定的だと思われますが、特に脆弱と思われる地域もあります（※11）（※12）（※13）。例えばアジア・アメリカ・ゲートウェイ・ケーブル（AAG）は、東南アジアと米国を結び、ベトナムの国際インターネットトラフィックの60%以上を扱っていますが、頻繁に故障することで有名です。2017年だけでも、AAGは少なくとも5回の障害を起こしています（※14）。

また、2013年にエジプト沖でSE-WE-ME-4海底ケーブルを切断したダイバーが逮捕された事件では、インターネットの速度が60%低下しました（※11）（※15）。更に、2018年4月には1本の海底ケーブルが切断されたことにより、モーリタニアなどの国全体がオフラインとなりました（※12）。

このようなリスクを把握するには、グローバルネットワークの構成要素としての海底ネットワークの役割を明らかにする必要があります。ネットワーク層で異なるパスであるように見えるルートが、物理層では同じケーブルに依存していることもあります。

大規模通信事業者は、太平洋横断や大西洋横断などの特に重要なルートでは複数のケーブルを利用しています。しかし、レイヤー3のトポロジーの詳細を開示していても、ネットワークが物理的にどの管路や海底ケーブルで接続されているかが分からないため、第三者が特定の海底ケーブルへの依存度を知ることは困難です。

3.2.2 世界の海底ケーブル

海底ケーブルの情報は、いくつかのWebサイトで公開されています。本稿では、TeleGeograpyの海底ケーブルマップ（※6）とGreg（Mahlknecth）のケーブルマップ（※16）の2つのサイトから収集したデータを用いて、ケーブルの数や容量の観点から海底ネットワークインフラの成長と現状を見ていきます。どちらのサイトも、数百本の海底ケーブルのグローバルマップを各ケーブルの詳細と共に公開しています。重なりも多くありますが、片方にしかない情報もあり、TeleGeogaphyのマップにはGregのマップよりもかなり多くのケーブル情報が含まれています。

注意すべき点は、どちらのマップも公表されたケーブルに関する詳細のみを掲載していることです（※17）。TeleGeographyによると、2018年初めまでに世界で約448本の海底ケーブルがサービスを提供しており（※18）、その90%が公表されているということです。残りの民間所有の非公開のケーブルの大部分は、データセンター間ネットワークの一部として海底ケーブルに多大な投資を行った、FacebookやGoogleなどのコンテンツ事業者ネットワークです（※17）。本稿では、パブリックなインターネットを支えている海底ケーブルを取り上げていますが、パブリックとプライベートの関係については今後の研究課題です。

3.2.3 ネットワークの成長と現状

海底ネットワークは、ケーブルの数だけでなく、これらの総ケーブル長においても増加しています。図-4（右軸）は、各年において運用中のケーブルの総延長（右軸）を示しています。2018年に運用中の総ケーブル長は、120万kmを超えています。

グラフからは、総ケーブル長は2015年頃から急に増えていることが読み取れます。それより伸びが速い1997～2001年は、ドットコム・ブームの時期に当たります。

3.3 海底ケーブルとインターネット

ここからは、これらの海底ケーブルとインターネットとの関係について考察していきます。ここでの課題を、（1）海底ケーブルネットワークの接続グラフを作成し、ケーブルの切断などによって影響を受けやすい地域を特定する、（2）物理レイヤーとネットワークレイヤーを関連づけるために、通信がどの海底ケーブルを通って行われているかを推測する、（3）海底ケーブル障害がインターネットユーザに及ぼす影響を調査する、の3つに設定します。

3.3.1 海底ケーブル接続グラフの作成

第1の研究課題である海底ケーブルネットワークの接続グラフ作成は、一見簡単そうですが、異なる国や地域の陸揚げ地点を結ぶ多様なケーブルを1つのグラフに表すのは容易な作業ではありません。

3.3.2 インターネットへのマッピング

インターネットトポロジに関するほとんどの研究は、ネットワーク層での測定で行われています。ところが、ネットワーク層では別々のネットワーク経路を通っているように見えるトラフィックは、実は同じ物理リソースに依存している可能性があるので、ネットワーク層での分析から信頼性を推測することには限界があります。データセンターなどの共有設備を使っていることもありますし、海底ケーブルは複数のネットワークオペレータによって共有またはリースされています（例えばTAT- 14は、30を超えるネットワークオペレータによって共有されています）。

ネットワーク層での測定とネットワークをつないでいるケーブルとの関係を理解することは、インターネットの頑健性を正確に評価する上で重要です（※20）。将来的には、通過した海底ケーブルの情報を表示する経路探索コマンドサービス（traceroute）があれば便利になるでしょう。

その実現に向けて我々は、RIPE Atlas（※21）のトポロジデータから海底ケーブル区間を特定する研究を行っています。RIPE Atlasは、RIPE NCCによるインターネット計測プロジェクトで、世界中のユーザからtracerouteなどの情報を収集しています。我々は、2018年1月から4月の間にRIPE Atlasプロジェクトによって収集された5億を超えるtracerouteデータを使用し、我々が開発した区間RTT推計手法を用いて各経路でのルータ間の遅延を推定しました（※22）。ここでは、traceroute内の隣接ルータのIPアドレスの組の区間RTTを統計的な手法を用いて推定します。個別のRTTデータには大きなバラつきがありますが、大量のデータを統計処理することで精度を上げることが可能です。

次に、RIPEの地理位置情報サービス（※23）を使用して、各ルータのIPアドレスのおおよその位置を取得します。位置が特定できたIPアドレスの組に対し、地理的距離と区間RTTを比較することで、海底ケーブルを利用している可能性を調べます。具体的には、IPアドレスの組が特定の海底ケーブルを通過すると仮定して、陸揚げ地点を経由した距離を計算します。この値を区間RTTと光の伝搬速度から求めた距離と比較することで、その海底ケーブルを通過している可能性を判断することができます。

取得したRIPE AtlasのデータにおいてIPの各組についてこの解析を実行した結果、海底ケーブルを通過した可能性がある3,429個のIPアドレスの組を抽出することができました。

現在のところ良好な結果を得ていますが、この方法には課題もあります。まず、一部のルータについては位置を得ることができません（例えば、正確な位置推定値を得るために必要なデータがないなど）。また、90%を超えるIPアドレスの組が、2つ以上の海底ケーブルに対応してしまいます。これは、複数の海底ケーブルが同じような地点で上陸し、設備を共有しているため、また、RTTベースの分析の精度の限界によるもので、充分に起こり得ることです。

我々は、精度向上のため、他の方法の追加に取り組んでいます。例えば、各ケーブルの利用事業者の情報を使うと、IPアドレスが属する組織（AS）が利用する可能性のあるケーブルを減らすことができるはずです。

ケーブルの識別のために我々が調査している別の方法は、サービス停止情報の利用です。海底ケーブルは、しばしば保守や故障のため、サービス停止することがあります。ケーブルのサービス停止は、多くの場合、ニュースまたは個人や研究グループのTwitterなどで報告されています。サービス停止と区間RTTの相関から関連性を特定できます。

Palmer-Felgateらは（※24）、2008年から2014年の間に1,000を超える海底ケーブルのサービス停止と復旧の情報を解析しました。解析したケーブルの可用性は最大でも99％に留まり、大多数は年間に9日以上停止していました。過去のtracerouteのデータとケーブルの停止情報を比較することによって、ケーブルの停止と同期して観測されなくなるIPアドレスの組を特定することができます。

3.3.3 ケーブル故障の影響解析

ルータのIPアドレスを特定の物理ケーブルに紐づけることで、海底ケーブルの停止がインターネットユーザに与える影響を調べることができます。

我々は、RIPE Atlasのtraceroute情報を用いて、ここ数カ月のケーブル停止の影響を調べました。その中には、東南アジアにおける最近の障害と復旧の情報があり、大きなネットワーク障害には至らなかったものの、遅延に大きな影響があったことが分かりました。

2018年5月10日のSEA-ME-WE-3ケーブルの破損について見てみます。SEA-ME-WE-3は、西オーストラリアから中東を経由して西ヨーロッパに至る世界最長のケーブルです。このケーブルが損傷すると、特定のトラフィックがより長い代替経路を通らなければならず、結果として遅延が増えます。図-10は、障害前後のオーストラリアとシンガポールの間の遅延の変化を示しています。RTTが97msから、320ms以上と3倍以上になったことが分かります。海底ケーブルの修理が完了するには数週間かかる可能性があり、この遅延の上昇は数日間続きました。

拡大する

図-10 South-East Asia - Middle East - Western Europe 3（SEA-ME-WE-3）の
海底ケーブル故障時のオーストラリアとシンガポールの遅延の変化（2018年5月10日）

他に遅延の変化を引き起こす可能性がある原因として、海底ネットワークの設定ミスや保守があります。図-11は、SEA-ME-WE4海底ケーブルの構成変更時の遅延の増加を示しています（※25）。約12時間にわたり、シンガポールからバングラデシュへの経路で遅延がほぼ3倍になっていたことが観測されています。

拡大する

図-11 South East Asia - Middle East - Western Europe 4（SEA-ME-WE 4）のケーブル構成変更（2017年10月）

同様に、2018年1月21日から始まったアジア・アメリカ・ゲートウェイ（AAG）ケーブルの構成変更では、図-12に示すように、香港とベトナムとの間の遅延への影響が観測されています。

拡大する

図-12 Asia-America Gateway（AAG）ケーブルの構成変更時の香港とベトナムの遅延の変化（2018年1月）

このように、大陸をまたぐ通信のtracerouteデータを、海底ケーブルと対応づけて解析すると、遅延の急な変化の原因を探ることができます。更に、tracerouteデータからケーブルに対応する区間が消えれば、ケーブル切断またはルーティングの変化を意味します。これらの情報の相関を見ることで、性能異常の根本原因の究明につながることを期待しています。

ネットワーク運用者にとっても、海底ケーブルとIPの経路とのマッピング情報があると、ネットワークと海底ケーブルの依存関係を理解しやすくなります。この情報は、将来のネットワークインフラの拡張を計画するために重要です。例えば、信頼性を向上させるために追加する上流ISPを決める場合、異なる海底ケーブルを利用するISPを選ぶことができるようになります。

更に、tracerouteに現れるケーブルを追跡することは、特定の地域で過度に依存度の高いケーブルの発見につながります。そのようなケーブルが損傷を受けた場合、性能及びルーティングに重大な影響を及ぼすことは必至です。Durairajanらは、米国における陸上の長距離光ファイバーに対しての同様の研究を行い（※20）、高リスクのリンクを特定し、リスクと遅延の両方を低減するために特定の地域に新しいリンクを増設する提案を行っています。我々も海底ネットワークで同様の解析を行う予定です。

3.4 まとめ

仮想ネットワークの信頼性向上への取り組みは高い関心を持たれていますが、それを可能にする物理的ネットワークに対する理解はあまり進んでおらず、今後深刻な脆弱性になる可能性があります。本稿では、公開されているデータを利用して海底ネットワークの状況を調査するために、ケーブル情報とネットワーク層での測定値を組み合わせて解析する手法を提案してきました。これにより、物理的経路による接続リスクを考慮した上で、インターネットの冗長性や信頼性を推測できると考えています。

《 謝辞 》
本研究は、JSPS外国人特別研究員プログラムとNSF CNS 1619317の助成を受けています。

1. （※1）Zachary S. Bischof and Romain Fontugne, Fabian E. Bustamante. Untangling the world-wide mesh of undersea cables. In Proc of HotNet, November 2018.
2. （※2）P. Edwards. A map of all the underwater cables that connect the Internet, 2015（https://www.vox.com/2015/3/13/8204655/submarine-cables-internet）。
3. （※3）The various threats to subsea cables.Ultramap（http://www.ultra-map.org/news/the-various-threats-to-subsea-cables）。
4. （※4）NEC begins construction of submarine cable links to the islands of Palau, Yap and Chuuk. NEC, May 2017（https://www.nec.com/en/press/201705/global_20170504_01.html）。
5. （※5）Z. S. Bischof, J. P. Rula, and F. E. Bustamante. In and out of Cuba: Characterizing Cuba’s connectivity. In Proc. of IMC, October 2015.
6. （※6）TeleGeography.Submarine cable map（https://www.submarinecablemap.com/）。
7. （※7）N. Starosielski. The Undersea Network. Duke University Press.
8. （※8）A. Mauldin. A complete list of content providers’ submarine cable holdings.
9. （※9）M. Birnbaum. Russian submarines are prowling around vital undersea cables. it’s making NATO nervous. The Washington Post, December 2017（https://wapo.st/2NW71QP）。
10. （※10）D. E. Sanger and E. Schmitt. Russian ships near data cables are too close for US comfort. The New York Times, October 2015（https://nyti.ms/2uqCnXh）。
11. （※11）C. Arthur. Undersea internet cables off Egypt disrupted as navy arrests three. The Guardian, March 2013（https://www.theguardian.com/technology/2013/mar/28/egypt-undersea-cable-arrests）。
12. （※12）C. Baynes. Entire country taken offline for two days after undersea Internet cable cut. Independent, April 2018（https://ind.pn/2L0zIOn）。
13. （※13）R. Noordally, X. Nicolay, P. Anelli, R. Lorion, and P. U. Tournoux. Analysis of Internet latency: The Reunion Islan case. In Proc. of AINTEC, 2016.
14. （※14）B. Anh. Vietnam Internet returns to normal after AAG repairs. Submarine Telecom Forum, June 2018.
15. （※15）A. Chang. Why undersea Internet cables are more vulnerable than you think. Wired, April 2013（https://www.wired.com/2013/04/how-vulnerable-are-undersea-internet-cables/）。
16. （※16）G. Mahlknecht. Greg’s cable map（https://www.cablemap.info/）。
17. （※17）A.Mauldin. A complete list of content providers’ submarine cable holdings. Telegeography blog, November 2017（https://blog.telegeography.com/telegeographys-content-providers-submarine-cable-holdings-list）。
18. （※18）Telegeography. Submarine cable 101（https://www2.telegeography.com/submarine-cable-faqs-frequently-asked-questions）。
19. （※19）実際には、この「単純な」例でさえ、それほど簡単なものではありません。同じ陸上にあるにもかかわらず、グリーンランドの2つの地点をつなぐネットワークはないので、別地域であると扱う必要があります。
20. （※20）R. Durairajan, P. Barford, J. Sommers, and W. Willinger. Intertubes: A study of the US long-haul fiber-optic infrastructure. In Proc. of ACM SIGCOMM, August 2015.
21. （※21）RIPE NCC. RIPE atlas（http://atlas.ripe.net）。
22. （※22）R. Fontugne, C. Pelsser, E. Aben, and R. Bush. Pinpointing delay and forwarding anomalies using large-scale traceroute measurements. In Proc. of IMC, November 2017.
23. （※23）M. Candela. Multi-approach infrastructure geolocation. Presentation at RIPE 75, October 2017.
24. （※24）A. Palmer-Felgate and P. Booi. How resilent is the global submarine cable network. SubOptic, 2016（https://suboptic.org/wp-content/uploads/2017/05/WE2A.5-How-Resilient-Are-The-Worlds-Submarine-Cables.pdf）。
25. （※25）T. D. Star. Internet to be slow for next 4 days（https://www.thedailystar.net/backpage/internet-be-slow-four-days-1479988）。

3. フォーカス・リサーチ（2） 海底ケーブルとインターネットの信頼性

• 3.1 はじめに
• 3.2 海底ケーブルをとりまく状況
• 3.3 海底ケーブルとインターネット
• 3.4 まとめ