携帯電話やブロードバンドなどの通信サービス事業を展開する株式会社NTTドコモ。安定したモバイルネットワークサービスを提供するためには、設備装置の監視と異常検知からの早期復旧が欠かせません。そこで、同社はトラフィック状態を可視化する「ネットワーク監視業務向け可視化プロジェクト」を立ち上げ、アマゾン ウェブ サービス（AWS）上に各装置のデータを収集する基盤構築の技術支援をクラスメソッドに要請しました。プロジェクトについて、ネットワーク本部 サービスマネジメント部 オペレーションシステム部門の前島さん、今井さんにお話をうかがいました。
装置故障の検知と早期復旧を実現する「ネットワーク監視業務向け可視化プロジェクト」
現在のモバイル通信は、コミュニケーションの手段だけでなく、決済、物流、エンタメなど生活を支える重要インフラに進化し、安心・安全に使えるサービス提供が求められています。一方、サービスの多様化によりモバイルネットワークを司る設備装置類の複雑化が加速。安定したサービスを継続的に提供するためには、早期に異常を検知し、迅速に復旧を行うことが重要です。そこで同社は、全国に設置しているネットワーク関連装置のトラフィックを可視化する「ネットワーク監視業務向け可視化プロジェクト」（以降、可視化プロジェクト）を2022年に立ち上げました。
現在、モバイルネットワークを支える装置は複数台の機器構成を取り、1台の装置に故障があってもサービスに影響を与えないように冗長化されています。しかし、装置からの警報を契機とした従来型の監視では、即応が必要かどうかといった優先順位までは判別が困難なケースがあります。新たにトラフィックベースの監視を組み入れることで、冗長構成を取ったネットワーク装置でも即応が必要な故障を際立たせることができ、人が時間を割いていた障害の切り分けや優先順位の決定といった運用業務も効率化されます。
「可視化プロジェクトでは、トラフィックの状態を時系列で可視化し、人の目では捉えきれない異常を早期発見することを目指しています。例えば、現在のトラフィックの状態が先週の状態と大きく乖離した場合にアラートを発するといったアルゴリズムを適用すれば、画面を見ていなくも瞬時に検知ができます。プロジェクトでは、複数の外部パートナーを含めたチーム全体でデータを使って何ができるか、異常を検知するロジックやカバレッジを拡大できないかといったことを議論しながら、現在も可観測性のさらなる向上を目指して最新技術を採り入れた機能拡充に取り組んでいます」（前島さん）モバイルネットワークの設備は、基地局、ルーター、交換機など数百万点もの装置で構成されています。装置類は老朽化したものは撤去し、新しい装置に取り替えたり追加したりする形で長年にわたって運用を続けてきました。従来は、保守担当者がサービスに影響を及ぼす障害であるか、そうでないかを切り分けて対処していました。しかし、ネットワークが複雑化している現在、人力に頼った運用には限界があります。
「そこで、人の経験やカンに頼った運用を改め、装置から集約したデータを活用したインテリジェントな運用に移行することにしました。運用効率を高めてネットワーク全体の品質を高め、単なる装置の監視だけでなくサービス全体の監視にシフトすることも可視化プロジェクトの狙いにありました」（今井さん）
リアルタイム性とコストバランスを考慮してアーキテクチャを設計
複数のパートナー企業が参画する可視化プロジェクトにおいて、同社は装置から収集した大量のデータをAWS上に蓄積するデータ基盤の構築支援をクラスメソッドに要請しました。
「AWSプレミアティアサービスパートナーとしての高度な知見、コンプライアンスやセキュリティを重視した姿勢などを評価して採用を決めました。クラスメソッドはデータ処理のプロフェッショナルとして、データ基盤に付加価値を提供いただけることを期待しました」（前島さん）
「今回、アジャイルで内製開発を推進することを決めていました。コアのモバイルネットワークの領域は知見が多い私たち自身で開発するほうが業務にフィットしやすいと考えたからです。一方、データ基盤の領域は、私たちがAWS上に構築した経験・ノウハウがなかったことから、データレイヤーの実装経験が豊富なクラスメソッドにお手伝いをいただくことがベストと判断しました」（今井さん）
データ基盤の構築は、2022年にスタート。大量の装置から取得したデータソースをストレージのAmazon S3に保管し、AWS Lambdaによる前処理（データクレンジング処理）を行ったうえでデータレイク（S3やAmazon TimeStream）に蓄積するまでと、さらにルールに応じて必要なデータをデータベースに出力するまでのアーキテクチャ設計、実装、テストを、クラスメソッドの担当者と進めていきました。
「データの入出力の仕様や必要なドキュメントを私たちからクラスメソッドにお渡しして、トラフィックを時系列で表示するためのデータレイヤーの設計・構築、異常を検知するデータ処理の設計・構築などをお手伝いいただきました。出力先のデータベースの選定についても、クラスメソッドからアドバイスをいただきました」（今井さん）トラフィックを可視化するためのデータ基盤にはいくつかの要求仕様がありましたが、最も重視されたのがリアルタイム性です。障害をより迅速に検知するためには、トラフィックデータを受信してから可視化し、オペレーターが異常を検知するまでの時間をできる限り短縮する必要がありました。そこで同社はデータ受信から表示までの全処理を数分以内に完了させることを目標としました。
ただしリアルタイム性とコストはトレードオフの関係にあり、リアルタイムの要件を厳しくし過ぎると高いサーバースペックが必要で、コストが跳ね上がります。今井さんは「プロジェクトの過程でクラスメソッドと議論を重ね、必要なデータ量を考慮したり、データベースに改善を加えたりしながら、コスト効率の高いリアルタイム設計を目指しました」と当時を振り返りました。
3年間でAWSの知識を身に付け内製開発を加速
2022年にスタートしたプロジェクトにおいて、同社はこの3年間でAWSの知識や構築手法を身に付け、本番環境の構築も内部で担当できるようになりました。一方のクラスメソッドも、基地局で収集されるデータ構造など、通信業界特有の技術的な知見を獲得し、支援の幅を拡大することができました。
「プロジェクトを始めた2022年当時、私たちはデータ層を構築するための手順が、クラスメソッドはモバイルネットワークの“作法”がそれぞれ手探りの状況でした。そのため、最初からすべてがうまくいったわけではなく、一緒に失敗を繰り返したり、学んだりしながら相互理解を深めてきたのがこれまでの経緯です。3年が経ってお互いが理解を深め、両社の歯車がかみ合うことで、プロジェクトが良い方向に進むようになりました。結果として他のパートナー企業も含めてワンチームとなり、可視化基盤の整備が加速していきました」（前島さん）
3年間のプロジェクトを通して同社がクラスメソッドについて感じたことは、AWSに関する豊富なノウハウと最新情報の提供、フィードバックによる好循環サイクルの実現でした。エンジニアについても「技術習得に対する熱量が大きい」と話しています。
「エンジニアの皆さんは誰もがフットワークが軽く、前向きに対応していただいています。プロジェクトを良くするために、忖度なしでストレートに意見を寄せていただける点もありがたく思っています。プロジェクト中に発生した数々のトラブルにも迅速に対応をいただき、技術レベルの高さを実感しています」（今井さん）
トラフィック全体を時系列で追いながら装置の故障を検知
可視化プロジェクトは順調に進み、2024年の導入判定でゴーサインが出てからは、アジャイル開発で各種ダッシュボードを次々とリリースし、監視・運用の現場で本格活用が始まりました。現在、オペレーターが24時間365日常駐するオペレーションルーム全体に大画面モニターを複数設置して各種ダッシュボードを表示しています。また、ダッシュボードは、アクセス権限を付与されたオペレーションシステムの担当者なら、ネットワークを介してPCやスマートフォンでも見ることができるため、障害が発生した際も手元ですぐに状況を確認して必要な指示を出したり、現場に駆け付けて対処したりすることが可能です。
「プロジェクトはまだ道半ばですが、複数の装置のメトリックスを合算し、トラフィック全体を時系列で追いながら装置の故障を検知できるようになりました。重要なインフラを扱う通信事業者として、ネットワークの状況をリアルタイムに監視しながら障害があれば即時復旧してサービス提供が継続できる環境を整備できたことがプロジェクトの最大の成果です」（前島さん）
「アジャイルによる内製開発に移行し、最短2週間スプリントで機能実装や改善ができるようになったことも成果のひとつです。データレイヤーに蓄積しているデータであれば、ダッシュボードを構築するだけで可視化ができるため、オペレーション部門からのリクエストにもスピーディに応えることができます」（今井さん）
可観測性の向上を目指して最新技術を採り入れた機能拡充を継続
今後については2026年度に向けて、オペレーション現場で活用できる実用的な機能の提供、装置から収集するデータの拡充、データの整備を継続し、データドリブンなネットワーク運用によるサービス品質向上を追求していく方針で、現在も数々のプロジェクトに取り組んでいます。
「可視化プロジェクトの目的は、あくまでも可観測性を高めることにあります。ユーザー影響のある障害を早期に検知して被疑箇所を推定し、障害を早期に回復することが私たちのミッションです。そのためにAIなどもひとつの手段として活用しながら、ミッションの達成に進んでいきます。クラスメソッドには、引き続き大規模データのハンドリングや、AI活用など、得意領域を活かした伴走支援に期待しています」（前島さん）
「データを収集する装置が増えれば、運用レベルはさらに高めることができますし、ログやトレースなどの情報も取得できればより詳細に分析することができます。一方でデータの複雑さや秘匿性も高まりますので、セキュリティやガバナンスを重視しながらデータをデザインしていきたいと思います。クラスメソッドには今後もデータ収集やデータマネジメントに関する知見の提供で支援をいただけるとありがたく思います」（今井さん）
クラスメソッドは、モバイルネットワークの安定運用に貢献するべく、データ基盤に関する知見を活かしてNTTドコモの期待に応えてまいります。
