Hondaグループの商社部門を担う株式会社ホンダトレーディングでは現在、データドリブン経営に向けた環境整備を進めています。
世界中の拠点で自動車用の原材料や部材の調達・供給、また設備・金型やリサイクルなどの事業を手がけている同社。全拠点の情報を繋げて集め、データとして活用できる環境を作るべく、さまざまな試行錯誤を経て、2022年にサーバーレスのデータ分析基盤を構築するに至りました。ゼロからの分析基盤立ち上げにもかかわらず、いかにサーバーレスでの構築を成功させたのかを振り返ります。
※本記事は、「Classmethod Showcase Data Analytics & Management〜クラウドで実現するデータ活用戦略」のホンダトレーディング様のセッション「AWSだけでデータ分析基盤を 構築したらサーバーレスに至った話」から内容およびコメントを抜粋しています
全社のデータを集約するDWHを作りたい
今回のシステム構築以前、ホンダトレーディング社内は複数のデータシステムが点在し、基幹システム・業務システムをまたいだ複数のデータ分析には至っていませんでした。ひとつの基幹システムやデータベースから出した個別レポートやExcelファイルのデータを見るような状況では得られる情報にも限りがあります。複数のデータを使ってより広い視点から相関を見いだせるよう、会社全体の情報を繋げて複数のデータシステムから情報を1ヶ所に集められるデータ分析基盤の設置は急務でした。
生データ取得から加工、分析、蓄積までサーバーレスで
現在同社はAmazon Redshift Serverlessを活用し、サーバーレスのデータ分析基盤を運用しています。
EC2にある各種データベースや、SaaSからデータを集める0階層から第1階層のデータストア（S3）に加工前の生データが保管されると、データが入った瞬間にAWS Step Functionsが起動し、第2、3階層の処理が順次動くとのこと。
サーバーレスサービスを利用することでミドルウェアやOSの脆弱性、セキュリティなどの情報システム部門の考慮事項が少なくなり、データ分析基盤を使った分だけ課金する体系も実現しました。
「生データがRedshiftのデータウェアハウスに蓄積されるまでAWS Glueでの加工、分析サービスAmazon Athenaでテーブル参照が可能になるなど様々な処理が動きます。最終的にはMicrosoft Power BIをはじめ特徴量分析、場合によっては機械学習などのデータ分析サービスを接続したいと考えています」
コスト問題をいかに解消するか
日々のトランザクションを止めず、いかに大きな負荷をかけずにデータ分析基盤を作っていくか。同社ではインフラ基盤があるAWS環境内に構築すること、低コストで運用できること、さまざまな統計分析ツールに対応しているRedshiftを採用することの3つを要件に据えました。
一度分析基盤は完成したものの、実運用を考える上で悩む点も少なくなかったといいます。特にRedshiftの監視・ディスク残容量の検知やランニングコストは、さまざまな策を講じました。自力でデータウェアハウスを構築するよりははるかにリーズナブルでしたが、さらなるコスト改善を図りたいと同社は考えます。
インスタンスタイプの調整や一日あたりの稼働時間の制限など試行錯誤するなか、2022年7月にRedshift Servelessが新サービスとして一般公開されました。既存のRedshiftのスナップショットからサーバーレス環境への移行サポートが含まれることがその導入をさらに後押しします。
「サーバーレスなら運用面の負担が減るだけでなく、動かしているときだけ課金される料金体系なので、立ち上げ期のコスト面から考えても（Redshift Servelessは）最適な選択でした」
データ分析に注力できる環境づくりを進める
こうして移行が進んでいきますが、Redshift Serverless導入の環境を整えるとIPアドレスが不足する、ハイパフォーマンス利用下でのリソース要件をクリアするのが厳しいなどといった問題点も浮かび上がってきます。
そこでRedshift Serverless用に新規のVPCを組み、社内のネットワークIPとは別にIPアドレスを自由に設定できるようにし、プライベートリンク経由でRedshift サーバーへ繋げるように整備しました。
「データウェアハウスがRedshift Serverlessになっただけでなく、SaaSからのデータ取得もLambdaで構成しているので、結果的に全ての階層で完全サーバーレスなデータ分析基盤が完成しました。
アクセス権の管理などはこれからも必要ですが、サーバーレス化によって全体の運用負荷が減り、データ分析へのアウトプットへの注力が可能になると考えています」
接続アドレスの長さやアクセス中断からの回復時間がかかるなど気になる点もあるものの、おおむね大きな課題もないといいます。
「（ホンダトレーディングは）やっとデータを集めはじめたところです。今後も分析環境を整え、既存システムのデータを整備し、新規のデータはシステム化して取得できるという仕組みをつくり、ゆくゆくはデータを扱う人材の育成にも力を入れていきたいですね」
AWSだけにとどまらないノウハウも提供
ホンダトレーディングとクラスメソッドとの付き合いは、データ分析基盤構築前のAWSでのインフラ基盤構築にさかのぼります。
クラスメソッドが選ばれた理由はAWSの認定という実績だけではありませんでした。
「これまでは大手ITベンダーさんとのお付き合いばかりでしたが、クラスメソッドはそうしたベンダーさんたちとは異なる、新しい技術者集団です。クオリティ・コスト・デリバリーマネジメントだけでなく、そうした方々の力をお借りしシステムを整えていくなかで、彼らの仕事の進め方を学びたいという側面もありました」
データ分析基盤の選択肢としてサーバーレスだけでも構成可能であることがわかった今回。同社は利用ベースで発生するコストや人的運用コストを抑えられる「身の丈に合った」データ活用の手段を得られたと振り返ります。
クラスメソッドはクラウド活用のQ&Aから抜本的なデータドリブン経営に向けた伴走支援まで、技術でお客様課題の解決を一緒に目指していきます。ホンダトレーディングが志向するデータ基盤とその活用に向けて、今後も尽力して参ります。
