NTTスマイルエナジーは、太陽光発電設備の遠隔監視サービス「エコめがね」の販売や、再生可能エネルギー発電事業などを手がけています。再生可能エネルギー普及拡大を目的とした「電気事業者による再生可能エネルギー電気の調達に関する特別措置法」通称FIT法が開始される前年の2011年に設立されて以来、AI、IoTセンサーなどを利用しながら太陽光発電データを取得、可視化し、お客様に情報提供するシステムを運営してきました。
2021年、NTTスマイルエナジーは「エコめがね」で取得したデータをより良く活用するため、クラスメソッドが提供するデータ統合基盤「カスタマーストーリー アナリティクス」とクラウドデータウェアハウス「Snowflake」を導入。7月より利用を開始し、従来より取り組んできたデータベースの改善をさらに一歩進めました。本プロジェクトについて、導入担当部署である価値づくり本部エコめがねラボ 担当部長の林田さんと、同リーダーの橋岡さんに詳しくお話をうかがいました。
運用負荷の少ないクラウドでデータ分析基盤の構築を模索
太陽光発電設備の遠隔監視サービス「エコめがね」では、サービス開始から10年間、太陽光発電データや各種IoTデータを収集し続けてきました。現在、その対象設備は約8万、データベース（以下、DB）のレコード数は70億にものぼります。これだけの規模のセンサー設備とデータの蓄積があることは、貴重な資産であると同時に、システム全体にとっては大きな負荷となってきていました。
「以前は、顧客サービス用DBを共用していました。データ取得時にSQLクエリを投げる際は、サービス側に影響が出ないように慎重な作業が求められました。データ利用はDBを熟知したエンジニアによる作業となり、工数調整が必要だったので、自然と皆、データ取得にも優先順位をつけ、負荷を減らそうと遠慮していたと思います。スピーディにリアルタイムのデータを活用したいという希望には遠い状況でした」（林田さん）
同社では2017から2018年にかけてAWSへDBを移行。同時にDBのエンジンも変更するという大規模な改修をおこなっています。それまでIoT機器からのデータは、APIを通じダウンサイジングしてからDBに直接格納するデータフローだったため、生のデータは保存していませんでした。しかし7年が経過するうちにサービスやユーザー層に変化があり、過去のサービスでは不要としてきたデータも、将来的には利用できる可能性があったかもしれないという実感があったそうです。そこで、できる限り生データをAmazon S3に格納し、DBに取り込まないデータも将来的に活用できるフローに変更したといいます。
「AWS移行後はデータ活用を促進するために、AWSを活用したデータウェアハウスを個人的にPoCしたりもしてみたのですが、エンジニアでなければ活用しにくい基盤を作ってしまっては現状の改善にはなりにくく、また保守も大変になってしまうというジレンマがありました。また、生データも全てを保存できるフローにはなっていませんでした。電力需要予測などの際に、タイムスタンプがついた細かいデータがもっとあれば、という要望もあり、今後も基盤を整えなければと思っていました」（林田さん）
林田さんは2019年に米国で開催されたAWS re:Inventにて、日本上陸前のSnowflakeの展示を見る機会がありました。クラウドネイティブな設計がNTTスマイルエナジーの目指すシステムと親和性が高いと感じ、日本でも利用できるようになることを期待していたそうです。
その後、2019年12月にクラスメソッドはSnowflake社の国内初ソリューションパートナーに認定され、日本でもSnowflakeを利用できる環境が整いました。2020年にクラスメソッドが開催したSnowflakeのトライアルセミナーに、早速ご参加いただいたのをきっかけに、担当者には橋岡さんが抜擢されて導入プロジェクトがスタートしました。
CSアナリティクスでSnowflakeへのデータ格納を自動化
既に数年前、プライベートクラウドからAWSへデータ移行経験のある林田さんは、既存DBとSnowflakeに互換性があることをトライアルで確認していたこともあり、特に心配することなくDB移行プロジェクトをスタートしました。しかし、プロジェクトの担当者となった橋岡さんはクラウドベースでの開発は初めて。レコード数も膨大なDBの移行ということで、不安もあったといいます。
データウェアハウス（DWH）にはSnowflakeを使いたいという同社の意向を踏まえた上で、クラスメソッドからはデータを収集・加工し、DWHへの格納までを一気通貫に行えるようデータ統合基盤「カスタマーストーリーアナリティクス（CSアナリティクス）」の導入を提案しました。
CSアナリティクスは200種以上ものデータソースから情報を収集し、お客様の要件にあわせて最適なDWHへ格納できるパッケージサービスです。
「CSアナリティクスを弊社環境内でトライアルしてみたところ、そのカスタマイズ性の幅広さに驚きました。また、ノーコードで設定、構築できるというところに非常に魅力を感じました。導入にあたってはクラスメソッドさんの技術支援があることも安心材料のひとつになりました。
CSアナリティクスの構築は1ヶ月程度で終わり、その後2ヶ月ほどかけて、既存データ移行やSnowflakeの設定確認、チューニングを実施しています。」（橋岡さん）
今回の開発では、業務開始時刻までに、前日までのデータをSnowflakeに集約できるようにすることが目標でした。
センサー設備から送られてきたデータは、まずAmazon RDSに格納されます。その上で、さらに分析に必要なデータのみをピックアップしてSnowflakeにアップロードするのが一連の処理のながれでした。
「1日あたり1200万レコードとなる大量のデータを、本当に問題なく運用できるのか」など、開発中にはさまざまな懸念や課題が浮かんできましたが、クラスメソッドのエンジニアとのSlackやbacklog、週1回のオンライン会議などによる密なコミュニケーションによって一つ一つ解決していきました。
「扱うデータ量が多すぎて、最初はどう設定したらいいか悩みましたね。どういう単位でCSVを作って、どういうバッチ設定にしたら、人手をかけずに運用できるようになるのか。クラスメソッドさんにサポートいただいてデータ収集と加工の自動化を実現できました。クラウドでの構築は初めてでしたが、迅速に対応いただき、大きなトラブルもなく進められました。」（橋岡さん）
Snowflakeの活用でデータ分析が身近に
Snowflakeはクラウドネイティブなデータウェアハウスとして、必要な時に容量やアクセス数、パフォーマンスを高められる拡張性はもちろん、メンテナンス性やデータシェアリングなど、様々な特徴を持っています。企業のデータ活用に向けて、SQLだけでなくGUIによるデータ分析も可能です。
NTTスマイルエナジーでは、Snowflake導入後、BIツールのTableauから直接Snowflakeを参照できるようにすることで、非エンジニアでも簡単にデータを確認できるようになりました。これで「ちょっとデータを見て考えたい」と思った時に、誰でも手が動かせます。今は橋岡さんが「みんなでもっとデータを見ていこう」と社内に働きかけ、有志を募って勉強会などを進め、データ活用の文化づくりを盛り上げているところだそうです。
「今回の開発で、データをビジュアライズして見せることが手軽になり、経営陣に対して、定期的にデータを見せることができるようになりました。おかげでデータを元に新しい取り組みを考えられるようになりました。社内の活気に繋がる取り組みにできたところが、大きなインパクトとなっています。」（林田さん）
データの保管においては、“可能なかぎり生データを蓄積する”方針に変更したため、約8万センサーから、これまでの1.5倍程度のデータ量が日々ストレージに流れ込むことになりました。さらにSnowflakeにもピックアップしたデータをアップロードするため、当初はデータ量にともなって、運用コストも跳ね上がってしまうのではないかという懸念もあったそうです。しかし、Snowflakeによるデータ格納の最適化と、SaaSならではのコストメリットにより、費用も大きく圧縮できるようになりました。
「生データだけでもかなりのストレージ容量が必要になっていますが、AWSを利用することでコスト削減はできています。
Snowflakeは、ストレージと、データ分析やDWH管理に関わるサービスについて層が3つに分けられていて、それぞれにワークロードを管理できるため、コスト削減しやすくなっているのも良いですね」（林田さん）
「10年分の既存データは、もともと約850GBのサイズでしたが、これを全てSnowflakeにアップロードしたところ、150GB程度に圧縮されて大変驚きました。一般的なDWHであれば毎月数十万円というコストのところが、1／3〜1／4程度に圧縮できていると思います」（橋岡さん）
時代の変化に合わせ、より高度なデータ活用を検討
太陽光発電の遠隔監視サービスのスタート当初は投機目的の投資家がユーザーに多く、設備故障や発電効率を知りたいというニーズが多かったそうです。そこに合致したサービスを提供していたのがNTTスマイルエナジーでした。しかしFIT制度が終わった今、太陽光発電に対する眼差しには変化があり、持続可能な社会のために再生可能エネルギー由来の電力をいかに使っていくかを考える必要が出てきているそうです。この点で10年間蓄積したデータを活用することが期待されています。
「大量のデータを生かすため、今後はSnowflakeの機能を勉強して、機械学習をはじめとしたデータ活用を検討していきたいと考えています。CSアナリティクスについても大きなトラブルなく運用できていますが、今後もベストな設定を模索して最適化していきたいです。クラスメソッドさんには、引き続き技術サポート、コンサルティングをお願いしたいなと思っています。」（橋岡さん）
データ活用を進めることが、新しいパートナーとのアライアンスや、太陽光発電普及の打ち手にもつながるというNTTスマイルエナジー。クラスメソッドはこれからもCSアナリティクスの最適化や技術支援により、同社のデータ活用を支援してまいります。
