ITプロフェッショナル集団として、コーポレートIT領域を中心としたITサービスを提供するPSソリューションズ。同社は中小企業向けに提供しているITサポートサービス「IT with」に、新機能として実装するAIチャットボットのRAG（検索拡張生成）開発支援をクラスメソッドに要請しました。RAGの回答精度改善により、回答可能な質問に対する精度は最大99％、回答できない質問を判定する精度も最大87％を実現しました。プロジェクトについて、担当の南部さん、三菅さん、松本さんにお話をうかがいました。
ユーザーの要望を受けて顧客環境に特化したRAGシステムの開発に着手
PSソリューションズは、ソフトバンクグループの一員としてITソリューション事業とITアウトソーシング事業を展開しています。当初はソフトバンクのグループ企業のIT領域やバックオフィス領域の業務サポートを中心としてきた同社ですが、近年はそのノウハウを活かして中小企業向けにコーポレートIT業務やシステム開発業務をサポートするビジネスに注力しています。
その第一弾として、同社は中小企業向けITサポートサービス「IT with」を2024年2月から提供開始。同年8月で導入社数2,000社を突破し、現在も順調にユーザーを獲得しています。
「IT withは、専任のIT担当者が不在であったり、総務担当者がIT業務を兼務しており工数を割けないといった課題を抱えている中小企業様向けに企画したサポートサービスです。PCの調達からキッティング、ヘルプデスク、ソフトウェアやSaaSのアカウント管理、セキュリティ対策、PC・OA機器の買取・廃棄まで、IT業務全般を一括でサポートできるのが大きな強みです」（三菅さん）IT withでは、ヘルプデスクサービスとしてITに関する相談に答えるAIチャットボットを標準で提供しています。今回同社は、ユーザーからの要望を受けて導入先の企業で利用しているシステムやIT機器に特化した質問に答える新たなAIチャットボット（RAG）を開発しました。
「標準のAIチャットボットは、これまでのノウハウを体系化したデータを使用したもので、一般的なIT管理に関する回答を返すものです。お客様からは、そういった一般的な回答だけでなく、自社のIT業務や導入しているシステムに特化した質問や問い合わせに対応してくれる専用のチャットボットが欲しいという声が寄せられていました。そこでお客様が保有するシステムのマニュアルや業務フローに即した回答を24時間365日返すことができるRAGシステムを開発し、IT withのオプションサービスとして提供することにしました」（三菅さん）
RAGの開発実績が豊富で、提案内容も的確なクラスメソッドに技術支援を要請
RAGシステムは、IT withのサービスプラットフォームに採用しているアマゾン ウェブ サービス（AWS）上に構築することとし、検索サービスにAmazon Kendra、生成AIサービスにAmazon Bedrockを採用。技術支援のパートナーは複数社に相談を持ちかけた中から、提案内容が的確で技術力にも信頼が置けるクラスメソッドを採用しました。「当社にとって本格的な生成AIを活用した自社サービスの内製開発は初めてのことで、チャレンジングな試みです。クラスメソッドはRAGシステムの開発実績が豊富で、相談した際にアウトプットの大まかなイメージを示していただけたことが採用の決め手になりました。以前、別の案件でご一緒したことがあり、仕事の進め方もイメージできていましたし、今回も私たちの質問に対する回答が非常に的確でしたので、技術力に関しても安心して任せられると判断しました」（南部さん）
RAGの回答精度改善を中心にプロジェクトを実施
プロジェクトは2024年12月から2025年2月末にかけて3カ月間で実施。Amazon Bedrockを呼び出すためのAPI実装、Amazon Kendraの構築および設定、RAGの回答精度改善の3つを中心に行いました。
その中でも中心的な取り組みが、2025年1月から2月にかけて実施したRAGの回答精度改善です。同社が企画したRAGシステムは、チャットでユーザーの質問を受け付けた後、回答精度を高めるためにいったんAmazon Bedrockで質問内容を要約し、検索クエリを生成するステップを踏みます。次に生成した検索クエリをもとにAmazon Kendraでドキュメントを検索し、ヒットしたドキュメントからAmazon Bedrockが回答を生成してユーザーに返すロジックです。
今回はAmazon Bedrockで質問内容を要約してクエリを生成するロジック、および生成AIに入力するプロンプトの改善を実施。大規模言語モデル（LLM）もClaude 3.5 Sonnetへとアップグレードしました。
加えて、回答精度改善に向けた技術支援のなかでは、検索対象となるドキュメントへの前処理にもクラスメソッドの知見が活かされました。
「当初はAmazon Kendraの検索時に精度が落ちるという課題がありましたが、ドキュメントのデータにあらかじめ下処理を行うことで検索精度を高めることができました。それによって当初50％程度だった回答精度が一気に80％以上に向上しました。またプロンプトの改善ではクラスメソッドのノウハウを投入することで回答精度を高めるとともに、回答できない質問に誤って回答するハルシネーションも抑えることができました」（南部さん）
開発自体を効率化する工夫としては、精度の評価を自動化するスクリプトを作成しました。今回のRAGシステムの開発において、評価に活用したドキュメントは同社の規程類を含めた約150ファイル。主にITヘルプデスク関連、人事関連、総務関連のドキュメントを社内のセキュリティ部門の許可を得たうえでピックアップし、想定されるあらゆる質問に対する回答精度を評価しました。「1回の精度検証に100問程度の質問を用意し、チャットボットが生成した回答をあらかじめ作成しておいた正解データと比較する形で評価しました。この検証作業を人力で実施すると1回に半日以上を要してしまいます。そこで、質問の作成からドキュメントの投入、回答を評価するまでの作業を自動化するスクリプトをクラスメソッドに作成していただきました。そのおかげで1回の検証に半日かかっていたものが30分程度に短縮され、大幅に工数を削減することができました」（松本さん）
課題解決を積極的にリードするクラスメソッドの姿勢を評価
技術支援を行ったクラスメソッドについて同社は、AWSに関する知識の豊富さと技術力の高さを評価しています。
「プロジェクト中、毎日30分程度実施した朝会が効果的でした。開発中は日々新たな課題が発生しますが、朝会の中で課題に対する対策方法や開発プロセスをクラスメソッドに確認しながら進めたことで、翌日まで持ち越すことなくその日のうちに解決することできました。開発フェーズと検証フェーズの2つに分かれたプロジェクトの中では、それぞれのフェーズに合わせたプロフェッショナルをアサインいただけたことも助かりました」（南部さん）
「受け身での支援ではなく、課題を自主的に見つけて、それに対する提案をいただけたことも助かりました。評価を自動化するスクリプトの開発は当初のスコープに入っていませんでしたが、途中でクラスメソッドの担当者から提案を受けて導入が決まり、結果として大きな成果を得ることができました」（松本さん）
「当事者意識を強く持ち親身になって解決策を考えていただけたことが印象に残っています。当初は50％程度の精度が限界と考えていたところ、クラスメソッドの担当者から“もっと高い精度を目指したいです”と言われたことが励みになりました」（三菅さん）
回答精度だけでなく回答不可の質問を判定する精度も大きく向上
クラスメソッドの支援を受けて実施したRAGシステムの回答精度向上の取り組みは、同社が想定する以上の成果となりました。検索対象のドキュメントをもとに回答可能な質問への回答精度は最大で99％を達成。回答できるドキュメントがない質問を判定する精度（ハルシネーションの抑制）も最大87％と支援の実施前と比較して大幅に改善されています。
「当初の想定以上の精度で、驚いています。回答不可の質問の判定に対しても『検索対象のドキュメントがありません』と明確に回答可能になることで、サービス品質を大きく高めることができました」（松本さん）
RAGシステムの開発と精度検証はクラスメソッドの支援が終了した後も続き、2025年3月末にお客様の社内ドキュメントを検索対象とした新AIチャットボットをリリースしました。
「既存のお客様にリリースをお伝えしたところ、“使ってみたい”といった反響が多くあり、トライアルへの申込みをいただいています。お客様としても自社でRAGを構築する必要がなく、精度向上のフォローアップも当社側に任せることができるので、手間なく安心して導入いただけると思います」（三菅さん）
「生成AIを使ったサービス開発はほぼ初めての私たちが自身でRAGを開発してリリースできたこと、また生成AIの開発ノウハウが蓄積できたことは、会社全体の技術力の底上げにつながりました。個人的にも生成AIを活用してお客様の業務の効率化に貢献できる喜びは大きく、会社としても新しい強みを身に付けられたと手応えを感じています」（南部さん）
生成AIの活用領域を拡大しながらお客様の業務効率化に貢献へ
今後については、既存のお客様を中心に新しいAIチャットサービスを提供し、フィードバックを受けながら回答精度の向上に取り組む方針です。さらに、IT withにおける生成AIの適用範囲の拡大に向けて、お客様のあらゆる要望に対応する構想を描いています。
「RAGによる問い合わせ業務の効率化は、IT withを導入したお客様にとって一部でしかありません。PSソリューションズとしては、社内ITに関する困りごとをすべて解決することを目指しています。今後も生成AIが活用できる領域を検討しながら、お客様の期待に応えていきます。クラスメソッドには企画のアイデアも含めて、開発や検証などで支援をいただければと思います」（三菅さん）
コーポレートIT担当者が安心して業務に取り組める環境の実現を目指すPSソリューションズ。クラスメソッドは生成AIを活用した同社に取り組みを支援してまいります。
