RAGチャットボットで高精度の回答を実現
AWS上での生成AI開発の知見獲得により社内活用を加速

株式会社キッツ

執行理事 CIO/IT統括センター長 石島貴司 様
IT統括センター ビジネスシステム第1部 IT一般管理グループ長 田中智治 様
IT統括センター ビジネスシステム第1部 IT一般管理グループ 野田智美 様
IT統括センター ITインフラサービス部 ITデジタルプラットフォームグループ 原夏美 様
株式会社キッツ
公開日:2025年4月9日
BEFORE
  • 自社開発した生成AIチャットボットの回答精度の向上が必要
  • 生成AIの社内活用を目指して開発の知見を獲得したい
  • 人事/総務関連の問い合わせ回答に膨大な工数が発生
AFTER
  • Knowledge Basesの活用で実用に適した高精度の回答を実現
  • RAGチャットボットの改善を通して生成AIの知見を獲得
  • 社内発表で反響を呼び人事/総務部門以外での活用も検討

世界有数の総合バルブメーカーとして、生活インフラや産業インフラを支える株式会社キッツ。生成AIに関する知見の獲得を目指す同社は、クラスメソッドの技術支援を受けてアマゾン ウェブ サービス(AWS)のAIを活用した人事/総務部門向けの文書検索チャットボットを開発しました。2カ月間のPoCで求める回答精度が得られたことから、第2フェーズとして実業務での利用に向けた開発をスタートしています。同社の生成AI活用の取り組みと、チャットボット開発のプロジェクトについて、CIOの石島さん、プロジェクトメンバーの田中さん、野田さん、原さんにお話をうかがいました。

技術研究会のテーマを「生成AI」に定めて社内メンバーによる知見の獲得へ

配管内を流れる水・空気・石油・ガスなどの流体をコントロールする流体制御技術で水やエネルギーの安定供給や各種産業活動を支えるキッツ。1951年の創業から70年以上にわたり、安心で快適に暮らせる社会づくりに貢献してきました。近年は「デジタル」と「グリーン」をテーマに、データセンターや半導体製造装置向けの特殊バルブ、ファインケミカルや医薬市場向けの製品、カーボンニュートラル社会に貢献する水素用バルブといった成長市場への挑戦を加速しています。

新規の市場・商品・商流の拡大に向けてデジタルの力が不可欠と考える同社は、2022年にIT統括センター内で「デジタル技術研究会(以下、技術研究会)」を立ち上げました。

株式会社キッツ 「IT統括センターでは、キッツの業務をサポートするさまざまなシステムの開発を担っています。日夜新たな技術が登場する中、積極的に業務の中に取りこんでいかなければ企業としての成長はありません。そこで部門内で先端技術への感度を高め、評価し、使ってみることを目的に、技術研究会の活動を開始しました」(石島さん)

技術研究会では、IT統括センターのメンバーが、設計開発、製造、営業マーケティング、サプライチェーン、バックオフィスなどの業務部門のメンバーと組んでチームを作り、年間テーマを決めて課題解決に取り組んでいます。そして2024年のテーマに選んだのが「生成AI」です。

「世の中が生成AIで一色の中、当社だけが取り残されることがないよう、まずは自分たちで生成AIに触れて特徴や難易度などを理解する目的でテーマを設定しました。業務をサポートするためには現場の意見も必要ということで、業務側の担当者にもチームへの参加をお願いしました」(石島さん)

RAGチャットボットの精度向上支援をクラスメソッドに依頼

技術研究会では、担当領域ごとに6つのチームに分かれて業務課題を検討しました。チームのひとつで、バックオフィスのシステム開発を担当するビジネスシステム第1部 IT一般管理グループは、人事/総務部門向けに社内文書を自然言語で検索して自動的に回答を作成するRAG(検索拡張生成)を用いたチャットボットを開発することにしました。

株式会社キッツ 社員数1,461名(2024年12月)で、全国に製造・営業拠点があり、開発から製造、メンテナンスまでカバーする同社では、就業規則、休暇、給与関連の問い合わせが人事/総務部門に数多く寄せられます。しかし問い合わせ件数が膨大なために、これまで6人月分の工数が割かれていました。

「回答の負荷を軽減するため解決策として社内ポータル上にFAQを作成し、徐々に回答を追加していくことで質問数を減らそうという試みを重ねてきました。しかし想定以上にメンテナンスの負荷がかかり、課題解決まで至りませんでした。そこでFAQに代わる仕組みとして、RAGチャットボットに着目しました」(田中さん)

プロジェクト開始当初はAWSジャパンに相談しながら、チームのメンバーだけで開発を進めてきました。最初は検索サービスのAmazon Kendraと、生成AIサービスのAmazon Bedrockによる構成で検証したものの、思ったほどの精度が得られません。そこでクラスメソッドに精度向上のための技術支援を要請したのが今回のプロジェクトに至った経緯です。

株式会社キッツ 「最初に作ったチャットボットの回答精度について、人事総務の担当者からの評価は50点と低いものでした。間違った内容をもっともらしく回答するハルシネーションの発生も課題でした。このままでは実務に使えないということで、クラスメソッドにアドバイスを求めました」(野田さん)

同社とクラスメソッドは数年前からAWS関連のサーバー構築などの案件で取引があり、そこでの実績を評価して依頼を決めたといいます。

「AWSの最上位パートナーであることはもちろんのこと、これまでにさまざまな案件で親身になって相談に乗ってくれたことや、AIに関する技術力の高さなどを鑑みて、信頼できるクラスメソッドに技術支援を依頼しました」(石島さん)

Knowledge Basesの採用とオプションの活用で高い回答精度を実現

RAGチャットボットの回答精度を高めるプロジェクトは、2024年10月下旬から開始し、技術研究会の社内発表会が行われる12月中旬までの約2カ月で実施しました。限られた期間で目的を達成するため、AWS環境で生成AIを検証するためのユースケース集を備えたGenerative AI Use Cases JP(GenU)を活用し、Amazon Kendra+Amazon Bedrockによる従来構成(全文検索)をベクトル検索のAmazon Bedrock Knowledge Basesに変更しました。

「より高い精度が得られるということで、クラスメソッドから提案されたKnowledge Basesを採用しました。プロジェクトでは機能要件の洗い出しから、GenUの導入手順案内、導入作業の立ち会い、導入に関するQ&A対応で支援をいただきました。この変更により精度はかなり改善されたものの、あと一歩というところでした。そこで具体的な誤答のケースを挙げて再度クラスメソッドに相談したところ、Knowledge Basesのオプションの有効化を教えていただき、目標の精度に収めることができました」(野田さん)

株式会社キッツ プロジェクト中はBacklogを活用してレビューや技術的なQ&A対応を依頼したほか、週1回の定例ミーティングを通して生成AIに関するレクチャーを受けたり、質問を投げかけたりしました。

「チームの中には生成AIやAWSに詳しくないメンバーも多くいたため、クラスメソッドは生成AIに関する全般的な知識から、GenUを扱うための具体的な注意点まで幅広く教えてくれました。担当者のレベルに合わせた言葉選びをしてくれるため理解しやすく、スキルの獲得につながったと感じます。印象に残っているのが、定例会の前にアイスブレイク的に行うクイズの時間です。前回の定例会で学んだことを中心に『RAGとは何の略か?』『生成AIの正式名称は?』といった問題を、クラスメソッドの担当者が1人ひとりのメンバーに出題していきました。それにより復習が進んだと同時に、定例会の場も温まり、楽しみながら取り組むことができました」(原さん)

技術研究会の社内向け発表会で全社から大きな反響を獲得

検証用として約2カ月で開発した人事/総務部門向けのRAGチャットボットは、2024年12月の技術研究会の発表会でお披露目し、発表の内容は全社に公開されました。発表会を見た業務部門からは、高い反響が寄せられたといいます。

「回答精度が向上し、ハルシネーションを抑えたことで、当初50点と評価していた人事/総務部門の担当者には“すぐに公開してもいいレベル”とお墨付きをもらいました。別部署の経理部門の担当者からも、“うちでも導入してみたい”といった声が届いています」(田中さん)

プロジェクトチームにおいても、身を持って開発を体験したことで生成AIに関する技術の習得と蓄積が進みました。さらに今回のプロジェクトで石島さんが掲げていた「生成AIのすごさを全社員が身近に感じる」という裏テーマについても一定の手応えを得ています。

「社員は生成AIを使いたいと思っている一方、ユースケースがイメージできないことから、積極的に使う姿勢が見えていませんでした。そこでまずは全社員が使用する人事/総務系の問い合わせ窓口にチャットボットを採用することで、生成AIを体感してほしいという狙いがありました。今回の取り組みを通して、生成AIで自分の仕事が楽になることを全社員に示すことができましたので、これから社内に活用が拡がっていくことを期待しています」(石島さん)

株式会社キッツ

2025年度上期中の本番リリースを目標に開発を継続

技術研究会では、IT一般管理グループによる人事/総務部門向けRAGチャットボット以外にも、営業関連、サプライチェーン関連、設計関連の部門など5つのチームがそれぞれ別のベンダーと組んで生成AI関連のアプリケーション開発に取り組み、PoCレベルで一定の成果を得ています。そこで2025年のテーマも「生成AI」とし、6つのチームがそれぞれ2025年度上期中の本番リリースを目標に開発を継続していく計画です。

「人事/総務部門のRAGチャットについては、第2フェーズとして引き続きクラスメソッドに技術支援をお願いし、全社員が利用するための権限管理機能の実装などを進めていきます。検索対象の文書も社内の規程集だけに留まらず、法令文書にも拡大して判例に基づく回答が生成できるように強化していく予定です。さらに今回の実績を受けて、他チームの生成AIアプリケーション開発においてもクラスメソッドに参画してもらい、力を借りられればと考えています」(石島さん)

生成AIの活用が「当たり前になる未来」に向けては、技術研究会と別の独立した形でAIに特化したCoEプロジェクトを2025年度中に立ち上げる計画で、すでに案件化に向けた構想も始まっています。

「生成AIを体感する社員が増えると今後はあれもしたい、これもしたいといった要望が増えて来ることが想定されます。それに備えてデータの整備から、AI技術の選定、ベンダー選定までをカバーする専門部隊を立ち上げて支援していく予定です。すでにAIによる専門人材の育成や、熟練技術者の匠の技を継承するAIなどのアイデアがありますので、クラスメソッドには今後も日夜進化するAIに関する最新技術の紹介を期待しています」(石島さん)

サステナビリティ経営を中核に据えてDX・BXを推進するキッツ。クラスメソッドは、AI技術の支援を通してキッツの未来創造に貢献していきます。

この事例は生成AIコンサルティングをご利用いただいています

クラスメソッドではChatGPTやAmazon Bedrockなどの各種生成AIサービスの選定からインフラ構築、アプリ開発まで様々な形で支援を行っています。社内検証からアプリのチューニングまで、生成AI活用はお気軽にお問合せください。

生成AIコンサルティング
生成AI

お客様の業界・課題に合った事例や支援内容も個別にご提案可能です。
まずはお気軽にご連絡ください。

まずは資料請求
クラスメソッドのことが
よくわかる資料を用意しました
0120-991-668 平日9:30〜18:30 お問い合わせ