【論点】RAGの運用フェーズで意識すべきこととは？

RAGは構築後の運用で成果が変わる

RAGを導入して生成AI（LLM）を活用する際に自社固有の業務関連データを利用できるようにすることはゴールではなく、導入後も利用し続けて成果を継続的に得ることがゴールです。まずは有効性を確かめるためのPoCのみにフォーカスが当たることが多いですが、実際にはその先を見据えていくことが重要です。

RAG運用フェーズの論点

1.利用者のUI

RAGを用いた生成AI活用においては、利用する人にUIを提供することになります。利用する人が当該業務で利用しやすいUIにしておかないと使われなくなってしまったり、せっかく生成AIを活用した回答が表示されても信頼されない・利用されないということが起きる可能性があります。

PoCなどから始める場合、初期構築時にはまずシンプルに動くMVP（Minimum Viable Product）レベルで提供することも多いため、利用者の利用データの確認やヒアリングなどを通じた継続的なUI改善を行うことが望ましいと考えられます。

2.格納データのアップデート

RAGの初期構築時から1ヶ月、2ヶ月と経過すると当時格納した情報よりも新しい情報が社内に蓄積されていきます。この新しい情報を継続的にRAGに格納しておかないと、ずっと古い情報をベースとした回答が利用者に提供されることになり、提供する回答の質を担保することができません。

RAGを活用した生成AIの回答は格納しているデータに依存していることを念頭に、データごとの更新頻度、更新の重要性などを整理して運用計画を立てておく必要があると考えられます。

3.定期的な評価

RAG導入の目的は特定の業務において生成AIを活用することであるため、定期的に利用に関する評価を行う必要があります。導入目的を達成できているか（業務に対して期待する効果が出ているか）が一番上位ですが、それだけでなく、生成された回答を利用者が信頼して業務に活用しているか、利用者が投げかけた1つ1つの質問に対して適切に回答できているか、なども評価の対象として考えられます。

定期的な評価を行うことで改善点が洗い出され、業務システムとして価値を発揮し続けることが可能になります。

マイクロウェーブによるRAG導入・運用のご提案

マイクロウェーブでは業務システムの構築やUI設計に実績・知見があり、RAGによる生成AIを業務システムとして活用する際にも応用しています。またRAG構築のエンジン部分を開発し、自社ソリューションとしてご提供しているためスピーディかつリーズナブルにRAGを導入することが可能です。ぜひご相談くださいませ。

• RAGソリューション （別窓で開く）