アイデミー、RAGシステムなどのLLMによる出力の品質管理を行うクラウドサービス「LLM品質管理クラウド」を開発へ

編集部
2024年10月12日

AIニュースの要約

株式会社アイデミーが新たに「LLM品質管理クラウド」を開発決定。
このクラウドサービスは、LLMが生成する出力結果の評価・管理を自動化。
RAGシステムの品質評価の手間とコストを削減し、企業による生成AI活用の環境を整備。
主要機能にはテストプロンプト管理、CI/CDパイプラインの統合、定期的なレポーティングが含まれる。
補償サービスや倫理・法的なガイドラインの適応も視野に入れている。

AIニュースの背景（推測）

生成AI技術の急速な進展により、多くの企業が業務に取り入れるようになっています。しかし、RAGシステムを含むLLMの出力には不正確さや倫理的リスクが残るため、信頼性の確保が求められています。これに伴い、出力結果の品質管理の重要性が増しており、特に企業が生成AIを安全に効果的に使用するためのインフラが急務となっています。また、法的ガイドラインも存在し、安全性と倫理性を確保するためのツールが必要とされています。

AIニュースの内容（詳細）

アイデミーが開発する「LLM品質管理クラウド」は、生成AIの出力を評価するためのクラウドプラットフォームです。このサービスは、企業がRAGシステムを用いたLLMの出力を安定的に管理できるように設計されており、以下の主要機能が含まれています。

テストプロンプト管理機能: RAGシステムが期待する出力を確認するため、テストプロンプトを登録し、一括実行によって結果が得られます。OKと判定された出力は、以後も自動で監視される仕組みになっています。
CI/CDパイプラインの統合: 自動実行を可能にし、評価結果をCI/CDパイプラインにフィードバックすることで、問題があればプロセスを中断することができます。
定期実行と結果のレポーティング: LLMのアップデートなどによって出力が劣化する可能性があるため、定期的にテストプロンプトを実行し、レポートを提供します。
セキュリティリスクと倫理的・法的リスクへの対応: プロンプトインジェクションやジェルブレイクといったリスクに対処し、経済産業省の「AI事業者ガイドライン」に準拠したプロンプト群が提供されます。
将来的な機能: フィードバックの取込み、カスタマイズ可能なポリシー設定、API接続による他システムとの連携、地域ごとの倫理・法律ガイドラインへの適応、リアルタイムモニタリングなど、様々な機能が追加予定です。

さらに、重大な瑕疵が出力された場合には、一定額までの財務的補償サービスも提供され、リスク管理を強化します。このように、「LLM品質管理クラウド」は企業に安心して生成AIを利用してもらうための多角的なソリューションを提供します。

ビジネスで活用する方法・可能性

「LLM品質管理クラウド」は、企業が生成AIを導入し、運用する際に多くのメリットを提供できる可能性があります。

安心安全な生成AIの利用: 自動化された品質管理機能により、出力結果の信頼性が向上し、企業の業務で安心して生成AIを活用できます。
効率性の向上: 手動での評価作業が削減でき、従業員がより戦略的な業務に集中できるようになります。また、CI/CDパイプラインとの統合により、開発プロセスが一層スムーズになります。
コンプライアンスの確保: 法的なリスクを軽減するために、地域や業種に応じたプロンプト群やガイドラインを適用できるため、コンプライアンスを事前に確保できる点が魅力です。
フィードバックの活用: エンドユーザーからのフィードバックを取り入れることで、出力結果の精度向上が期待できます。これにより、サービスの質も増進されます。
グローバル展開の支援: 各国の法規制や倫理基準に対応できるため、国際的なビジネス展開を予定している企業にとっても非常に有益です。
リスク管理とコンサルティング: 財務的補償サービスや広報支援も含め、生成AIに特化したリスク管理が実現するため、安心して新たなテクノロジーをビジネスに取り入れられます。

このように、「LLM品質管理クラウド」は、企業が新しい時代の生成AI技術を最大限に活用し、持続可能かつ効率的なビジネス戦略を構築するための重要なステップとなり得ます。将来的には、さらなる機能追加やサービスのアップデートによって、さらに多様なビジネスニーズに応えることが期待されています。

アイデミー、RAGシステムなどのLLMによる出力の品質管理を行うクラウドサービス「LLM品質管理クラウド」を開発へ〜 RAGシステムの品質評価の煩雑さを大幅に削減〜株式会社アイデミー2024年10月11日 15時30分2 デジタル変革に伴走する株式会社アイデミー（本社：東京都千代田区、代表取締役執行役員社長石川聡彦、以下「アイデミー」）は、LLM（Large Language Models：大規模言語モデル）が生成する出力結果の品質を評価・管理する新しいクラウドサービス「LLM品質管理クラウド」をリリースすることを決定しました。本サービスは、企業や組織がRAG（Retrieval-Augmented Generation）システムに代表されるLLMを活用したシステムをより安心して活用できる環境を提供するために、生成結果の品質評価の手間とコストを削減することを目指しています。
【サービスが必要とされる背景】
生成AIの急速な発展により、多くの企業や組織が日常業務や戦略的活動に生成AIを取り入れるようになっています。生成AIは、資料作成、コーディング、カスタマーサポート、マーケティングなど、多岐にわたる分野で革新的なソリューションを提供しています。その中でも社内ドキュメントの検索を組み合わせることで回答精度を向上させることができるRAGシステムの需要は高まっております。

しかし、RAGシステムであっても、その出力結果が不正確であったり、倫理的・法的なリスクをはらんでいたり、バイアスを含んでいたりする可能性があります。また、LLM による出力は、同一のプロンプトであっても一字一句同じとは限らないため機械的な評価がしづらく、目視でチェックしたりLLMによってチェックをする仕組みを整えたりする必要があり、非常に煩雑です。さらに、一度チェックしたからOKというわけではなく

AIプレスリリース本文はこちら
出典　PR TIMES