オルツ、LLMハルシネーションの自動評価エンジンを開発
共同通信PRワイヤー / 2024年5月9日 11時0分
オルツ、LLMハルシネーションの自動評価エンジンを開発
~ハルシネーション自動スコアリングで、生成AIの誤出力の発生を発見可能に~
2024年5月9日
株式会社オルツ
P.A.I.®️(パーソナル人工知能)をはじめ、AIクローン技術でつくり出すパーソナルAIの開発および実用化を行う株式会社オルツ(本社:東京都港区、代表取締役:米倉 千貴、以下、オルツ)は、2024年5月9日に、大規模言語モデル(LLM)におけるハルシネーションをスコアリングする手法の開発に成功したことを発表いたします。
【画像:https://kyodonewsprwire.jp/img/202405080490-O1-38u55sYN】
「ハルシネーション」とは、LLMがまるで幻覚を見ているかのように、正当性がなく、事実に基づかない虚偽の回答をしてしまう現象です。このようにLLMが誤った情報を出力することは、企業や個人にとって深刻な信頼問題を引き起こす可能性があるだけでなく、LLMの今後の応用にも大きな障壁となっています。
オルツでは、以前から独自の大規模言語モデルを開発・提供しており、この開発の経験を活かし、ハルシネーション問題を解決する研究開発を続けてまいりました。この度、ハルシネーションを解決する方法の一つとして、ハルシネーションが発生するか否かを判定し、その発生確率(ハルシネーション・スコア)を自動的に評価できる手法を独自に発明し、「ハルシネーション自動評価エンジン」を開発いたしました。
本開発における実験では、本「ハルシネーション自動評価エンジン」は、JcommonsenseQAデータセットから作成した擬似評価セットにおいて72%の正解率でハルシネーションの判定を実現しました。本エンジンは、オルツが独自に開発してきた軽量型大規模言語モデル「LHTM-OPT」だけではなく、GPT-3.5、Llama2など、様々なLLMのハルシネーションのスコアリングが可能になります。
また、本エンジンは、一貫性を重視してハルシネーションの評価を行います。具体的には、同じ入力データに基づいて複数の生成プロセスを行い、これらの結果を比較します。このアプローチにより、生成された内容における不一致や矛盾を特定し、それに基づいて「ハルシネーション」、すなわち、学習データや事実に基づかない不正確な生成物が生じているかどうかを確率的に評価します。
「ハルシネーション自動評価エンジン」は、当社の「alt developer」のAPIサービスを通じて提供を開始いたしました。(alt Developer:https://developer.alt.ai/api-doc.html#tag/LHTM-OPT/operation/lhtm-opt-completion)
-
- 1
- 2
この記事に関連するニュース
-
オルツ、GNIおよびガバナンス・パートナーズと連携しJV組成へ
共同通信PRワイヤー / 2024年5月15日 18時0分
-
オルツ、ハルシネーションを自動スコアリングし発見可能とする技術を開発
マイナビニュース / 2024年5月9日 15時10分
-
オルツ、LLMハルシネーションの自動評価エンジンを開発
PR TIMES / 2024年5月9日 13時45分
-
オルツ、Stability AIと共同で画像生成AIの新たなユースケースの検討を開始
PR TIMES / 2024年5月8日 14時15分
-
オルツ、Stability AIと共同で画像生成AIの新たなユースケースの検討を開始
共同通信PRワイヤー / 2024年5月8日 11時0分
ランキング
-
1イオンの「幸せの黄色いレシート」キャンペーン。レシートを使って寄付したいけど、不良品を「返品」できなくなるの?「寄附」と「レシート保管」を両立させる方法を解説
ファイナンシャルフィールド / 2024年5月19日 5時10分
-
2健康サプリを「毎月3万円」購入する80代の母。本人は「健康のため」と言いますが、解約させるべき?
ファイナンシャルフィールド / 2024年5月19日 3時0分
-
3コロナ禍で売上げ95%減となった「地球の歩き方」 Ⅴ字回復遂げ新分野に挑戦 岩塚製菓のおつまみスティックとコラボ
食品新聞 / 2024年5月19日 20時14分
-
430年以上塩漬け「阿蘇ソフトの村」用地、投資額の38分の1で県売却へ…TSMC進出に伴う需要期待
読売新聞 / 2024年5月20日 6時51分
-
5「EVは自動車保険入れません」...中国EVいよいよヤバいのか!?
ニューズウィーク日本版 / 2024年5月17日 11時55分
複数ページをまたぐ記事です
記事の最終ページでミッション達成してください