豆蔵AIテクニカルセクターが論文発表、生成AIの「自分で間違っているとわかるにも関わらず間違いを出力する」現象を発見

～LLMを活用する際の問題提起、LLMの性能評価に論理的思考力を～

2025-11-11 11:00

株式会社豆蔵(本社：東京都新宿区、代表取締役社長：中原徹也、以下豆蔵)が生成AIの研究論文を発表したことをお知らせいたします。豆蔵のAIテクニカルセクター所属の石川真之介、藤堂真登、立教大学大学院人工知能科学研究科(所在地：東京都豊島区、研究科委員長：大西立顕)による研究グループは、大規模言語モデル(Large Language Model, LLM)が、与えられた情報に対し、実際には存在しない誤った規則性を見出してしまうことがあると発見しました。特筆すべきは、そのような誤った規則性についてLLM自身に検証を行わせたところ、「その規則性は存在しない」と正しく判断できる場合も少なくないことが分かりました。つまり、LLMは自ら誤りであると判断できる規則性を、存在すると主張してしまうことがあるということです。このような挙動は、社会においてLLMを活用していく際に問題となる可能性があります。

この成果をまとめた論文“The Idola Tribus of AI: Large Language Models tend to perceive order where none exists”が、計算言語学会(Association for Computational Linguistics, ACL)が主催する、自然言語処理分野を代表する国際会議の1つである The 2025 Conference on Empirical Methods in Natural Language Processing(EMNLP 2025： https://2025.emnlp.org/ )にFindings(本会議での採択に次ぐカテゴリ)として採択されました。中国・蘇州にて開催されるEMNLP 2025にて、2025年11月5日に発表しました。

生成AI活用と論理的思考力

LLMを含む生成AIが広く社会で活用されるようになりつつあります。LLM活用においては、LLM自身がもともと持っていない、社内の情報などを参照して応答をできるようにするRetrieval-Augmented Generation(RAG)、LLMに外部システムと連携させる等して複数のステップが必要なタスクを実行させるAIエージェント等、様々な活用技術が発展しています(参考：AI技術チームによる技術発信第16回：AIエージェントとは ―その定義と活用例のご紹介― https://www.mamezou.com/techinfo/ai_machinelearning_rpa/ai_tech_team/16 )。
LLM活用にあたっては、必要な知識を参照できる場合に、LLMが適切な応答、判断ができることが前提となります。そのために必要と考えられるのが、LLMの論理的思考能力、すなわち情報に基づいて論理的に判断を下す能力です。もしLLMの論理的思考力が十分でない場合には、RAGやAIエージェントの枠組みにおいて適切な情報を参照できた場合でも、誤った応答、対応をしてしまうリスクがあることになります。
LLMの論理的思考力を評価する試みはこれまで多数行われてきていますが、「この結論はこの前提から導出可能か」という、演繹能力に注目したものが中心でした。一方、社会における現実的なタスクに対応するためには、演繹能力だけでなく、与えられた情報から状況の全体像を把握する、帰納的な側面についても対応できる能力が必要です。

LLMの論理的思考力の評価

われわれは、これまで注目されてこなかったLLMの純粋な論理的思考力の帰納的な側面について評価するため、事前知識の有無の影響を受けない、「数列から規則性を導く」というタスクを設定しました。具体的な問題設定をしてしまうと、知識の欠如により誤った出力をする現象(ハルシネーション)との区別が曖昧になります。数列の規則性という、事前知識の必要ない認識タスクを評価することで、情報獲得とは独立に論理的思考に対するリスクを評価できます。
実験の結果、評価した5つのLLM(OpenAI o3, o4-mini, GPT-4.1, Meta Llama 3.3, Google Gemini 2.5 Flash Preview Thinking)の全てにおいて、存在しない規則性が存在すると主張することがあることがわかりました。
評価したLLMの中では誤りが比較的少なかったo3について、出力された誤った規則性が本当に存在するのかを検証させたところ、そのような規則性は存在しないと結論づけることが少なからずありました。これは、o3モデルが「自分自身で誤っていることがわかるにも関わらず、存在しない規則性を出力することがある」ことを初めて系統的に示した結果となります。
今回発見した、情報不足ではないにも関わらず誤った出力をする場合があるという事実は、LLM活用において大きなリスク要因となる可能性があります。LLM活用においては、どのようなリスクがどの程度発生しうるかを評価し、可能な限りリスクを低減する方策を検討し、残ったリスクを許容できるかどうかを見極めることが必要となると考えられます。

豆蔵の生成AI活用関連サービス

豆蔵では、AIエージェントの検討・実装を含む生成AIの活用支援サービスを提供しています。生成AIの導入検討からRAGシステムの構築まで、貴社の課題及び環境に合わせ、リスクの評価も行いながら最適なソリューションをご提案いたします。
また、システム開発の上流工程を生成AIを用いて支援するサービス「おしごとモデルズ(R)」を提供しています。「おしごとモデルズ(R)」により、「だれでも」「かんたんに」要求開発を行うことができます。
生成AI関連以外でも、先端的なAI技術を用いたデータ利活用支援サービスを提供しております。AI技術チームのメンバーをはじめ、最新の技術に対する知見を持ち、実務としてのAI技術活用の経験豊富なコンサルタントが、貴社の課題解決をお手伝いいたします。

豆蔵AIテクニカルセクターについて

豆蔵では、AIに関する独自技術を含む専門的知見を、特定のサービス領域だけでなく、豆蔵が提供する各サービス領域と連携するため、全社横断的なAI事業の中核組織である「AIテクニカルセクター」を設立しています。今回論文発表する研究成果をはじめとする先端的なAI技術の活用を、幅広いサービスにおいて展開していきます。

論文情報

Shin-nosuke Ishikawa, Masato Todo, Taiki Ogihara and Hirotsugu Ohba 2025, “The Idola Tribus of AI: Large Language Models tend to perceive order where none exists.”
会議収録： https://aclanthology.org/2025.findings-emnlp.681/
Arxiv　： https://arxiv.org/abs/2510.09709

株式会社豆蔵　概要

所在地：東京都新宿区西新宿2-1-1 新宿三井ビルディング34階
設立　： 2020年11月
代表者：代表取締役社長　中原徹也
資本金： 130,714,250円
URL　： https://mamezo.tech/

豆蔵AIテクニカルセクターが論文発表、生成AIの 「自分で間違っているとわかるにも関わらず間違いを出力する」 現象を発見