聊天機器人胡言亂語？牛津研究人員利用語義熵來識破 AI“幻覺”快訊
通過檢測語義熵，研究人員旨在判斷 LLM 的輸出內容是否存在，LLM 也仍然可能出錯。
6 月 24 日消息，近年來，人工智能蓬勃發展，聊天機器人等應用逐漸普及，人們可以通過簡單的指令從這些聊天機器人（例如 ChatGPT）獲取信息。然而，這些聊天機器人仍然容易出現“幻覺”問題，即提供錯誤的答案，有時甚至是危險的信息。
造成“幻覺”的原因之一是訓練數據不準確、泛化能力不足以及數據采集過程中的副作用。不過，牛津大學的研究人員另辟蹊徑，在最新出版的《自然》雜志上詳細介紹了一種他們新開發的方法，用于檢測大型語言模型 (LLMs) 的“捏造” (即任意生成的不正確信息) 問題。
LLM 通過在訓練數據中尋找特定模式來生成答案。但這種方法并非總是奏效，就像人類能從云朵形狀中看到動物一樣，AI 機器人也可能找到并不存在的模式。然而，人類知道云朵只是形狀而已，天上并沒有漂浮的巨型大象。LLM 則可能將此視為真實的，從而“捏造”出并不存在的新科技和其他虛假信息。
牛津大學的研究人員利用語義熵的概念，通過概率來判斷 LLM 是否出現“幻覺”。語義熵指的是同一個詞語擁有多種含義的情況，例如，“desert”可以指沙漠，也可以表示拋棄某人。當 LLM 使用這類詞語時，可能會對表達的含義感到困惑。通過檢測語義熵，研究人員旨在判斷 LLM 的輸出內容是否存在“幻覺”的可能。
利用語義熵的優勢在于無需額外的監督或強化學習，即可快速檢測 LLM 的“幻覺”問題。由于該方法不依賴于特定任務的數據，因此即使 LLM 面臨從未遇到過的新任務，也能加以應用。這將大大提升用戶對于 LLM 的信任感，即使是 AI 首次遇到某個問題或指令。
研究團隊表示：“我們的方法可以幫助用戶理解何時需要對 LLM 的輸出保持謹慎，并為原本因不可靠性而受限的 LLM 應用開辟了新天地。”
如果語義熵被證明是一種有效的“幻覺”檢測手段，那么我們可以利用這類工具對人工智能的輸出進行雙重校驗，使其成為更加可靠的伙伴。不過IT之家需要提醒的是，就像人類并非無懈可擊一樣，即使配備了最先進的錯誤檢測工具，LLM 也仍然可能出錯。因此，始終對 ChatGPT 等聊天機器人提供的答案進行仔細核查仍然是明智之舉。（遠洋）
1.TMT觀察網遵循行業規范，任何轉載的稿件都會明確標注作者和來源；
2.TMT觀察網的原創文章，請轉載時務必注明文章作者和"來源：TMT觀察網"，不尊重原創的行為TMT觀察網或將追究責任；
3.作者投稿可能會經TMT觀察網編輯修改或補充。
