OpenAI語音轉(zhuǎn)寫工具Whisper被曝存在重大缺陷：會憑空生成大段虛假內(nèi)容快訊
在他用 Whisper 生成的 26000 份轉(zhuǎn)錄中，研究人員和工程師在工作中經(jīng)常遇到 Whisper 的，研究人員認(rèn)為。
10 月 28 日消息，當(dāng)?shù)貢r(shí)間 27 日，據(jù)美聯(lián)社報(bào)道，超過十位軟件工程師、開發(fā)人員和學(xué)術(shù)研究人員稱，OpenAI 的語音轉(zhuǎn)寫工具 Whisper 存在一個(gè)重大缺陷：有時(shí)會憑空生成大段甚至整句虛假內(nèi)容。
這些專家指出，這些生成的文本（注：業(yè)內(nèi)通常稱為“AI 幻覺”）可能涉及種族言論、暴力措辭，甚至杜撰的醫(yī)療建議。
專家們認(rèn)為，這一問題尤其令人擔(dān)憂，因?yàn)?Whisper 已被廣泛應(yīng)用于全球多個(gè)行業(yè)，包括用于翻譯和轉(zhuǎn)錄訪談內(nèi)容、生成常見消費(fèi)科技文本及制作視頻字幕。
更具風(fēng)險(xiǎn)的是，盡管 OpenAI 已提醒不應(yīng)在“高風(fēng)險(xiǎn)領(lǐng)域”使用該工具，但一些醫(yī)療機(jī)構(gòu)仍在匆忙采用基于 Whisper 的工具來記錄醫(yī)生與患者的咨詢記錄。
報(bào)道稱，研究人員和工程師在工作中經(jīng)常遇到 Whisper 的“幻覺”現(xiàn)象，問題的整體規(guī)模尚不清楚。例如，密歇根大學(xué)一位研究員在研究公共會議時(shí)發(fā)現(xiàn)，在嘗試改進(jìn)模型前，他所檢查的十份音頻轉(zhuǎn)錄中，八份含有虛構(gòu)內(nèi)容。
一位機(jī)器學(xué)習(xí)工程師透露，在最初分析的超過 100 小時(shí) Whisper 轉(zhuǎn)錄中，他發(fā)現(xiàn)大約一半的內(nèi)容存在“幻覺”現(xiàn)象。一位開發(fā)人員進(jìn)一步指出，在他用 Whisper 生成的 26000 份轉(zhuǎn)錄中，幾乎每一份都帶有虛構(gòu)內(nèi)容。
即便是音質(zhì)良好的簡短音頻樣本，也未能幸免于這些問題。計(jì)算機(jī)科學(xué)家們的最新研究表明，他們審查的 13000 多段清晰音頻片段中，有 187 段出現(xiàn)了“幻覺”現(xiàn)象。
研究人員認(rèn)為，這一趨勢意味著，在數(shù)百萬條錄音中將可能出現(xiàn)數(shù)以萬計(jì)的錯(cuò)誤轉(zhuǎn)錄。
OpenAI 的發(fā)言人表示，該公司持續(xù)研究如何減少幻覺，并且感謝研究者的發(fā)現(xiàn)，將會在模型更新中采納反饋。（清源）
1.TMT觀察網(wǎng)遵循行業(yè)規(guī)范，任何轉(zhuǎn)載的稿件都會明確標(biāo)注作者和來源；
2.TMT觀察網(wǎng)的原創(chuàng)文章，請轉(zhuǎn)載時(shí)務(wù)必注明文章作者和"來源：TMT觀察網(wǎng)"，不尊重原創(chuàng)的行為TMT觀察網(wǎng)或?qū)⒆肪控?zé)任；
3.作者投稿可能會經(jīng)TMT觀察網(wǎng)編輯修改或補(bǔ)充。
