欧美日韩午夜精品不卡综合-欧美日韩系列-欧美日韩小视频-欧美日韩性-成人五月网-成人五级毛片免费播放

二維碼
企資網

掃一掃關注

當前位置: 首頁 » 企資頭條 » 人物 » 正文

禁止大型語言模型胡編亂造_給點外部知識_推理靠

放大字體  縮小字體 發(fā)布日期:2023-02-19 19:02:32    瀏覽次數(shù):123
導讀

選自arXiv作者:Hangfeng He等機器之心編譯編輯:王楷該研究提出的 RR(Rethinking with Retrieval)方法不需要額外的訓練或微調,也不受大型語言模型(LLM)輸入長度限制,在常識推理、時間推理和表格推理任務中顯

選自arXiv

作者:Hangfeng He等

機器之心編譯

編輯:王楷

該研究提出的 RR(Rethinking with Retrieval)方法不需要額外的訓練或微調,也不受大型語言模型(LLM)輸入長度限制,在常識推理、時間推理和表格推理任務中顯著提高了 LLM 性能。

大型語言模型 (LLM) 已通過 In-context Learning 在各種復雜任務上展現(xiàn)出卓越的性能,并且無需針對特定任務進行訓練或微調,近期 prompt 和解碼方面取得的進展也使 LLM 解決復雜推理任務變成了現(xiàn)實。

然而,LLM 可能會存儲過時、不全面或不正確的知識,要將 LLM 成功部署到實際應用中,外部知識來源(例如維基百科)至關重要。此前,人們嘗試將知識用于較小的語言模型 (LM),例如 T5、BERT 和 RoBERTa,但這些方法通常需要額外的訓練或微調,成本高昂,對于 LLM 來說完全不切實際。

基于此,來自羅徹斯特大學、騰訊 AI Lab 和賓夕法尼亞大學的研究者聯(lián)合提出了一種稱為 Rethinking with Retrieval (RR) 的后處理方法,以在 LLM 中利用外部知識。

論文地址:https://arxiv.org/pdf/2301.00303v1.pdf

該研究的思路是首先使用思維鏈 (chain-of-thought,CoT) prompting 方法生成一組不同的推理路徑,類似于 Wang et al. (2022) 的方法。然后該研究使用這些路徑中的每個推理步驟來檢索相關的外部知識,讓 RR 方法可以提供更合理的解釋和更準確的預測。

該研究使用 GPT-3 175B 和幾種常見的外部知識源(維基百科、維基數(shù)據(jù)、WordNet 和 Conceptnet)來評估 RR 方法在三個復雜推理任務上的有效性,包括常識推理、時序推理和表格推理。實驗結果表明,無需額外的訓練或微調,RR 在這三項任務上始終優(yōu)于其他方法,這表明 RR 方法在利用外部知識來提高 LLM 性能方面具有很大優(yōu)勢。

利用檢索進行重新思考

實際上,盡管 LLM 已準確捕捉了回答問題所需的要素,但這些模型有時還是會生成錯誤的結果。這種現(xiàn)象說明 LLM 存儲和檢索知識的方式存在一些問題,包括:

  • 預訓練語料庫中存在過時、不正確或缺失的相關知識;
  • 預訓練時對相關知識的存儲有誤;
  • 推理階段對相關知識的錯誤檢索。

    RR 方法的大致思路如下:給定一個輸入問題 Q,RR 方法先利用思維鏈(chain-of though)prompting 生成一組不同的推理路徑 R_1、R_2、……、R_N,其中每個推理路徑 R_i 由解釋 E_i 和跟在其后的預測 P_i 組成,然后再從合適的知識庫 KB 中檢索相關知識 K_1、……、K_M 來支持每個推理路徑中的解釋,并選擇最符合該知識的預測

    思維鏈(CoT)prompting。與標準 prompting 明顯不同,CoT prompting 包括在 prompting 中進行分步推理實例演示來生成一系列捕獲推理過程的短句。

    例如,給定輸入問題:「亞里士多德使用筆記本電腦嗎?」CoT prompting 旨在生成完整的推理路徑:

    CoT prompting 的推理過程為:「亞里士多德死于公元前 322 年。第一臺筆記本電腦于 1980 年發(fā)明。因此,亞里士多德沒有使用筆記本電腦。所以答案是 no。」而非簡單地輸出「No」。

    對不同的推理路徑采樣。與 Wang et al. (2022) 相似,該研究對一組不同的推理路徑 R_1、R_2、……、R_N 進行了采樣,而不是像 Wei et al. (2022) 那樣只考慮最優(yōu)比例路徑(greedy path)。對于「亞里士多德是否使用筆記本電腦?」這一問題,可能的推理路徑如下:

    (R_1) 亞里士多德死于 2000 年。第一臺筆記本電腦發(fā)明于 1980 年。因此,亞里士多德使用過筆記本電腦。所以該問題的答案為是。

    (R_2) 亞里士多德于公元前 322 年去世。第一臺筆記本電腦發(fā)明于 2000 年。因此,亞里士多德沒有使用過筆記本電腦。所以答案為否。

    知識檢索。不同的知識庫可以用來處理不同的任務。例如,為了解決「亞里士多德使用筆記本電腦了嗎?」這個問題,我們可以使用維基百科作為外部知識庫 KB。信息檢索技術可用于基于分解的推理步驟從維基百科中檢索相關知識 K_1、……K_M。理想情況下,針對此問題我們可以從維基百科中獲得以下兩段內容:

    (K_1) 亞里士多德(公元前 384 至公元前 322 年)是古希臘古典時期的希臘哲學家和博學大師

    (K_2) 第一臺筆記本電腦 Epson HX-20 于 1980 年發(fā)明……

    忠實的推理。我們可以使用函數(shù) f_KB(R_i)來估算每個推理路徑 R_i 的置信度,該函數(shù)建立在從知識庫 KB 檢索的相關知識 K_1、……、K_M 基礎之上。最終的預測可以通過運用以下推斷過程來獲得:

    實驗評估

    本節(jié)中,該研究介紹了 RR 在三個復雜推理任務上的評估:常識推理、時序推理和表格推理。

    實驗設置。在所有實驗中,除非另有說明,該研究都使用 GPT-3 text-davinci-002。實驗完成期間生成的最大 token 數(shù)量被設置為 256,zero-shot、few-shot 以及 chain-of-thought prompting,溫度參數(shù)(temperature)固定設置為 0。

    結果。如表 1 所示,本文提出的方法 RR,在所有三個推理任務上始終優(yōu)于所有基準,而無需額外的訓練或微調。這些結果凸顯出了 RR 在利用外部知識提高 LLM 表現(xiàn)方面的有效性。

    該研究在 StrategyQA 數(shù)據(jù)集上展示了帶有 CoT prompting 方法的關于 GPT-3 的分析。在仔細檢查 GPT-3 的輸出后,該研究觀察到 RR 可以為許多問題提供合理的解釋和正確的預測。例如,當給出「佐治亞州的奧爾巴尼會在紐約州的奧爾巴尼之前先達到十萬名住戶嗎?」這個問題時,GPT-3 產生了以下輸出:

    總體來看對于問題的輸出答案質量很高。然而,該研究也觀察到 GPT-3 可能偶爾會為其解釋提供不正確的事實支持,或為其預測做出不正確的推理,盡管它通常能夠識別出合適的觀點。

    錯誤的支持事實。如表 2 所示,GPT-3 為 Lil Jon 在 Billboard 榜單中排名最高的歌曲提供了錯誤的事實支持,指出排名最高的歌曲是 Get Low 而非正確答案 Yeah。另外,GPT-3 還做出了錯誤的推理,即富士山的山頂不會高于日本海,而不是正確答案會高于。

    更多技術細節(jié)請參閱原論文。

  •  
    (文/小編)
    打賞
    免責聲明
    本文為小編推薦作品?作者: 小編。歡迎轉載,轉載請注明原文出處:http://www.syqk.com.cn/news/show-322918.html 。本文僅代表作者個人觀點,本站未對其內容進行核實,請讀者僅做參考,如若文中涉及有違公德、觸犯法律的內容,一經發(fā)現(xiàn),立即刪除,作者需自行承擔相應責任。涉及到版權或其他問題,請及時聯(lián)系我們郵件:weilaitui@qq.com。
     

    Copyright ? 2016 - 2023 - 企資網 48903.COM All Rights Reserved 粵公網安備 44030702000589號

    粵ICP備16078936號

    微信

    關注
    微信

    微信二維碼

    WAP二維碼

    客服

    聯(lián)系
    客服

    聯(lián)系客服:

    在線QQ: 303377504

    客服電話: 020-82301567

    E_mail郵箱: weilaitui@qq.com

    微信公眾號: weishitui

    客服001 客服002 客服003

    工作時間:

    周一至周五: 09:00 - 18:00

    反饋

    用戶
    反饋

    主站蜘蛛池模板: 国产精品精品 | 伊人网五月天 | 草草草在线 | 九九九国产 | 精品一区二区三区三区 | 成人免费一级片 | 免看一级a一片成人123 | 午夜一级影院 | 国产精品特级毛片一区二区三区 | 国产中文字幕在线播放 | 456主播喷水在线观看 | 亚洲欧美日韩综合一区久久 | 亚洲激情视频网站 | 手机毛片 | 美女视频大全视频a免费九 美女视频大全网站免费 | 欧美成人性色生活片天天看 | 成人午夜在线视频 | 精品亚洲综合久久中文字幕 | 在线亚洲日产一区二区 | 国产高清视频免费观看 | 欧美特级毛片aaaa | 亚洲视频高清 | 欧美大片无尺码在线观看 | 亚洲日本欧美产综合在线 | 久久福利资源网站免费看 | 中文字幕成人免费高清在线 | 99国产精品视频久久久久 | 成在线人视频免费视频 | 国产欧美精品三区 | 午夜亚洲国产成人不卡在线 | 亚洲精品专区一区二区三区 | 久久久黄色片 | 欧美一级毛片免费看视频 | 欧美三级在线观看视频 | 国产成人啪精品午夜在线观看 | 色毛片 | 日日碰碰 | 美女黄色一级片 | 成 人 黄 色 激 情视频网站 | 日韩在线一区二区 | 亚洲波多野结衣日韩在线 |