3 月 2 日消息，科技媒體 marktechpost 昨日（3 月 1 日）發(fā)布博文，報道稱騰訊 AI Lab 攜手香港中文大學，提出名為“無監(jiān)督前綴微調”（UPFT）的創(chuàng)新方法，顯著提升了大型語言模型的推理效率。62X28資訊網——每日最新資訊28at.com

該方法無需處理完整的推理過程，只需關注模型輸出的前 8 至 32 個詞元（token），即可有效改進模型的推理能力。UPFT 抓住了不同推理路徑中共同的關鍵早期步驟，在降低計算開銷的同時，實現(xiàn)了推理性能的提升。62X28資訊網——每日最新資訊28at.com

大型語言模型在語言理解和生成方面表現(xiàn)出色，但提升其推理能力仍然是一項挑戰(zhàn)。傳統(tǒng)微調方法依賴大量標注數(shù)據(jù)或復雜的拒絕采樣，資源消耗巨大。UPFT 則另辟蹊徑，通過聚焦模型輸出的初始 tokens，解決了效率和對昂貴監(jiān)督的依賴問題。62X28資訊網——每日最新資訊28at.com

研究發(fā)現(xiàn)，針對同一問題，模型生成的各種推理路徑的初始步驟往往高度相似，UPFT 正是基于這種“前綴自洽性”，無需完整推理軌跡或大量標注數(shù)據(jù)，僅使用這些初始標記進行訓練。62X28資訊網——每日最新資訊28at.com

62X28資訊網——每日最新資訊28at.com

UPFT 采用貝葉斯推理原理，將正確推理的概率分解為“覆蓋率”和“準確性”兩部分。通過訓練早期 tokens，UPFT 在探索多樣化推理路徑的同時，確保了結果的可靠性。實驗表明，UPFT 可將訓練中處理的 tokens 數(shù)量減少高達 95%，并顯著降低時間和內存需求。62X28資訊網——每日最新資訊28at.com

UPFT 在 GSM8K、MATH500、AIME2024 和 GPQA 等推理基準測試中表現(xiàn)優(yōu)異。例如，在 Qwen2.5-Math-7B-Instruct 模型上，UPFT 在減少訓練和推理 tokens 的同時，提升了平均準確率。在復雜推理任務中，UPFT 的性能提升尤為顯著，表明早期推理步驟包含解決問題的關鍵信息。62X28資訊網——每日最新資訊28at.com

62X28資訊網——每日最新資訊28at.com

附上參考地址62X28資訊網——每日最新資訊28at.com

The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models62X28資訊網——每日最新資訊28at.com

Tencent AI Lab Introduces Unsupervised Prefix Fine-Tuning (UPFT): An Efficient Method that Trains Models on only the First 8-32 Tokens of Single Self-Generated Solutions62X28資訊網——每日最新資訊28at.com

本文鏈接：http://www.rrqrq.com/showinfo-45-11338-0.html騰訊攜手創(chuàng)新“無監(jiān)督前綴微調”技術：訓練 tokens 最多減少 95%，提升 AI 推理效率

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯(lián)系，我們將在第一時間刪除處理。郵件：[email protected]

上一篇： 清華大學 2025 年將適度擴招本科生，重點培養(yǎng)“AI+”拔尖創(chuàng)新人才

下一篇： GPT-4.5 性能提升有限、成本卻激增 30 倍，OpenAI 面臨性價比質疑