數字人的AB面：在元宇宙中過氣，在AIGC中重生
來源：光錐智能作者：郝 鑫“29800元一年的虛擬主播，號稱24小時不停播，月入十幾萬，實際上卻是關鍵詞都不能回復，播了半個月，直播間還因違規被快手封禁，最終投訴無門、退款無果。&
5 月 22 日消息，科技媒體 marktechpost 昨日（5 月 21 日）發布博文，報道稱 Meta 公司推出 J1 系列模型，通過強化學習和合成數據訓練，顯著提升判斷模型準確性和公平性。
項目背景
大型語言模型（LLM）正在突破傳統角色，逐步承擔起評估與判斷的重任。這種“LLM-as-a-Judge”的模式，讓 AI 模型能夠審查其他語言模型的輸出，成為強化學習、基準測試和系統對齊的重要工具。
不同于傳統的獎勵模型直接打分，判斷模型通過內部鏈式推理（chain-of-thought reasoning）模擬人類思考，特別適合數學解題、倫理推理和用戶意圖解讀等復雜任務，還能跨語言和領域驗證回應，推動語言模型開發的自動化和擴展性。
不過“LLM-as-a-Judge”模式目前面臨的挑戰是一致性差和推理深度不足，許多系統依賴基本指標或靜態標注，無法有效評估主觀或開放性問題；另一個問題就是位置偏見（position bias）答案順序常影響最終判斷，損害公平性。
此外，大規模收集人工標注數據成本高昂且耗時，限制了模型的泛化能力。EvalPlanner 和 DeepSeek-GRM 等現有解決方案依賴人工標注或僵化訓練模式，適應性有限。
J1 模型的創新突破
為解決上述問題，Meta 的 GenAI 和 FAIR 團隊研發了 J1 模型。J1 通過強化學習框架訓練，采用可驗證的獎勵信號學習，使用 22000 個合成偏好對（包括 17000 個 WildChat 語料和 5000 個數學查詢）構建數據集，訓練出 J1-Llama-8B 和 J1-Llama-70B 兩款模型。
團隊還引入 Group Relative Policy Optimization（GRPO）算法，簡化訓練過程，并通過位置無關學習（position-agnostic learning）和一致性獎勵機制消除位置偏見。
J1 支持多種判斷格式，包括成對判斷、評分和單項評分，展現出極高的靈活性和通用性。
測試結果顯示，J1 模型性能大幅領先。在 PPE 基準測試中，J1-Llama-70B 準確率達 69.6%，超越 DeepSeek-GRM-27B（67.2%）和 EvalPlanner-Llama-70B（65.6%）；即便是較小的 J1-Llama-8B，也以 62.2% 的成績擊敗 EvalPlanner-Llama-8B（55.5%）。
J1 還在 RewardBench、JudgeBench 等多個基準測試中展現出頂級表現，證明其在可驗證和主觀任務上的強大泛化能力，表明推理質量而非數據量，是判斷模型精準的關鍵。
本文鏈接：http://www.rrqrq.com/showinfo-45-13122-0.htmlMeta 推出 J1 系列模型：革新 LLM-as-a-Judge，打造最強“AI 法官”
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：[email protected]
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：[email protected] 津ICP備18001702號
津公網安備 12010102000574號