AI大模型“戰(zhàn)火”燒到了教育領(lǐng)域
作者：劉曠自2023年開年以來(lái)，AI大模型這股風(fēng)是越吹越猛烈了。隨著ChatGPT的出圈爆火，再度掀起了一波AI熱浪，無(wú)論是在國(guó)內(nèi)還是國(guó)外都有不少企業(yè)宣布入局或者跟進(jìn)AI大模型領(lǐng)域。與
讓大模型破譯從未見過(guò)的甲骨文，準(zhǔn)確率拿下新 SOTA！
來(lái)自復(fù)旦大學(xué)的研究人員提出了一種基于部首和象形分析的可解釋甲骨文破譯框架 —— 不僅在公開基準(zhǔn)數(shù)據(jù)集 HUST-OBC 和 EV-OBC 上，達(dá)到最先進(jìn)的 Top-10 識(shí)別準(zhǔn)確率以及優(yōu)異的零樣本破譯能力。
而且面對(duì)未破譯甲骨文，所提方法也能夠輸出可解釋性的分析文本，從而為考古破譯工作提供潛在幫助。
事實(shí)上，作為最古老的成熟文字系統(tǒng)，甲骨文長(zhǎng)期以來(lái)因其稀有性、抽象性和象形多樣性，給考古破譯工作帶來(lái)了重大挑戰(zhàn)。
當(dāng)前基于深度學(xué)習(xí)的方法在甲骨文破譯任務(wù)上取得了令人鼓舞的進(jìn)展，但現(xiàn)有方法往往忽視了甲骨文字形與語(yǔ)義之間的復(fù)雜關(guān)聯(lián)。
這導(dǎo)致了有限的泛化能力和可解釋性，尤其是在處理零樣本場(chǎng)景和未破譯的甲骨文時(shí)。
為此，本文提出了一種基于大型視覺語(yǔ)言模型的可解釋甲骨文破譯方法，該方法通過(guò)聯(lián)合部首分析與象形語(yǔ)義理解，彌合了甲骨文字形與語(yǔ)意之間的鴻溝。
下面具體來(lái)看 ——
首個(gè)象形解析甲骨文破譯數(shù)據(jù)集概括而言，團(tuán)隊(duì)提出了一種漸進(jìn)式訓(xùn)練策略，引導(dǎo)模型從部首識(shí)別和部首分析，過(guò)渡到象形分析，最后進(jìn)行部首-象形交互分析，從而實(shí)現(xiàn)從字形到字意的推理。
論文還設(shè)計(jì)了基于分析結(jié)果的“部首-象形雙重匹配機(jī)制”，顯著提升了模型的零樣本破譯性能。
為便于模型訓(xùn)練，論文提出了包含 47,157 個(gè)漢字的象形破譯甲骨文數(shù)據(jù)集，其中部分漢字具有相應(yīng)甲骨文圖像和古代字體圖像，所有漢字都具備現(xiàn)代楷書圖像、部首分析和象形分析標(biāo)注。
先說(shuō)數(shù)據(jù)集。
盡管現(xiàn)有視覺語(yǔ)言大模型在多種任務(wù)上表現(xiàn)優(yōu)異，但仍難以直接應(yīng)用于甲骨文破譯任務(wù)。
為解決這一挑戰(zhàn)，論文提出了象形破譯甲骨文（PD-OBS）數(shù)據(jù)集，用于訓(xùn)練具備甲骨文象形分析能力的視覺語(yǔ)言大模型，這對(duì)甲骨文破譯任務(wù)具有重要意義。
PD-OBS 數(shù)據(jù)集共包含 47,157 個(gè)漢字。其中，3173 個(gè)漢字與從公開的 HUST-OBC 和 EVOBC 數(shù)據(jù)集收集的甲骨文圖像相關(guān)聯(lián)；10,968 個(gè)漢字提供了來(lái)自字形庫(kù)的古代隸書圖像；所有漢字均配有來(lái)自《漢典》的現(xiàn)代楷書圖像。
除圖像數(shù)據(jù)外，每個(gè)漢字均通過(guò)文本形式標(biāo)注了部首分析和象形分析，這兩者均與漢字的語(yǔ)義含義密切相關(guān)。
標(biāo)注過(guò)程分為三個(gè)階段，如圖 1 所示。
首先，通過(guò)漢典從《說(shuō)文解字》（一部古代漢語(yǔ)詞典）中檢索每個(gè)漢字的部首標(biāo)簽、定義及解釋。
其次，將獲取的部首標(biāo)簽及其解釋與每個(gè)漢字的現(xiàn)代、古代字體和甲骨文圖像關(guān)聯(lián)。接著，利用 GPT-4.1 基于參考的字形圖像豐富部首標(biāo)簽，并總結(jié)分析內(nèi)容。
最后，通過(guò) GPT-4.1 進(jìn)行自我檢查和人工修正來(lái)確保數(shù)據(jù)集的整體質(zhì)量。
整體框架基于 Qwen2.5-VL-7B 構(gòu)建，共享相同的視覺編碼器和大型語(yǔ)言模型（LLM）。
如圖 2 所示，研究人員引入了一個(gè)空間 patch 合并模塊作為視覺適配器，以及一個(gè)分類器來(lái)預(yù)測(cè)部首標(biāo)簽，并且還提出了部首 LoRA 和象形 LoRA 模塊來(lái)分析相應(yīng)的信息。
此外，研究人員設(shè)計(jì)了一種漸進(jìn)式訓(xùn)練方法，從部首識(shí)別開始，接著進(jìn)行部首和象形分析，最終實(shí)現(xiàn)聯(lián)合分析，以逐步引導(dǎo)模型完成甲骨文破譯任務(wù)。
還提出了一個(gè)新穎的部首-象形雙重匹配機(jī)制，以從數(shù)據(jù)庫(kù)中選擇最合適的字符。
在本階段，研究人員的目標(biāo)是將視覺編碼器適配于甲骨文的獨(dú)特視覺風(fēng)格，并預(yù)測(cè)用于下游推理的關(guān)鍵信息 —— 部首標(biāo)簽。
為此，團(tuán)隊(duì)設(shè)計(jì)了一個(gè)空間 patch 合并模塊作為視覺適配器，該適配器將高維視覺特征壓縮并聚合為預(yù)設(shè)維度的特征向量，作為甲骨文的抽象表示。
此外，研究人員基于歐式距離設(shè)計(jì)了一個(gè)三元組損失函數(shù)，以明確提升不同部首特征向量之間的區(qū)分度。
具體而言，團(tuán)隊(duì)實(shí)施了一種采樣策略，確保每個(gè)批次中每個(gè)部首類別至少包含兩個(gè)樣本。
在訓(xùn)練過(guò)程中，對(duì)于批次中的每個(gè)樣本，將它的特征向量 Vn 指定為錨點(diǎn)，然后選擇一個(gè)正樣本（即具有相同根部標(biāo)簽的樣本）和一個(gè)負(fù)樣本（即具有不同根部標(biāo)簽的樣本）。
三元組損失如下：
關(guān)于分類器，研究人員使用交叉熵?fù)p失來(lái)優(yōu)化它。因此，本階段的整個(gè)損失函數(shù)可以表示如下：
為了在甲骨文中實(shí)現(xiàn)字形與意義的關(guān)聯(lián)，研究人員設(shè)計(jì)了一個(gè)漸進(jìn)式的字形分析過(guò)程，以促進(jìn)破譯任務(wù)的完成。
在甲骨文和古代漢字中，部首通常決定了字的基本語(yǔ)義，如圖 3 中的 Q1&A1 所示。
因此，團(tuán)隊(duì)利用 PD-OBS 數(shù)據(jù)集構(gòu)建的大量部首分析問答對(duì)對(duì)模型進(jìn)行部首分析能力的訓(xùn)練。
接下來(lái)引導(dǎo)模型對(duì)整個(gè)字符進(jìn)行象形分析，以分析字形蘊(yùn)含的語(yǔ)意，如圖 3 中的 Q2&A2 所示。
最后，研究人員設(shè)計(jì)了一個(gè)聯(lián)合分析步驟，以解決僅憑象形分析可能無(wú)法直接預(yù)測(cè)正確對(duì)應(yīng)現(xiàn)代漢字的情況。此步驟通過(guò)部首分析的結(jié)果指導(dǎo)象形分析，從而獲得更準(zhǔn)確的漢字含義，如圖 3 中的 Q3&A3 所示。此階段通過(guò)交叉熵?fù)p失來(lái)優(yōu)化模型。
以下為部首-象形聯(lián)合分析示意圖：
經(jīng)過(guò)前兩個(gè)階段后，團(tuán)隊(duì)為每個(gè)測(cè)試字符生成了四個(gè)中間結(jié)果：預(yù)測(cè)的部首標(biāo)簽、部首分析、象形分析以及聯(lián)合分析結(jié)果。
研究人員提出了一種基于詞典的雙重匹配機(jī)制用于破譯。給定來(lái)自 PD-OBS 數(shù)據(jù)集的候選詞典 D，該機(jī)制的工作流程如下：
首先，根據(jù)預(yù)測(cè)的部首標(biāo)過(guò)濾候選項(xiàng)，然后根據(jù)象形分析之間的語(yǔ)義相似性選擇前 k 個(gè)條目。
其次，將預(yù)測(cè)的部首分析與部首信息增強(qiáng)的象形分析結(jié)果進(jìn)行拼接，并通過(guò)相似性進(jìn)行排序。
最后，將這些候選集合并并重新排序，以獲得前 k 個(gè)現(xiàn)代漢字作為破譯結(jié)果。
所有步驟和符號(hào)在圖 4 中詳細(xì)說(shuō)明。
值得注意的是，團(tuán)隊(duì)采用匹配機(jī)制而非直接輸出破譯結(jié)果，這有助于緩解模型在零樣本設(shè)置下因訓(xùn)練數(shù)據(jù)中缺乏此類甲骨文而導(dǎo)致的泛化能力不足問題，以及未破譯甲骨文帶來(lái)的影響。
以下為部首象形雙重匹配算法：
研究人員在 HUST-OBC 和 EV-OBC 數(shù)據(jù)集上對(duì)所提方法和現(xiàn)有方法進(jìn)行了評(píng)估，從每個(gè)數(shù)據(jù)集中選取 200 個(gè)字符類別作為零樣本測(cè)試集。
剩余數(shù)據(jù)以 9:1 的比例隨機(jī)劃分為訓(xùn)練集和驗(yàn)證集，以評(píng)估新框架及現(xiàn)有方法的甲骨文識(shí)別能力。
與先前研究一致，團(tuán)隊(duì)采用 Top-1 和 Top-10 準(zhǔn)確率作為評(píng)估指標(biāo)，該指標(biāo)通常用于各類分類任務(wù)。
為了系統(tǒng)地評(píng)估新方法在甲骨文破譯中的有效性，團(tuán)隊(duì)在兩個(gè)基準(zhǔn)數(shù)據(jù)集 HUST-OBC 和 EV-OBC 進(jìn)行了全面比較，分別在驗(yàn)證集和零樣本設(shè)置下進(jìn)行，如表 1 所示。
注意，每個(gè)單元格分別顯示 Top-1（左）和 Top-10（右）的準(zhǔn)確率（%）。最佳結(jié)果和次佳結(jié)果分別以粗體和下劃線標(biāo)注。
團(tuán)隊(duì)采用 InceptionV3、ViT 和 PyGT 作為基于分類模型的代表方法，以及 OBSD 和 BBDM 作為基于擴(kuò)散模型的代表方法。由于缺乏開源實(shí)現(xiàn)和數(shù)據(jù)集設(shè)置的不一致，現(xiàn)有基于組成式的方法目前未被納入比較方法。
作為替代，研究人員納入了強(qiáng)大的商用 LVLM，GPT-4.1 和 Qwen-VL-Max 用于比較。
相比之下，商用 LVLM 在兩種設(shè)置下表現(xiàn)不佳，Top-1 準(zhǔn)確率始終低于 6%，這說(shuō)明了其理解古代文字視覺結(jié)構(gòu)的能力受限。
在驗(yàn)證集上，盡管新方法的 Top-1 準(zhǔn)確率略低于最佳分類模型基線（如 PyGT），但它實(shí)現(xiàn)了最高的 Top-10 準(zhǔn)確率，展示了生成高質(zhì)量候選項(xiàng)的優(yōu)越能力，并提供了更大的實(shí)際用途。
在更具挑戰(zhàn)性的零樣本場(chǎng)景中，新方法表現(xiàn)出顯著的優(yōu)異性能：
在 Top-1 準(zhǔn)確率方面仍具競(jìng)爭(zhēng)力，并在 Top-10 準(zhǔn)確率方面顯著超越所有方法，在 HUST-OBC 數(shù)據(jù)集上比第二好的方法高出 26.2%，在 EV-OBC 數(shù)據(jù)集上則高出 13.6%。
這些結(jié)果證實(shí)了新方法在未見過(guò)的甲骨文上的強(qiáng)泛化能力和可遷移性，突顯了其在考古研究中輔助識(shí)別未破譯甲骨文方面的潛在價(jià)值。
2、破譯的可解釋性評(píng)估為了定量評(píng)估新方法生成的部首分析和象形分析的準(zhǔn)確率，研究人員采用 BERT-Score 來(lái)衡量 Top-1 輸出與字典 D 中真實(shí)分析標(biāo)注之間的相似性。
團(tuán)隊(duì)還評(píng)估了其他大型視覺語(yǔ)言模型，包括 GPT-4.1、Qwen-VL-Max 和 Qwen2.5-VL-7B，并比較了它們?cè)?HUST-OBC 和 EVOBC 數(shù)據(jù)集的驗(yàn)證集和零樣本測(cè)試集的平均 BERT-Score。
如表 2 所示，新方法在驗(yàn)證集和零樣本設(shè)置下，分別平均比最先進(jìn)的 LVLM 模型 GPT-4.1 高出 21.60% 和 12.95%，在兩個(gè)數(shù)據(jù)集上。
這一結(jié)果表明，新框架生成的分析結(jié)果更加可靠。
下表為，不同方法在驗(yàn)證集上獲得的 Bert-Score（%）。Valid.和 S 分別表示驗(yàn)證集和零樣本測(cè)試集。
為了評(píng)估設(shè)計(jì)的部首識(shí)別階段的有效性，研究人員以 Qwen2.5-VL-7B 的原始視覺編碼器作為基線，并分別集成部首識(shí)別模塊以及基于 LoRA 的識(shí)別方法。
其識(shí)別準(zhǔn)確率在 HUST-OBS 數(shù)據(jù)集上進(jìn)行了驗(yàn)證，并包含驗(yàn)證集和零樣本設(shè)置。
新方法在基線視覺編碼器上引入了空間補(bǔ)丁合并和損失函數(shù) Ltrip，分別在驗(yàn)證集和零樣本設(shè)置下實(shí)現(xiàn)了 0.9% 和 1.2% 的準(zhǔn)確率提升。
基于 LoRA 的識(shí)別方法將識(shí)別階段與部首分析過(guò)程合并，并采用基于 LoRA 的微調(diào)進(jìn)行訓(xùn)練。
實(shí)驗(yàn)結(jié)果表明，該方法導(dǎo)致部首識(shí)別準(zhǔn)確率顯著下降，從而在部首分析中引入大量錯(cuò)誤，因此研究人員在框架中將部首識(shí)別保留為獨(dú)立階段。
下表為，關(guān)于部首識(shí)別的消融實(shí)驗(yàn)結(jié)果：
為了驗(yàn)證團(tuán)隊(duì)提出的模塊和策略的有效性，他們以 Qwen2.5-VL-7B 作為基線，并逐步添加每個(gè)組件以形成最終模型。
在驗(yàn)證集和零樣本設(shè)置下的 Top-1 和 Top-10 性能如表 4 所示。
結(jié)果表明，LoRA 微調(diào)（+LoRA）在驗(yàn)證集上實(shí)現(xiàn)了基本的破譯能力，但在零樣本場(chǎng)景下仍缺乏泛化能力。
引入部首-象形互分析與部首識(shí)別后，模型在驗(yàn)證集上的準(zhǔn)確率持續(xù)提升，但零樣本能力的提升仍非常有限。
主要原因在于通過(guò) LoRA 基于監(jiān)督式微調(diào)訓(xùn)練的模型缺乏足夠的泛化能力，常無(wú)法生成罕見字符 —— 這是零樣本場(chǎng)景中的常見挑戰(zhàn)。
為解決此問題，團(tuán)隊(duì)引入了部首-象形雙匹配機(jī)制，以替代直接預(yù)測(cè)。
該策略不僅顯著提升了模型的零樣本性能，還增強(qiáng)了甲骨文中與語(yǔ)義無(wú)關(guān)的部首的魯棒性，確保了解碼結(jié)果的可靠性和可驗(yàn)證性。
4、定性實(shí)驗(yàn)圖 5 展示了新方法以及 OBSD 方法在三種設(shè)置下的定性結(jié)果：驗(yàn)證集、零樣本和未破譯的甲骨文。
如圖所示，團(tuán)隊(duì)的模型在驗(yàn)證集上展現(xiàn)出強(qiáng)大的識(shí)別能力，并在零樣本設(shè)置下對(duì)未見過(guò)的甲骨文也具有良好的泛化能力。
更值得注意的是，對(duì)于人類專家尚未破譯的字符，模型能夠生成語(yǔ)義上合理的預(yù)測(cè)，并附帶可解釋的分析。
其設(shè)計(jì)的部首-象形相互分析在其中發(fā)揮了關(guān)鍵作用：部首分析追溯部首的結(jié)構(gòu)起源，并解釋其在當(dāng)前字符形式中的象征功能。
同時(shí)，象形形式分析基于字符的整體形狀和隱含意義，提供了一個(gè)整體的視覺-語(yǔ)義映射。
這些互補(bǔ)的分析共同形成了一條雙重推理路徑，提升了模型生成語(yǔ)義基礎(chǔ)且可解釋輸出的能力，即使對(duì)于尚未破譯的字符也是如此。
下表為，破譯結(jié)果和可解釋性過(guò)程展示：
小結(jié)一下，在本研究中，團(tuán)隊(duì)提出了一種基于部首和象形分析的可解釋甲骨文破譯框架。
該框架通過(guò)三個(gè)階段將字形與意義相連：部首識(shí)別與分析、象形分析以及相互分析。
借助提出的部首-象形雙重匹配機(jī)制，其模型可根據(jù)分析結(jié)果從字典中篩選出合適的破譯候選集，取代直接輸出破譯結(jié)果，從而實(shí)現(xiàn)更優(yōu)的零樣本性能。
此外，生成的文本分析可作為可解釋內(nèi)容，為未破譯的甲骨文字符提供參考，因此在考古應(yīng)用中具有巨大潛力。
為支持訓(xùn)練，他們構(gòu)建了 PD-OBS 數(shù)據(jù)集，包含 47,157 個(gè)注釋有甲骨文圖像和象形文字分析文本的漢字，為未來(lái)研究提供了寶貴資源。
實(shí)驗(yàn)結(jié)果表明，其方法在破譯準(zhǔn)確性、泛化能力和可解釋性方面均表現(xiàn)出強(qiáng)勁性能。
論文地址：https://arxiv.org/abs/2508.10113
項(xiàng)目地址：https://github.com/PKXX1943/PD-OBS
本文來(lái)自微信公眾號(hào)：量子位（ID：QbitAI），作者：復(fù)旦大學(xué)團(tuán)隊(duì)，原標(biāo)題《大模型破譯甲骨文創(chuàng)下新 SOTA！復(fù)旦團(tuán)隊(duì)推出新框架》
本文鏈接：http://www.rrqrq.com/showinfo-45-27449-0.html大模型破譯甲骨文創(chuàng)下新 SOTA，復(fù)旦團(tuán)隊(duì)推出新框架
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
上一篇： OpenAI 為動(dòng)畫長(zhǎng)片提供工具和資源支持，力圖證明 AI“拍電影”比好萊塢更快更便宜
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)