8月7日消息，近日，卡內(nèi)基梅隆大學(xué)(CMU)的研究人員發(fā)表了一項名為LLMAttacks的研究成果，引起了廣泛關(guān)注。該研究提出了一種全新的算法，用于構(gòu)建針對各種大型語言模型(LLM)的對抗攻擊，包括ChatGPT、Claude和Bard等。通過這種算法，攻擊者可以自動生成一系列提示后綴，繞過LLM的安全機制，并導(dǎo)致LLM輸出有害的響應(yīng)。aSm28資訊網(wǎng)——每日最新資訊28at.com

據(jù)ITBEAR科技資訊了解，與傳統(tǒng)的“越獄”攻擊不同，CMU團(tuán)隊設(shè)計的LLMAttacks算法采用了一個三步過程，自動創(chuàng)建有害提示后綴。首先，攻擊者需要創(chuàng)建一個目標(biāo)令牌序列，類似于“Sure， here is (content ofquery)”，其中“content ofquery”是用戶實際的提示，要求有害響應(yīng)。接下來，算法使用貪婪坐標(biāo)梯度(GCG)方法，生成能導(dǎo)致LLM輸出目標(biāo)序列的提示后綴，盡管這確實需要訪問LLM。aSm28資訊網(wǎng)——每日最新資訊28at.com

該研究還通過基準(zhǔn)測試AdvBench評估了LLM Attacks算法的有效性。在這個基準(zhǔn)測試上，LLMAttacks對名為Vicuna的LLM的成功率達(dá)到了驚人的88%，而基線對抗算法的成功率卻僅為25%。這表明新的LLMAttacks算法具有更高的攻擊成功率，可能對LLM提供商構(gòu)成潛在威脅。aSm28資訊網(wǎng)——每日最新資訊28at.com

值得擔(dān)憂的是，這種對抗攻擊是否能被LLM提供商完全修復(fù)仍然是一個懸念。類似的對抗攻擊在計算機視覺領(lǐng)域已經(jīng)被證明是一個難以解決的問題，可能與深度學(xué)習(xí)模型的本質(zhì)相關(guān)。隨著ChatGPT和GPT-4等模型的發(fā)布，越來越多的針對這些模型的越獄技術(shù)也會出現(xiàn)，其中一些技術(shù)可以繞過模型的安全措施，并輸出有害響應(yīng)。這對于廣泛應(yīng)用和依賴這些強大AI模型的現(xiàn)代社會來說，無疑是一個需要引起重視的問題。aSm28資訊網(wǎng)——每日最新資訊28at.com

總的來說，卡內(nèi)基梅隆大學(xué)的研究團(tuán)隊提出的LLMAttacks算法為針對大型語言模型的對抗攻擊提供了一種新的、更高效的方法。然而，其對LLM安全性帶來的挑戰(zhàn)也需要得到深入研究和重視。隨著技術(shù)的不斷發(fā)展，保障AI模型的安全性將成為AI領(lǐng)域亟待解決的重要問題。aSm28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.rrqrq.com/showinfo-45-878-0.htmlLLM Attacks：新算法構(gòu)建針對大型語言模型的對抗攻擊

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 全球招聘辦公室設(shè)立數(shù)十崗位 蘋果投入大語言模型研究

下一篇： 生成式AI助理Aria：Opera重磅推出全新瀏覽器Opera One