(資料圖片)

伴隨著大模型等人工智能產(chǎn)業(yè)的快速發(fā)展，新的安全風(fēng)險(xiǎn)挑戰(zhàn)也接踵而至。今天上午，大數(shù)據(jù)協(xié)同安全技術(shù)國(guó)家工程研究中心（以下簡(jiǎn)稱(chēng)“BDS國(guó)家工程中心”）發(fā)布了國(guó)內(nèi)首份《大語(yǔ)言模型提示注入攻擊安全風(fēng)險(xiǎn)分析報(bào)告》（以下簡(jiǎn)稱(chēng)“報(bào)告”），為國(guó)內(nèi)大模型安全發(fā)展提供整體指南。報(bào)告指出，提示注入攻擊已成大模型安全威脅之首，建議從安全測(cè)評(píng)、安全防御、安全監(jiān)測(cè)預(yù)警等方面，多維度提升大模型的安全性。、

大語(yǔ)言模型引領(lǐng)創(chuàng)新浪潮席卷全球，國(guó)內(nèi)迄今已有80余個(gè)大模型公開(kāi)發(fā)布。在引領(lǐng)新一輪工業(yè)革命的同時(shí)，大模型的安全風(fēng)險(xiǎn)也引發(fā)廣泛擔(dān)憂。此前，BDS國(guó)家工程中心的AI安全實(shí)驗(yàn)室在承擔(dān)“安全大腦國(guó)家新一代人工智能開(kāi)放創(chuàng)新平臺(tái)”研究中，對(duì)ChatGPT、BARD、Bing Chat等大模型產(chǎn)品進(jìn)行了風(fēng)險(xiǎn)評(píng)估，發(fā)現(xiàn)主流廠商的相關(guān)服務(wù)全部存在提示注入攻擊的安全風(fēng)險(xiǎn)。此外，AI安全實(shí)驗(yàn)室還在主流AI框架中發(fā)現(xiàn)200多個(gè)漏洞，影響超過(guò)40億終端設(shè)備。5月30日，二十屆中央國(guó)家安全委員會(huì)第一次會(huì)議上也明確提出，需“提升網(wǎng)絡(luò)數(shù)據(jù)人工智能安全治理水平”。

目前大語(yǔ)言模型面臨的風(fēng)險(xiǎn)類(lèi)型包括提示注入攻擊、對(duì)抗攻擊、后門(mén)攻擊、數(shù)據(jù)污染、軟件漏洞、隱私濫用等多種風(fēng)險(xiǎn)。在這些安全威脅中，提示注入攻擊因利用有害提示覆蓋大語(yǔ)言模型的原始指令，具有極高危害性，也被全球性安全組織OWASP列為大語(yǔ)言模型十大安全威脅之首。

為推動(dòng)行業(yè)采取有效防御措施，構(gòu)建更加安全可信的大語(yǔ)言模型，BDS國(guó)家工程中心發(fā)布了國(guó)內(nèi)首份《大語(yǔ)言模型提示注入攻擊安全風(fēng)險(xiǎn)分析報(bào)告》。 報(bào)告面向大語(yǔ)言模型的提示注入攻擊和防御技術(shù)展開(kāi)研究，并通過(guò)構(gòu)建了包含36000條的提示注入攻擊驗(yàn)證數(shù)據(jù)的數(shù)據(jù)集，覆蓋3類(lèi)典型攻擊方法和6類(lèi)安全場(chǎng)景，用于對(duì)大語(yǔ)言模型的提示注入攻擊風(fēng)險(xiǎn)測(cè)評(píng)。

測(cè)評(píng)結(jié)果顯示，目前的大型語(yǔ)言模型普遍面臨提示注入攻擊安全風(fēng)險(xiǎn)，包括在自動(dòng)問(wèn)答系統(tǒng)中誤導(dǎo)用戶(hù)，或者通過(guò)對(duì)話系統(tǒng)中的輸入操縱回答結(jié)果。該報(bào)告在大模型安全測(cè)評(píng)、安全防御、安全監(jiān)測(cè)預(yù)警方面給出相關(guān)建議。在安全測(cè)評(píng)方面，需進(jìn)行網(wǎng)絡(luò)安全測(cè)評(píng)和內(nèi)容安全測(cè)評(píng)，檢測(cè)模型軟件、插件及供應(yīng)鏈等的安全漏洞，并評(píng)估模型是否產(chǎn)生有害、有偏見(jiàn)、侵權(quán)或與事實(shí)不符的內(nèi)容，以提出整改建設(shè)方案。在安全防御方面，報(bào)告建議應(yīng)構(gòu)建多層次的協(xié)同防御體系，包括過(guò)濾和清洗訓(xùn)練數(shù)據(jù)、添加多樣化的輸入示例來(lái)提高模型魯棒性，以及攔截各類(lèi)注入攻擊等措施來(lái)保護(hù)模型免受攻擊。在安全監(jiān)測(cè)預(yù)警方面，需建設(shè)大語(yǔ)言模型安全風(fēng)險(xiǎn)監(jiān)測(cè)預(yù)警平臺(tái)，包括構(gòu)建威脅情報(bào)庫(kù)和建立自動(dòng)化預(yù)警系統(tǒng)，以實(shí)時(shí)追蹤安全事件、攻擊模式和漏洞信息，并及時(shí)發(fā)出預(yù)警。

基于報(bào)告形成測(cè)評(píng)能力，未來(lái)，BDS國(guó)家工程中心將通過(guò)“安全大腦國(guó)家新一代人工智能開(kāi)放創(chuàng)新平臺(tái)”，為國(guó)內(nèi)大模型提供提示注入攻擊風(fēng)險(xiǎn)安全測(cè)評(píng)，全面推動(dòng)我國(guó)構(gòu)建安全可信的人工智能。

（文章來(lái)源：北京商報(bào)）

免責(zé)聲明：以上內(nèi)容為本網(wǎng)站轉(zhuǎn)自其它媒體，相關(guān)信息僅為傳遞更多信息之目的，不代表本網(wǎng)觀點(diǎn)，亦不代表本網(wǎng)站贊同其觀點(diǎn)或證實(shí)其內(nèi)容的真實(shí)性。如稿件版權(quán)單位或個(gè)人不想在本網(wǎng)發(fā)布，可與本網(wǎng)聯(lián)系，本網(wǎng)視情況可立即將其撤除。