中国科学院信息工程研究所虎嵩林：“攻、检、防”循环推动大模型安全加固

4月26日(rì)，在2024中关村论坛年会——数据(jù)安全治理与发展论坛上，中国科学院信工所研(yán)究员虎嵩林接受(shòu)包括证(zhèng)券时报记者在(zài)内的媒体采访时指出，促使大模型遵循人类价值观、服从人类意图，规避各类风(fēng)险(xiǎn)，并保障数(shù)字和物理空间的应用安全，实现有用(yòng)性(xìng)、无害(hài)性(xìng)和诚实(shí)性多目标的平衡，已经成为亟(jí)待解决的世界难题。需要在现有的技术条(tiáo)件下持续探索(suǒ)，通过“攻、检、防”，不断发现漏(lòu)洞、自动识别并进行持续化(huà)的安(ān)全加固，形成一金智科技一季度实现归母净利润1907.51万元同比增长108.86%个循环发展的飞轮。

（中国科学院(yuàn)信(xìn)工所研究员虎嵩林郭博昊/摄）

当前，大模型正在成为驱动新(xīn)质(zhì)生产力发(fā)展的新动能、人类探索未知的新工具(jù)。“大模型不仅可以对话和生成视频、还可以调用工具、链接物理设备、并通过(guò)与机器人结合实现具身(shēn)智(zhì)能。大模型本身也正(zhèng)在从人类(lèi)可利用的工具(jù)客体向认识(shí)、改造自然社会的主(zhǔ)体转变。成为数学定理证明、科学研究的合作者，成为独立运营(yíng)企业的法律(lǜ)主体。”虎嵩林指出。

在赋能新时代发展的同时，生成式人工智能也给(gěi)全球带来了前所未有(yǒu)的安(ān)全风险。比如，数据方面，数据会带来价值偏见、隐私泄露、数据污染(rǎn)等问题：训练数(shù)据固有偏见导致模型(xíng)产生偏见内容；海量训练(liàn)数据扩(kuò)大了数据安全和隐私保护风(fēng)险(xiǎn)。算法方面(miàn)，算法(fǎ)模型生成特(tè)性及安全(quán)漏洞会引发“幻觉”或虚假信息、模(mó)型遭受攻击等风险。

虎嵩(sōng)林表示，大模型能力的通(tōng)用性、潜在的主体地位以及应用的深(shēn)度与广度，也都将进一步放大其危害程度(dù)。包(bāo)括(kuò)两位图灵(líng)奖得主Hinton、Bengio和(hé)谷歌DeepMind和OpenAI的(de)CEO在(zài)内的(de)产学(xué)两界领军人物联名发(fā)出(chū)的AI风险声明中，更将AI可能带来的(de)“毁灭性”的风险，上升到了与流行病以及核战争相提并(bìng)论的高度。

2023年底(dǐ)《自然》杂志预测的2024年的重大(dà)科学事件中，GPT5的发(fā)布以(yǐ)及联合国(guó)人工智能高(gāo)级别咨询机构将发布的AI监管相关报告位列其(qí)中，反映了全球对协(xié)调人工智能发展与安全的重大关切。

“毫(háo)无疑(yí)问，促使大(dà)模(mó)型遵(zūn)循(xún)人类(lèi)价值观、服从人类意图(tú)，规避各类风险，并保障数字和物理空间的应用安全，实现有用性、无害性和诚实性多(duō)目标的平衡，已经成为亟待解决的世界难(nán)题。”虎嵩林表示。

“大模型的安全(quán)风险主要体现在无害性（Harmless）和(hé)诚实性（Honest）两个方面。”虎嵩林表(biǎo)示，其中(zhōng)，有害信息对应前(qián)者，包括价值偏见，隐私(sī)泄露，还有黄赌毒、涉恐(kǒng)涉暴、仇恨(hèn)、反讽(fěng)、歧视、刻(kè)板印(yìn)象(xiàng)等(děng)等各种信(xìn)息污染；不实信息对应后者，包括虚假信息、伪(wěi)造、欺诈(zhà)内容等。

更广义地讲，也包括(kuò)由输出(chū)信息(xī)所直接导致的各类不安全的指令调用、智能体或者具身智(zhì)能机器(qì)人的恶意行为等(děng)。而(ér)算法模型生成特(tè)性及(jí)安全漏洞会引发“幻觉”，则是一把“双刃(rèn)剑”，既有可能是(shì)导致有(yǒu)害、不实信息的“元凶”，也有可能是科学创(chuàng)新、艺(yì)术创意(yì)的能力来(lái)源。

需要看到，生成式大模型特有的预训练、微调、上下文、提示(shì)等新(xīn)的学习(xí)范式，使其安全具有了(le)与传统AI安全不同的许多新特点，面临诸多新挑战，制约了传统安全方法、经验、工具在大模型安全(quán)领域发挥效能。

大(dà)模(mó)型安全风(fēng)险的成(chéng)因既可以是来自各类训练数据(jù)的缺陷(xiàn)或算法的局限性(xìng)等模型内因，也可以是(shì)利用这些新型学(xué)习范式的恶意使用或(huò)蓄意攻(gōng)击等(děng)外因。这使(shǐ)得大模型在数据准备、预训练、微调对齐、推理以及应用阶段都会存(cún)在(zài)各种潜在的风险(xiǎn)。尽管目前我们在安全理论、大模型安全评测(cè)、自(zì)动化测试、价值观对齐、幻觉(jué)缓解等方面都开(kāi)展了一系列的研(yán)究和应用工作，这些领域依然充满了挑战。

“当下，从理论(lùn)上，或者说技术上，大(dà)模型安全还(hái)有很多亟待解决的难题。金智科技一季度实现归母净利润1907.51万元同比增长108.86%”虎(hǔ)嵩林坦言，我们(men)对大模型“智能涌现”的原理还所知甚少，对上下文学习(xí)、提示学习、思维链等能力的内在机(jī)理(lǐ)仍严重缺乏认知。一些研究工作也证明AI的安全性无(wú)法完全保障，对任意一个对齐模型总存在一(yī)定长度的提示可以将之(zhī)攻破等，这都极大地制约我们从原理上认识和防御(yù)大模(mó)型的安(ān)全风险。

“我(wǒ)们需要在现(xiàn)有的技术条件下持续探索，这也是我们设计‘以攻促防、攻防相长(zhǎng)’思路，研(yán)制(zhì)金智科技一季度实现归母净利润1907.51万元同比增长108.86%Galexy(星河)大模(mó)型安全测评平台的(de)原因，也是举办首届生成式人工智能安全大赛的初衷。”虎嵩林表示，我们希(xī)望通过“攻、检、防”，不断发现漏(lòu)洞、自动(dòng)识别并进行持续(xù)化(huà)的安全加固，形成一个循环发展的(de)飞轮。

校对：祝(zhù)甜婷

未经允许不得转载：MP3i音乐网址大全-MP3下载,网址导航,音乐在线试听,中国音乐网址导航第一站金智科技一季度实现归母净利润1907.51万元同比增长108.86%