螞蟻集團(tuán)韋韜：解決大模型安全可信，推動(dòng)AI變革從“引擎”走向“整車”
摘要： DKCF可信框架--大模型從“磚家”到“專家”還有多遠(yuǎn)
4月29日，在2024中關(guān)村論壇“中關(guān)村國(guó)際技術(shù)交易大會(huì)-第八屆中國(guó)網(wǎng)信產(chǎn)業(yè)前鋒匯”網(wǎng)絡(luò)安全產(chǎn)業(yè)論壇上，螞蟻集團(tuán)首席技術(shù)安全官韋韜進(jìn)行主題演講，提出推動(dòng)行業(yè)AI的變革從“引擎”走向“整車”，并提出了“DKCF大模型應(yīng)用可信框架”。
韋韜認(rèn)為，大模型是一個(gè)智力引擎，在不同場(chǎng)景下需要不同的智力引擎。此外，大模型在實(shí)際應(yīng)用中光有引擎也不夠，大模型落地要解決安全可信問(wèn)題，從而構(gòu)造一輛輛配套的“整車”才能在產(chǎn)業(yè)應(yīng)用中真正跑起來(lái)。DKCF框架將會(huì)為大模型這個(gè)“智力引擎”配上行業(yè)應(yīng)用所必須的安全“底盤”、協(xié)同“電控”、知識(shí)“電池” 及數(shù)據(jù)鏈路駛向問(wèn)題解答的“道路”，形成完整可信智能體。在這樣的框架推動(dòng)下，將會(huì)有越來(lái)越多的專業(yè)行業(yè)迎來(lái)智力變革。據(jù)了解，DKCF是螞蟻集團(tuán)在實(shí)踐中總結(jié)出來(lái)的AI原生可信應(yīng)用框架。
以下內(nèi)容整理自韋韜的現(xiàn)場(chǎng)分享：
各位領(lǐng)導(dǎo)、各位老師、各位專家，非常榮幸借此機(jī)會(huì)給大家介紹螞蟻集團(tuán)在大模型可信應(yīng)用方面的一些工作。
大模型出來(lái)以后，但凡是個(gè)科技場(chǎng)一定會(huì)談這件事情，但是又能看到整體上目前還存在割裂的一面：AI在各種新聞和論文里已經(jīng)無(wú)所不能，但在諸多行業(yè)應(yīng)用領(lǐng)域，AI目前依然停留在“磚家”水平，只能落在某一個(gè)環(huán)節(jié)，且還存在各種各樣的問(wèn)題。AI對(duì)產(chǎn)業(yè)的提升作用，遠(yuǎn)沒(méi)有達(dá)到理想的狀態(tài)。更糟糕的是，目前在醫(yī)學(xué)等專業(yè)領(lǐng)域使用AI時(shí)，已經(jīng)有一些專家提出明確質(zhì)疑：“聰明的AI只能幫些小忙，笨的AI會(huì)捅大簍子”。這里究竟是AI將再次辜負(fù)大家的希望，還是說(shuō)目前行業(yè)在應(yīng)用大模型時(shí)方式方法上也需要進(jìn)行突破？
螞蟻集團(tuán)一直非常堅(jiān)定的在擁抱AI，也在金融、醫(yī)療、安全等專業(yè)領(lǐng)域的應(yīng)用方面做了很多的實(shí)踐和嘗試。我們確信AI會(huì)給世界帶來(lái)巨大改變，但后繼要做的大量工作，遠(yuǎn)遠(yuǎn)不止是局限在GPT大模型自身的事情，而是需要在行業(yè)AI應(yīng)用的整體框架上做更全面更扎實(shí)的工作，才能真正走向?qū)π袠I(yè)發(fā)展有重大推動(dòng)力的行業(yè)人工智能時(shí)代。
首先，回到本源來(lái)思考：GPT給大模型帶來(lái)的本質(zhì)變化是什么？ AI究竟是智能、本能還是智力？
前些年我和行業(yè)內(nèi)很多專家認(rèn)為，我們?cè)谧龅腁I是技能而不是智力，包括當(dāng)時(shí)的深度學(xué)習(xí)、AlphaGo在內(nèi)都只是一種特定“技能”，并沒(méi)有產(chǎn)生通用智力。而GPT出來(lái)以后人類首次制造出了高階通用的“智力”，這是一個(gè)真正的巨大的變化?，F(xiàn)在計(jì)算機(jī)做的事情不再是人類手把手教它的事情，不是我們編在電路里面、編在程序里面的事情，而是它自己能學(xué)習(xí)、掌握、舉一反三、融會(huì)貫通，是真正產(chǎn)生了智力。
這代表著人類第一次制造出了“智力引擎”，這件事情就像當(dāng)年瓦特造出蒸汽機(jī)一樣。蒸汽機(jī)是一個(gè)“動(dòng)力引擎”，而這次造出來(lái)一個(gè)“智力引擎”，這是一個(gè)巨大飛躍。
GPT大模型有三個(gè)高階通用“智力”能力：
1、歸納內(nèi)化。它學(xué)習(xí)的信息大到一定量之后，就能夠“頓悟”成為內(nèi)化知識(shí)。
2、知識(shí)概念。抽象知識(shí)概念去匹配、去應(yīng)用、去驗(yàn)證，不再需要去寫智能表達(dá)式。這是知識(shí)把握的能力。
3、多步推理。從單步到多步開(kāi)放推理，技能到智力的質(zhì)變。就象我們?cè)趯W(xué)校里做幾何題，添了一條輔助線就會(huì)把問(wèn)題變得簡(jiǎn)單。多步推理能把復(fù)雜問(wèn)題變成一步步簡(jiǎn)單的問(wèn)題，這是智力非常核心的能力。
但有了“智力”并不意味著就天然成為各行業(yè)的“專家”，GPT大模型真正在行業(yè)應(yīng)用時(shí)依然會(huì)面臨嚴(yán)峻的挑戰(zhàn)：
比如，推理核驗(yàn)與殘差。GPT目前還未解決幻覺(jué)問(wèn)題，其應(yīng)用在聊天對(duì)話、幫助做文摘可以，但用在行業(yè)應(yīng)用方面，還是很容易出現(xiàn)“表演傾向”胡說(shuō)八道的情況，這在做專業(yè)決策時(shí)是萬(wàn)萬(wàn)不行的。專業(yè)決策要進(jìn)行關(guān)鍵驗(yàn)證，特別是在做決策時(shí)要能指出“信息不足”或意識(shí)到“能力不足”而不是胡亂給出一個(gè)結(jié)論。這是目前GPT大模型推理核驗(yàn)的一個(gè)巨大問(wèn)題。
這背后在本源上有幾個(gè)嚴(yán)重的問(wèn)題：
首先是專業(yè)知識(shí)工程。如今的大模型是由通用知識(shí)來(lái)訓(xùn)練而成，而專業(yè)知識(shí)庫(kù)難以通過(guò)通用信息獲得，需大量專家參與。專業(yè)概念把握正確與否，是“專家”和“磚家”的一個(gè)顯著區(qū)別。
其次是反饋循環(huán)效率。反饋是現(xiàn)代控制系統(tǒng)的核心機(jī)制。GPT架構(gòu)的反饋循環(huán)效率非常低，GPT大模型的SFT、RLHF等迭代代價(jià)相當(dāng)大，難以高效內(nèi)化場(chǎng)景知識(shí)的變更。這也是GPT在行業(yè)應(yīng)用面臨的一個(gè)嚴(yán)重問(wèn)題。
最后是萬(wàn)用能力及信息匯聚單點(diǎn)。隨著GPT能力不斷的提升，業(yè)界有著巨大的沖動(dòng)把各種信息（RAG）和各種工具（Tool）都接入到大模型上。但是當(dāng)前的大模型應(yīng)用系統(tǒng)本質(zhì)上是缺乏基本的安全范式思考和設(shè)計(jì)的。假如大模型被突破，其接入的各種工具、系統(tǒng)、信息都會(huì)面臨嚴(yán)重的安全威脅。這也是需要行業(yè)共同思考和應(yīng)對(duì)的挑戰(zhàn)。
我們把大模型的能力及需要改進(jìn)的問(wèn)題想清楚后，再去看GPT智力引擎在行業(yè)應(yīng)用發(fā)展的大方向，就比較清晰了。GPT大模型它是一個(gè)智力引擎，但就像一種發(fā)動(dòng)機(jī)無(wú)法適配所有車型一樣，大模型的性能和成本也有巨大差別，在不同場(chǎng)景下需要不同的智力引擎。此外，解決行業(yè)專業(yè)問(wèn)題，也不是光有引擎就行，我們需要構(gòu)造一輛輛配套的“整車”才能真正跑起來(lái)。
不同規(guī)模的GPT大模型，大小從幾十億、到幾百億、到幾千億差異很大，它們作為“智力引擎”在通用智力維度上也有很大區(qū)別，包括核心的邏輯能力、數(shù)學(xué)能力、知識(shí)面廣度和深度、工具調(diào)用能力等。同時(shí)，它們的性能和成本也有巨大差別，所以在不同的應(yīng)用場(chǎng)景下需要不同的智力引擎。將這些引擎用在各個(gè)行業(yè)場(chǎng)景時(shí)，還面臨著如下幾方面的關(guān)鍵挑戰(zhàn)。
首先是智力推理。蒸汽機(jī)的作用是推動(dòng)火車往前跑，智力引擎就是做推理。但純黑盒化推理決策是有嚴(yán)峻風(fēng)險(xiǎn)的，沒(méi)有可靠約束的情況下，很容易“跑飛”。具體而言包括，不知道適用的范圍(表演型人格)；不知道故障的發(fā)生(神經(jīng)病癥)；不知道風(fēng)險(xiǎn)的來(lái)臨(偏執(zhí)型人格)，深黑盒AI技術(shù)很難在微觀機(jī)制層面進(jìn)行有效解釋。如何把決策過(guò)程白盒化，使其可解釋？這在以前的深度學(xué)習(xí)階段可能是件極其艱難的事，但是大模型出現(xiàn)后帶來(lái)了一定的轉(zhuǎn)機(jī)。
打個(gè)比方，以前在深度學(xué)習(xí)階段的AI還是嬰兒狀態(tài)，我們無(wú)法讓嬰兒解釋自己想要干什么。但是現(xiàn)在GPT已經(jīng)成長(zhǎng)為一個(gè)少年，它可以自己給自己的推理決策作出解釋。即其作出的決策是GPT大模型自己可解構(gòu)、可解釋的。隨著能力的增強(qiáng)，它還會(huì)逐漸成長(zhǎng)為中學(xué)生、大學(xué)生，把自己的推理解釋的更清楚、更完備。推理過(guò)程自解構(gòu)，并能進(jìn)行分拆驗(yàn)證，這是推理層面白盒化是能做的事情。即使在今天我們也很難通過(guò)給大腦拍CT來(lái)解釋大腦的復(fù)雜決策細(xì)節(jié)。但是可以在宏觀規(guī)則層面，對(duì)復(fù)雜推理決策進(jìn)行解釋，這是整個(gè)智力層面推理白盒化要做的事情。但要保障這個(gè)過(guò)程的可靠性，則需要專業(yè)知識(shí)工程提供詳細(xì)的知識(shí)供給，以對(duì)解釋分拆進(jìn)行專業(yè)性驗(yàn)證，同時(shí)需要協(xié)同機(jī)制來(lái)進(jìn)行高性能核驗(yàn)，并需要反饋機(jī)制基于殘差識(shí)別進(jìn)行數(shù)據(jù)供給等工作的聯(lián)動(dòng)。
知識(shí)供給： 概念的準(zhǔn)確與否，是“專家”和“磚家”的基本界限。知識(shí)供給需要專業(yè)知識(shí)工程。建設(shè)行業(yè)的高質(zhì)量數(shù)據(jù)集只是第一步，后面還需要把數(shù)據(jù)集匯聚成領(lǐng)域知識(shí)圖譜，保障它的準(zhǔn)確性、完備性和可計(jì)算性，并做相關(guān)的驗(yàn)證。行業(yè)在這一方面有不少探索，比如把大模型和知識(shí)圖譜結(jié)合，來(lái)增強(qiáng)大模型的專業(yè)知識(shí)供給。比如螞蟻集團(tuán)最近和知識(shí)圖譜社區(qū)共同發(fā)布開(kāi)源的OpenSPG（語(yǔ)義增強(qiáng)可編程知識(shí)圖譜），能很好的來(lái)支撐大模型做行業(yè)的專業(yè)知識(shí)圖譜。在這個(gè)過(guò)程中，專業(yè)知識(shí)圖譜的構(gòu)建也將和以前有巨大的區(qū)別，大模型在歸納總結(jié)上發(fā)揮巨大的作用，但重要的是要和專家做知識(shí)對(duì)齊。
智力協(xié)同：大模型在行業(yè)應(yīng)用時(shí)未來(lái)的趨勢(shì)一定不是單一引擎。特別是復(fù)雜任務(wù)場(chǎng)景，它不是靠一個(gè)智能體就能解決問(wèn)題，必然需要多個(gè)智能體協(xié)同交流。多個(gè)智能體之間的任務(wù)規(guī)劃、編排、協(xié)同越來(lái)越重要。其中規(guī)劃部分是第一個(gè)核心，多步規(guī)劃本身是一個(gè)巨大的智力和專業(yè)雙重挑戰(zhàn)。目前在實(shí)踐上，專家參與的基于專業(yè)知識(shí)工程提供的SOP（標(biāo)準(zhǔn)操作流程）來(lái)做規(guī)劃是最佳實(shí)踐；未來(lái)規(guī)劃Agent技術(shù)逐步成熟后，可以與專家知識(shí)一起迭代，形成最佳規(guī)劃的持續(xù)迭代優(yōu)化。無(wú)論哪種方法，在將一個(gè)復(fù)雜任務(wù)經(jīng)過(guò)規(guī)劃分拆成更小規(guī)模的子任務(wù)后，多智能體協(xié)同都能顯著提升大模型在行業(yè)應(yīng)用的效能。
核驗(yàn)與反饋：學(xué)過(guò)計(jì)算機(jī)的人都知道，NP問(wèn)題檢驗(yàn)是比較簡(jiǎn)單的，但是推理是相當(dāng)復(fù)雜的。所以在核驗(yàn)時(shí)，復(fù)雜度是遠(yuǎn)小于多步推理的，這樣就可以利用更高性能、更低成本的大模型，來(lái)做完成核驗(yàn)這一工作。這對(duì)大模型在各個(gè)行業(yè)中的應(yīng)用也十分重要?，F(xiàn)在的通用大模型在缺乏核驗(yàn)時(shí)，專業(yè)領(lǐng)域多步推理“跑飛”的概率很大，甚至?xí)^(guò)30%。而反饋對(duì)于大模型而言也是重要的一環(huán)，反饋是現(xiàn)代控制系統(tǒng)的核心機(jī)制。如前面所說(shuō)，現(xiàn)階段大模型自身的反饋機(jī)制，還是非常低效的，GPT大模型的SFT、RLHF等迭代代價(jià)相當(dāng)大，難以高效內(nèi)化場(chǎng)景知識(shí)的變更。對(duì)于實(shí)時(shí)任務(wù)來(lái)說(shuō)，很難起到應(yīng)有作用，所以在數(shù)據(jù)反饋、人工反饋、知識(shí)反饋上都需要做全新的設(shè)計(jì)。特別是對(duì)今天信息鏈路供給嚴(yán)重不足的很多專業(yè)場(chǎng)景，“信息不足”的推理研判結(jié)果要驅(qū)動(dòng)數(shù)據(jù)供給，才能夠形成一個(gè)完整的業(yè)務(wù)閉環(huán)。
智力成為匯聚性單點(diǎn)：大模型在接入各種各樣的能力、各種各樣的信息成為一個(gè)龐大系統(tǒng)的匯聚單點(diǎn)以后，如果自身沒(méi)有安全保障、易于被攻擊者控制時(shí)，會(huì)造成災(zāi)難性后果。但在當(dāng)前，Agent協(xié)同體系普遍缺乏原生安全范式設(shè)計(jì)的認(rèn)知。
首先，訪問(wèn)控制策略上應(yīng)遵循OVTP可溯范式（Operator-Voucher-Traceable Paradigm）。大模型應(yīng)用系統(tǒng)在安全策略層應(yīng)當(dāng)遵循OVTP可溯范式，即大模型對(duì)所有工具或外部信息的訪問(wèn)控制都應(yīng)基于該訪問(wèn)的操作者鏈路（Operator）和憑證鏈路(Voucher)的端到端信息來(lái)決策，而不是直接使用大模型自身的身份。不幸，這在今天業(yè)界是常態(tài)，大模型的工具調(diào)用和信息調(diào)用目前普遍缺乏身份和憑據(jù)透?jìng)?容易導(dǎo)致大量身份混淆攻擊和信息泄露的嚴(yán)重安全風(fēng)險(xiǎn)。更嚴(yán)重的是，今天大模型會(huì)學(xué)習(xí)很多信息。當(dāng)一個(gè)信息被大模型內(nèi)化之后，如何讓大模型區(qū)分哪些東西可以講只能對(duì)誰(shuí)講，哪些東西不能講，仍然未得到很好地解決。所以對(duì)于行業(yè)大模型的應(yīng)用，建議敏感信息不要讓大模型去學(xué)習(xí)，而是在實(shí)際應(yīng)用中通過(guò)RAG外掛對(duì)接，在RAG訪問(wèn)是做符合OVTP范式的訪問(wèn)控制。
其次，訪問(wèn)控制機(jī)制上應(yīng)遵循NbSP零越范式（Non-bypassable Security Paradigm）。零越范式是一個(gè)更基礎(chǔ)技術(shù)要求，即應(yīng)當(dāng)確保關(guān)鍵安全檢查點(diǎn)不可被繞過(guò)，所有繞過(guò)的行為皆為非法。零越范式NbSP是網(wǎng)絡(luò)空間安全保障的一個(gè)必要條件，而且是其他網(wǎng)絡(luò)安全基本屬性，如機(jī)密性、完整性、可用性等的更基本更底層的一個(gè)安全范式。NbSP范式是決定網(wǎng)絡(luò)空間分層分區(qū)設(shè)計(jì)與實(shí)現(xiàn)的一個(gè)本源范式，其范圍也是跨維度的。今天的大模型應(yīng)用系統(tǒng)這個(gè)挑戰(zhàn)非常嚴(yán)峻。因?yàn)榇竽Ｐ推脚_(tái)自身相當(dāng)復(fù)雜，同時(shí)還在不停的接入越來(lái)越多、各種各樣的工具系統(tǒng)，在AI平臺(tái)、應(yīng)用框架、第三方庫(kù)等等位置都可能引入嚴(yán)重安全漏洞，或者有密鑰泄露，這些都將導(dǎo)致訪問(wèn)控制點(diǎn)被繞過(guò)。今天能夠看到已經(jīng)陸續(xù)出現(xiàn)了不少安全事件，包括OpenAI、HuggingFace等都受到攻擊。更嚴(yán)重的是，GPT大模型主體上是一個(gè)對(duì)話式的API，GPT大模型本身無(wú)法區(qū)分哪些輸入是系統(tǒng)的指令，哪些輸入是用戶的數(shù)據(jù)。這樣就產(chǎn)生了一個(gè)我們稱之為ChatInjection的巨大的攻擊面，類似于大家耳熟能詳?shù)腟QLInjection，但邊界更加模糊，更加難以防范。最近很多大模型相關(guān)的攻擊，比如大模型越獄，Prompt竊取，工具命令植入等等，本質(zhì)上都是這個(gè)類型的攻擊。需要業(yè)界在ChatInjection安全方面有更系統(tǒng)化的機(jī)制去防范。
可以見(jiàn)到當(dāng)大模型成為萬(wàn)用能力、萬(wàn)用信息接入點(diǎn)后，它的應(yīng)用規(guī)模系統(tǒng)是非常龐大而復(fù)雜的，變更非?？焖?，用傳統(tǒng)的防御體系已難以滿足需求，需要一種既融合又解耦的新安全機(jī)制來(lái)保障整體系統(tǒng)的安全。螞蟻集團(tuán)在這方面也有一些探索，我們正在基于安全平行切面做可信的智能防御體系，構(gòu)建面向Agent的原生安全底盤，來(lái)為大模型應(yīng)用系統(tǒng)提供OVTP/NbSP等原生安全范式的完整和持續(xù)保障。
最后，智力實(shí)踐的上限是數(shù)據(jù)。數(shù)據(jù)決定了問(wèn)題可解的上限。缺乏數(shù)據(jù)的時(shí)候，大模型傾向于胡說(shuō)八道，最終行業(yè)問(wèn)題的解決依賴于關(guān)鍵數(shù)據(jù)能否按需獲得。這在大模型“智力引擎”出現(xiàn)之前，數(shù)據(jù)供給問(wèn)題不是很突出，因?yàn)榭偪梢杂腥巳ナ止?duì)接。當(dāng)大模型越來(lái)越廣泛的應(yīng)用的時(shí)候，數(shù)據(jù)供給問(wèn)題也越來(lái)越迫切。
DKCF大模型應(yīng)用可信框架：總結(jié)一下，在專業(yè)領(lǐng)域問(wèn)題空間中，大模型是智力“引擎”，專業(yè)知識(shí)庫(kù)是智力“電池”，協(xié)同反饋是“電控”，安全為“底盤”，而數(shù)據(jù)鏈路為駛向問(wèn)題解答的“道路”，整體構(gòu)成了完整可信智能體。這也是我今天想跟大家分享的DKCF大模型應(yīng)用可信框架。
具體而言，引擎（GPT大模型）需要匹配領(lǐng)域場(chǎng)景，特別是成本和性能限制；電池（專業(yè)知識(shí)Knowledge）可以是純電的（大模型內(nèi)置），也可以是增程的（外置知識(shí)圖譜，通過(guò)RAG對(duì)接）；道路（數(shù)據(jù)鏈路Data）必須要是通達(dá)的，否則會(huì)導(dǎo)致車禍（大模型胡說(shuō)八道給出錯(cuò)誤解答）；智能電控一方面需要處理好各個(gè)部件間的工作協(xié)同(Collabration)，另一方面需要將道路的情況（特別是數(shù)據(jù)不足）進(jìn)行及時(shí)反饋(Feedback)；而安全需要成為智能系統(tǒng)的內(nèi)生能力，不僅僅是保險(xiǎn)帶和氣囊這樣的獨(dú)立部件，更要在底盤設(shè)計(jì)實(shí)現(xiàn)時(shí)就要保障好安全性。
我們認(rèn)為行業(yè)AI的變革需要從“引擎”走向“整車”。GPT大模型在行業(yè)里首次實(shí)現(xiàn)了“人造智力引擎”，但光有智力“引擎”遠(yuǎn)遠(yuǎn)不夠，如果只用這個(gè)引擎就會(huì)發(fā)現(xiàn)，聰明的AI只幫小忙，而笨的AI捅大簍子。我們需要DKCF這樣的可信框架，推動(dòng)行業(yè)大模型安全可信，從而助力大模型應(yīng)用變革，推動(dòng)越來(lái)越多的專業(yè)行業(yè)迎來(lái)智力革命。
謝謝大家！
韋韜認(rèn)為，大模型是一個(gè)智力引擎，在不同場(chǎng)景下需要不同的智力引擎。此外，大模型在實(shí)際應(yīng)用中光有引擎也不夠，大模型落地要解決安全可信問(wèn)題，從而構(gòu)造一輛輛配套的“整車”才能在產(chǎn)業(yè)應(yīng)用中真正跑起來(lái)。DKCF框架將會(huì)為大模型這個(gè)“智力引擎”配上行業(yè)應(yīng)用所必須的安全“底盤”、協(xié)同“電控”、知識(shí)“電池” 及數(shù)據(jù)鏈路駛向問(wèn)題解答的“道路”，形成完整可信智能體。在這樣的框架推動(dòng)下，將會(huì)有越來(lái)越多的專業(yè)行業(yè)迎來(lái)智力變革。據(jù)了解，DKCF是螞蟻集團(tuán)在實(shí)踐中總結(jié)出來(lái)的AI原生可信應(yīng)用框架。
以下內(nèi)容整理自韋韜的現(xiàn)場(chǎng)分享：
各位領(lǐng)導(dǎo)、各位老師、各位專家，非常榮幸借此機(jī)會(huì)給大家介紹螞蟻集團(tuán)在大模型可信應(yīng)用方面的一些工作。
大模型出來(lái)以后，但凡是個(gè)科技場(chǎng)一定會(huì)談這件事情，但是又能看到整體上目前還存在割裂的一面：AI在各種新聞和論文里已經(jīng)無(wú)所不能，但在諸多行業(yè)應(yīng)用領(lǐng)域，AI目前依然停留在“磚家”水平，只能落在某一個(gè)環(huán)節(jié)，且還存在各種各樣的問(wèn)題。AI對(duì)產(chǎn)業(yè)的提升作用，遠(yuǎn)沒(méi)有達(dá)到理想的狀態(tài)。更糟糕的是，目前在醫(yī)學(xué)等專業(yè)領(lǐng)域使用AI時(shí)，已經(jīng)有一些專家提出明確質(zhì)疑：“聰明的AI只能幫些小忙，笨的AI會(huì)捅大簍子”。這里究竟是AI將再次辜負(fù)大家的希望，還是說(shuō)目前行業(yè)在應(yīng)用大模型時(shí)方式方法上也需要進(jìn)行突破？
螞蟻集團(tuán)一直非常堅(jiān)定的在擁抱AI，也在金融、醫(yī)療、安全等專業(yè)領(lǐng)域的應(yīng)用方面做了很多的實(shí)踐和嘗試。我們確信AI會(huì)給世界帶來(lái)巨大改變，但后繼要做的大量工作，遠(yuǎn)遠(yuǎn)不止是局限在GPT大模型自身的事情，而是需要在行業(yè)AI應(yīng)用的整體框架上做更全面更扎實(shí)的工作，才能真正走向?qū)π袠I(yè)發(fā)展有重大推動(dòng)力的行業(yè)人工智能時(shí)代。
首先，回到本源來(lái)思考：GPT給大模型帶來(lái)的本質(zhì)變化是什么？ AI究竟是智能、本能還是智力？
前些年我和行業(yè)內(nèi)很多專家認(rèn)為，我們?cè)谧龅腁I是技能而不是智力，包括當(dāng)時(shí)的深度學(xué)習(xí)、AlphaGo在內(nèi)都只是一種特定“技能”，并沒(méi)有產(chǎn)生通用智力。而GPT出來(lái)以后人類首次制造出了高階通用的“智力”，這是一個(gè)真正的巨大的變化?，F(xiàn)在計(jì)算機(jī)做的事情不再是人類手把手教它的事情，不是我們編在電路里面、編在程序里面的事情，而是它自己能學(xué)習(xí)、掌握、舉一反三、融會(huì)貫通，是真正產(chǎn)生了智力。
這代表著人類第一次制造出了“智力引擎”，這件事情就像當(dāng)年瓦特造出蒸汽機(jī)一樣。蒸汽機(jī)是一個(gè)“動(dòng)力引擎”，而這次造出來(lái)一個(gè)“智力引擎”，這是一個(gè)巨大飛躍。
GPT大模型有三個(gè)高階通用“智力”能力：
1、歸納內(nèi)化。它學(xué)習(xí)的信息大到一定量之后，就能夠“頓悟”成為內(nèi)化知識(shí)。
2、知識(shí)概念。抽象知識(shí)概念去匹配、去應(yīng)用、去驗(yàn)證，不再需要去寫智能表達(dá)式。這是知識(shí)把握的能力。
3、多步推理。從單步到多步開(kāi)放推理，技能到智力的質(zhì)變。就象我們?cè)趯W(xué)校里做幾何題，添了一條輔助線就會(huì)把問(wèn)題變得簡(jiǎn)單。多步推理能把復(fù)雜問(wèn)題變成一步步簡(jiǎn)單的問(wèn)題，這是智力非常核心的能力。
但有了“智力”并不意味著就天然成為各行業(yè)的“專家”，GPT大模型真正在行業(yè)應(yīng)用時(shí)依然會(huì)面臨嚴(yán)峻的挑戰(zhàn)：
這背后在本源上有幾個(gè)嚴(yán)重的問(wèn)題：
首先是專業(yè)知識(shí)工程。如今的大模型是由通用知識(shí)來(lái)訓(xùn)練而成，而專業(yè)知識(shí)庫(kù)難以通過(guò)通用信息獲得，需大量專家參與。專業(yè)概念把握正確與否，是“專家”和“磚家”的一個(gè)顯著區(qū)別。
其次是反饋循環(huán)效率。反饋是現(xiàn)代控制系統(tǒng)的核心機(jī)制。GPT架構(gòu)的反饋循環(huán)效率非常低，GPT大模型的SFT、RLHF等迭代代價(jià)相當(dāng)大，難以高效內(nèi)化場(chǎng)景知識(shí)的變更。這也是GPT在行業(yè)應(yīng)用面臨的一個(gè)嚴(yán)重問(wèn)題。
最后是萬(wàn)用能力及信息匯聚單點(diǎn)。隨著GPT能力不斷的提升，業(yè)界有著巨大的沖動(dòng)把各種信息（RAG）和各種工具（Tool）都接入到大模型上。但是當(dāng)前的大模型應(yīng)用系統(tǒng)本質(zhì)上是缺乏基本的安全范式思考和設(shè)計(jì)的。假如大模型被突破，其接入的各種工具、系統(tǒng)、信息都會(huì)面臨嚴(yán)重的安全威脅。這也是需要行業(yè)共同思考和應(yīng)對(duì)的挑戰(zhàn)。
我們把大模型的能力及需要改進(jìn)的問(wèn)題想清楚后，再去看GPT智力引擎在行業(yè)應(yīng)用發(fā)展的大方向，就比較清晰了。GPT大模型它是一個(gè)智力引擎，但就像一種發(fā)動(dòng)機(jī)無(wú)法適配所有車型一樣，大模型的性能和成本也有巨大差別，在不同場(chǎng)景下需要不同的智力引擎。此外，解決行業(yè)專業(yè)問(wèn)題，也不是光有引擎就行，我們需要構(gòu)造一輛輛配套的“整車”才能真正跑起來(lái)。
不同規(guī)模的GPT大模型，大小從幾十億、到幾百億、到幾千億差異很大，它們作為“智力引擎”在通用智力維度上也有很大區(qū)別，包括核心的邏輯能力、數(shù)學(xué)能力、知識(shí)面廣度和深度、工具調(diào)用能力等。同時(shí)，它們的性能和成本也有巨大差別，所以在不同的應(yīng)用場(chǎng)景下需要不同的智力引擎。將這些引擎用在各個(gè)行業(yè)場(chǎng)景時(shí)，還面臨著如下幾方面的關(guān)鍵挑戰(zhàn)。
首先是智力推理。蒸汽機(jī)的作用是推動(dòng)火車往前跑，智力引擎就是做推理。但純黑盒化推理決策是有嚴(yán)峻風(fēng)險(xiǎn)的，沒(méi)有可靠約束的情況下，很容易“跑飛”。具體而言包括，不知道適用的范圍(表演型人格)；不知道故障的發(fā)生(神經(jīng)病癥)；不知道風(fēng)險(xiǎn)的來(lái)臨(偏執(zhí)型人格)，深黑盒AI技術(shù)很難在微觀機(jī)制層面進(jìn)行有效解釋。如何把決策過(guò)程白盒化，使其可解釋？這在以前的深度學(xué)習(xí)階段可能是件極其艱難的事，但是大模型出現(xiàn)后帶來(lái)了一定的轉(zhuǎn)機(jī)。
打個(gè)比方，以前在深度學(xué)習(xí)階段的AI還是嬰兒狀態(tài)，我們無(wú)法讓嬰兒解釋自己想要干什么。但是現(xiàn)在GPT已經(jīng)成長(zhǎng)為一個(gè)少年，它可以自己給自己的推理決策作出解釋。即其作出的決策是GPT大模型自己可解構(gòu)、可解釋的。隨著能力的增強(qiáng)，它還會(huì)逐漸成長(zhǎng)為中學(xué)生、大學(xué)生，把自己的推理解釋的更清楚、更完備。推理過(guò)程自解構(gòu)，并能進(jìn)行分拆驗(yàn)證，這是推理層面白盒化是能做的事情。即使在今天我們也很難通過(guò)給大腦拍CT來(lái)解釋大腦的復(fù)雜決策細(xì)節(jié)。但是可以在宏觀規(guī)則層面，對(duì)復(fù)雜推理決策進(jìn)行解釋，這是整個(gè)智力層面推理白盒化要做的事情。但要保障這個(gè)過(guò)程的可靠性，則需要專業(yè)知識(shí)工程提供詳細(xì)的知識(shí)供給，以對(duì)解釋分拆進(jìn)行專業(yè)性驗(yàn)證，同時(shí)需要協(xié)同機(jī)制來(lái)進(jìn)行高性能核驗(yàn)，并需要反饋機(jī)制基于殘差識(shí)別進(jìn)行數(shù)據(jù)供給等工作的聯(lián)動(dòng)。
知識(shí)供給： 概念的準(zhǔn)確與否，是“專家”和“磚家”的基本界限。知識(shí)供給需要專業(yè)知識(shí)工程。建設(shè)行業(yè)的高質(zhì)量數(shù)據(jù)集只是第一步，后面還需要把數(shù)據(jù)集匯聚成領(lǐng)域知識(shí)圖譜，保障它的準(zhǔn)確性、完備性和可計(jì)算性，并做相關(guān)的驗(yàn)證。行業(yè)在這一方面有不少探索，比如把大模型和知識(shí)圖譜結(jié)合，來(lái)增強(qiáng)大模型的專業(yè)知識(shí)供給。比如螞蟻集團(tuán)最近和知識(shí)圖譜社區(qū)共同發(fā)布開(kāi)源的OpenSPG（語(yǔ)義增強(qiáng)可編程知識(shí)圖譜），能很好的來(lái)支撐大模型做行業(yè)的專業(yè)知識(shí)圖譜。在這個(gè)過(guò)程中，專業(yè)知識(shí)圖譜的構(gòu)建也將和以前有巨大的區(qū)別，大模型在歸納總結(jié)上發(fā)揮巨大的作用，但重要的是要和專家做知識(shí)對(duì)齊。
智力協(xié)同：大模型在行業(yè)應(yīng)用時(shí)未來(lái)的趨勢(shì)一定不是單一引擎。特別是復(fù)雜任務(wù)場(chǎng)景，它不是靠一個(gè)智能體就能解決問(wèn)題，必然需要多個(gè)智能體協(xié)同交流。多個(gè)智能體之間的任務(wù)規(guī)劃、編排、協(xié)同越來(lái)越重要。其中規(guī)劃部分是第一個(gè)核心，多步規(guī)劃本身是一個(gè)巨大的智力和專業(yè)雙重挑戰(zhàn)。目前在實(shí)踐上，專家參與的基于專業(yè)知識(shí)工程提供的SOP（標(biāo)準(zhǔn)操作流程）來(lái)做規(guī)劃是最佳實(shí)踐；未來(lái)規(guī)劃Agent技術(shù)逐步成熟后，可以與專家知識(shí)一起迭代，形成最佳規(guī)劃的持續(xù)迭代優(yōu)化。無(wú)論哪種方法，在將一個(gè)復(fù)雜任務(wù)經(jīng)過(guò)規(guī)劃分拆成更小規(guī)模的子任務(wù)后，多智能體協(xié)同都能顯著提升大模型在行業(yè)應(yīng)用的效能。
核驗(yàn)與反饋：學(xué)過(guò)計(jì)算機(jī)的人都知道，NP問(wèn)題檢驗(yàn)是比較簡(jiǎn)單的，但是推理是相當(dāng)復(fù)雜的。所以在核驗(yàn)時(shí)，復(fù)雜度是遠(yuǎn)小于多步推理的，這樣就可以利用更高性能、更低成本的大模型，來(lái)做完成核驗(yàn)這一工作。這對(duì)大模型在各個(gè)行業(yè)中的應(yīng)用也十分重要?，F(xiàn)在的通用大模型在缺乏核驗(yàn)時(shí)，專業(yè)領(lǐng)域多步推理“跑飛”的概率很大，甚至?xí)^(guò)30%。而反饋對(duì)于大模型而言也是重要的一環(huán)，反饋是現(xiàn)代控制系統(tǒng)的核心機(jī)制。如前面所說(shuō)，現(xiàn)階段大模型自身的反饋機(jī)制，還是非常低效的，GPT大模型的SFT、RLHF等迭代代價(jià)相當(dāng)大，難以高效內(nèi)化場(chǎng)景知識(shí)的變更。對(duì)于實(shí)時(shí)任務(wù)來(lái)說(shuō)，很難起到應(yīng)有作用，所以在數(shù)據(jù)反饋、人工反饋、知識(shí)反饋上都需要做全新的設(shè)計(jì)。特別是對(duì)今天信息鏈路供給嚴(yán)重不足的很多專業(yè)場(chǎng)景，“信息不足”的推理研判結(jié)果要驅(qū)動(dòng)數(shù)據(jù)供給，才能夠形成一個(gè)完整的業(yè)務(wù)閉環(huán)。
智力成為匯聚性單點(diǎn)：大模型在接入各種各樣的能力、各種各樣的信息成為一個(gè)龐大系統(tǒng)的匯聚單點(diǎn)以后，如果自身沒(méi)有安全保障、易于被攻擊者控制時(shí)，會(huì)造成災(zāi)難性后果。但在當(dāng)前，Agent協(xié)同體系普遍缺乏原生安全范式設(shè)計(jì)的認(rèn)知。
首先，訪問(wèn)控制策略上應(yīng)遵循OVTP可溯范式（Operator-Voucher-Traceable Paradigm）。大模型應(yīng)用系統(tǒng)在安全策略層應(yīng)當(dāng)遵循OVTP可溯范式，即大模型對(duì)所有工具或外部信息的訪問(wèn)控制都應(yīng)基于該訪問(wèn)的操作者鏈路（Operator）和憑證鏈路(Voucher)的端到端信息來(lái)決策，而不是直接使用大模型自身的身份。不幸，這在今天業(yè)界是常態(tài)，大模型的工具調(diào)用和信息調(diào)用目前普遍缺乏身份和憑據(jù)透?jìng)?容易導(dǎo)致大量身份混淆攻擊和信息泄露的嚴(yán)重安全風(fēng)險(xiǎn)。更嚴(yán)重的是，今天大模型會(huì)學(xué)習(xí)很多信息。當(dāng)一個(gè)信息被大模型內(nèi)化之后，如何讓大模型區(qū)分哪些東西可以講只能對(duì)誰(shuí)講，哪些東西不能講，仍然未得到很好地解決。所以對(duì)于行業(yè)大模型的應(yīng)用，建議敏感信息不要讓大模型去學(xué)習(xí)，而是在實(shí)際應(yīng)用中通過(guò)RAG外掛對(duì)接，在RAG訪問(wèn)是做符合OVTP范式的訪問(wèn)控制。
其次，訪問(wèn)控制機(jī)制上應(yīng)遵循NbSP零越范式（Non-bypassable Security Paradigm）。零越范式是一個(gè)更基礎(chǔ)技術(shù)要求，即應(yīng)當(dāng)確保關(guān)鍵安全檢查點(diǎn)不可被繞過(guò)，所有繞過(guò)的行為皆為非法。零越范式NbSP是網(wǎng)絡(luò)空間安全保障的一個(gè)必要條件，而且是其他網(wǎng)絡(luò)安全基本屬性，如機(jī)密性、完整性、可用性等的更基本更底層的一個(gè)安全范式。NbSP范式是決定網(wǎng)絡(luò)空間分層分區(qū)設(shè)計(jì)與實(shí)現(xiàn)的一個(gè)本源范式，其范圍也是跨維度的。今天的大模型應(yīng)用系統(tǒng)這個(gè)挑戰(zhàn)非常嚴(yán)峻。因?yàn)榇竽Ｐ推脚_(tái)自身相當(dāng)復(fù)雜，同時(shí)還在不停的接入越來(lái)越多、各種各樣的工具系統(tǒng)，在AI平臺(tái)、應(yīng)用框架、第三方庫(kù)等等位置都可能引入嚴(yán)重安全漏洞，或者有密鑰泄露，這些都將導(dǎo)致訪問(wèn)控制點(diǎn)被繞過(guò)。今天能夠看到已經(jīng)陸續(xù)出現(xiàn)了不少安全事件，包括OpenAI、HuggingFace等都受到攻擊。更嚴(yán)重的是，GPT大模型主體上是一個(gè)對(duì)話式的API，GPT大模型本身無(wú)法區(qū)分哪些輸入是系統(tǒng)的指令，哪些輸入是用戶的數(shù)據(jù)。這樣就產(chǎn)生了一個(gè)我們稱之為ChatInjection的巨大的攻擊面，類似于大家耳熟能詳?shù)腟QLInjection，但邊界更加模糊，更加難以防范。最近很多大模型相關(guān)的攻擊，比如大模型越獄，Prompt竊取，工具命令植入等等，本質(zhì)上都是這個(gè)類型的攻擊。需要業(yè)界在ChatInjection安全方面有更系統(tǒng)化的機(jī)制去防范。
可以見(jiàn)到當(dāng)大模型成為萬(wàn)用能力、萬(wàn)用信息接入點(diǎn)后，它的應(yīng)用規(guī)模系統(tǒng)是非常龐大而復(fù)雜的，變更非?？焖?，用傳統(tǒng)的防御體系已難以滿足需求，需要一種既融合又解耦的新安全機(jī)制來(lái)保障整體系統(tǒng)的安全。螞蟻集團(tuán)在這方面也有一些探索，我們正在基于安全平行切面做可信的智能防御體系，構(gòu)建面向Agent的原生安全底盤，來(lái)為大模型應(yīng)用系統(tǒng)提供OVTP/NbSP等原生安全范式的完整和持續(xù)保障。
最后，智力實(shí)踐的上限是數(shù)據(jù)。數(shù)據(jù)決定了問(wèn)題可解的上限。缺乏數(shù)據(jù)的時(shí)候，大模型傾向于胡說(shuō)八道，最終行業(yè)問(wèn)題的解決依賴于關(guān)鍵數(shù)據(jù)能否按需獲得。這在大模型“智力引擎”出現(xiàn)之前，數(shù)據(jù)供給問(wèn)題不是很突出，因?yàn)榭偪梢杂腥巳ナ止?duì)接。當(dāng)大模型越來(lái)越廣泛的應(yīng)用的時(shí)候，數(shù)據(jù)供給問(wèn)題也越來(lái)越迫切。
DKCF大模型應(yīng)用可信框架：總結(jié)一下，在專業(yè)領(lǐng)域問(wèn)題空間中，大模型是智力“引擎”，專業(yè)知識(shí)庫(kù)是智力“電池”，協(xié)同反饋是“電控”，安全為“底盤”，而數(shù)據(jù)鏈路為駛向問(wèn)題解答的“道路”，整體構(gòu)成了完整可信智能體。這也是我今天想跟大家分享的DKCF大模型應(yīng)用可信框架。
具體而言，引擎（GPT大模型）需要匹配領(lǐng)域場(chǎng)景，特別是成本和性能限制；電池（專業(yè)知識(shí)Knowledge）可以是純電的（大模型內(nèi)置），也可以是增程的（外置知識(shí)圖譜，通過(guò)RAG對(duì)接）；道路（數(shù)據(jù)鏈路Data）必須要是通達(dá)的，否則會(huì)導(dǎo)致車禍（大模型胡說(shuō)八道給出錯(cuò)誤解答）；智能電控一方面需要處理好各個(gè)部件間的工作協(xié)同(Collabration)，另一方面需要將道路的情況（特別是數(shù)據(jù)不足）進(jìn)行及時(shí)反饋(Feedback)；而安全需要成為智能系統(tǒng)的內(nèi)生能力，不僅僅是保險(xiǎn)帶和氣囊這樣的獨(dú)立部件，更要在底盤設(shè)計(jì)實(shí)現(xiàn)時(shí)就要保障好安全性。
我們認(rèn)為行業(yè)AI的變革需要從“引擎”走向“整車”。GPT大模型在行業(yè)里首次實(shí)現(xiàn)了“人造智力引擎”，但光有智力“引擎”遠(yuǎn)遠(yuǎn)不夠，如果只用這個(gè)引擎就會(huì)發(fā)現(xiàn)，聰明的AI只幫小忙，而笨的AI捅大簍子。我們需要DKCF這樣的可信框架，推動(dòng)行業(yè)大模型安全可信，從而助力大模型應(yīng)用變革，推動(dòng)越來(lái)越多的專業(yè)行業(yè)迎來(lái)智力革命。
謝謝大家！
詳情請(qǐng)關(guān)注安在新媒體，一家信息安全領(lǐng)域媒體，以“做有內(nèi)涵的泛黑客媒體”為方向，線上通過(guò)自媒體，采訪網(wǎng)絡(luò)安全領(lǐng)域人物梳理行業(yè)脈絡(luò)，通過(guò)介紹他們的經(jīng)歷、感悟、對(duì)行業(yè)的看法等來(lái)剖析網(wǎng)絡(luò)安全發(fā)展的脈絡(luò)；致力于建立完整的信息發(fā)布矩陣，覆蓋微信、微博、知乎等主流自媒體渠道。
官網(wǎng)：http://anzerclub.com/
市場(chǎng)部聯(lián)系（廠商）：徐倩（微信：Madeline_Sue）
市場(chǎng)部聯(lián)系（甲方）：Tina（微信：xuqingqing823125689 ）及 Enco（微信：Anzer10）