2025年伊始，AI領(lǐng)域迎來一個(gè)重要變革 - DeepSeek R1開源發(fā)布，憑借著低成本、性能出眾的優(yōu)勢(shì)，這個(gè)模型在短短幾周內(nèi)就獲得空前關(guān)注。由于官網(wǎng)服務(wù)經(jīng)常崩潰，大家開始選擇使用Ollama+OpenWebUI、LM Studio等工具進(jìn)行本地快速部署，從而將AI能力引入企業(yè)內(nèi)網(wǎng)和個(gè)人PC環(huán)境。  
近期騰訊朱雀實(shí)驗(yàn)室發(fā)現(xiàn)：這些廣受歡迎的AI工具中普遍存在安全漏洞。如果使用不當(dāng)，攻擊者可能竊取用戶數(shù)據(jù)、濫用算力資源，甚至控制用戶設(shè)備。

文本將介紹這些流行AI工具的安全問題，以及如何使用開源的AI-Infra-Guard一鍵檢測與收斂相關(guān)風(fēng)險(xiǎn)。

Ollama

Ollama是一個(gè)開源應(yīng)用程序，允許用戶在Windows、Linux和macOS設(shè)備上本地部署和操作大型語言模型（LLM），受 Docker 的啟發(fā)，Ollama 簡化了打包和部署 AI 模型的過程， 現(xiàn)在已成為最流行的的個(gè)人電腦跑大模型的方案，目前網(wǎng)絡(luò)上大部分本地部署DeepSeek R1的文章也是推薦的此工具。
 
Ollama默認(rèn)啟動(dòng)時(shí)會(huì)開放11434端口，在此端口上公開使用restful api執(zhí)行核心功能，例如下載模型，上傳模型，模型對(duì)話等等。默認(rèn)情況下ollama只會(huì)在本地開放端口，但是在Ollama的docker中，默認(rèn)會(huì)以root權(quán)限啟動(dòng)，并且開放到公網(wǎng)上。 ollama對(duì)這些接口普遍沒有鑒權(quán)，導(dǎo)致攻擊者掃描到這些ollama的開放服務(wù)后可以進(jìn)行一系列攻擊手段。

模型刪除

例如，通過delete接口刪除模型。

模型竊取

通過tag接口查看ollama模型。ollama支持自定義鏡像源，自建一個(gè)鏡像服務(wù)器，再通過push 接口就能輕松竊取私有模型文件。

算力竊取

通過ps接口查看ollama模型。之后便能用chat接口請(qǐng)求對(duì)話，竊取了目標(biāo)機(jī)器的算力。

模型投毒

可以通過ps接口查看正在運(yùn)行的模型，接著可以用下載接口有毒的模型，通過刪除接口刪除正常模型，在通過copy接口遷移有毒模型到正常模型路徑，通過有毒模型污染使用者的對(duì)話。

遠(yuǎn)程命令執(zhí)行漏洞 CVE-2024-37032

ollama在去年6月爆發(fā)過嚴(yán)重的遠(yuǎn)程命令執(zhí)行漏洞【CVE-2024-37032】是Ollama開源框架中一個(gè)嚴(yán)重的路徑遍歷漏洞，允許遠(yuǎn)程代碼執(zhí)行（RCE），CVSSv3評(píng)分為9.1。該漏洞影響Ollama 0.1.34之前的版本，通過自建鏡像偽造manifest文件，實(shí)現(xiàn)任意文件讀寫和遠(yuǎn)程代碼執(zhí)行。

緩解方案

升級(jí)到最新版ollama，但是ollama官方目前無任何鑒權(quán)方案，運(yùn)行ollama serve時(shí)確認(rèn)環(huán)境變量OLLAMA_HOST為本地地址，避免公網(wǎng)運(yùn)行。建議本地運(yùn)行ollama再使用反向代理工具（如Nginx）為服務(wù)端增加訪問保護(hù)。 據(jù)統(tǒng)計(jì),目前公網(wǎng)上仍有約4萬個(gè)未設(shè)防的Ollama服務(wù),請(qǐng)檢查您的部署是否安全。

OpenWebUI

openwebui是現(xiàn)在最流行的大模型對(duì)話webui，包含大模型聊天，上傳圖片，RAG等多種功能且方便與ollama集成。也是現(xiàn)在deepseek本地化部署常見的搭配。

openwebui在歷史上也出現(xiàn)了不少漏洞，這里挑選幾個(gè)典型。

【CVE-2024-6707】一個(gè)文件黑掉你的AI

用戶通過Open WebUI的HTTP界面點(diǎn)擊消息輸入框左側(cè)的加號(hào)（+）上傳文件時(shí)，文件會(huì)被存儲(chǔ)到靜態(tài)上傳目錄。上傳文件名可偽造，未進(jìn)行校驗(yàn)，允許攻擊者通過構(gòu)造包含路徑遍歷字符（如../../）的文件名，將文件上傳至任意目錄。

攻擊者可通過上傳惡意模型（如包含Python序列化對(duì)象的文件），反序列化后執(zhí)行任意代碼，或通過上傳authorized_keys實(shí)現(xiàn)遠(yuǎn)程命令執(zhí)行。

流程圖如下：  

緩解方案

升級(jí)到最新版，避免開啟用戶系統(tǒng)。

ComfyUI

ComfyUI是現(xiàn)在最流行的diffusion模型應(yīng)用，因其豐富的插件生態(tài)和高度定制化節(jié)點(diǎn)聞名，常用于文生圖、文生視頻等領(lǐng)域。

ComfyUI和Ollama一樣，開發(fā)者最初可能只想在本地使用，沒有任何鑒權(quán)方式，但是也有大量開放到公網(wǎng)的ComfyUI應(yīng)用。  
ComfyUI因?yàn)椴寮鷳B(tài)聞名，但是插件的作者一般為個(gè)人開發(fā)者，對(duì)安全性沒有太多關(guān)注，騰訊朱雀實(shí)驗(yàn)室在去年就發(fā)現(xiàn)多個(gè)ComfyUI及其插件漏洞。

朱雀實(shí)驗(yàn)室歷史發(fā)現(xiàn)漏洞： 以上大部分漏洞影響ComfyUI全系列核心代碼(包含目前最新版本)，部分流行插件，影響包括遠(yuǎn)程命令執(zhí)行、任意文件讀取/寫入，數(shù)據(jù)竊取等。

緩解方案

由于漏洞修復(fù)緩慢，ComfyUI最新版本目前仍然存在漏洞，不建議將其暴露公網(wǎng)使用。
 

AI-Infra-Guard: AI風(fēng)險(xiǎn)一鍵檢測與防范

在過去一年中，朱雀藍(lán)軍圍繞混元大模型安全開展了深入研究和實(shí)踐，逐步落地了一套大模型軟件供應(yīng)鏈安全解決方案。該項(xiàng)目擁有輕量、快速、無害發(fā)現(xiàn)AI安全威脅的能力， 利用大模型進(jìn)行漏洞采集，已經(jīng)幫助收斂了多處“開源軟件供應(yīng)鏈漏洞導(dǎo)致混元數(shù)據(jù)泄露”的風(fēng)險(xiǎn)盲點(diǎn)，驗(yàn)證了利用大模型賦能安全的應(yīng)用潛力。
 
一個(gè)日常場景：
安全團(tuán)隊(duì)："求求你們先把ollama的鑒權(quán)打開"
算法團(tuán)隊(duì)："可是文檔沒說需要安全配置啊..."
運(yùn)維團(tuán)隊(duì)："這框架我都沒聽說過，怎么掃描？"
 
也正是這些痛點(diǎn)，催生了AI-Infra-Guard的誕生。

AI-Infra-Guard是什么

AI Infra Guard(AI Infrastructure Guard) 是一個(gè)高效、輕量、易用的AI基礎(chǔ)設(shè)施安全評(píng)估工具，專為發(fā)現(xiàn)和檢測AI系統(tǒng)潛在安全風(fēng)險(xiǎn)而設(shè)計(jì)。目前已經(jīng)支持檢測30種AI組件、不僅支持常見的AI應(yīng)用dify、comfyui、openwebui，也支持像ragflow、langchain、llama-factory等開發(fā)訓(xùn)練框架的漏洞檢測。
 
通過大模型自動(dòng)積累漏洞規(guī)則
為了解決海量AI組件CVE漏洞規(guī)則的人工分析成本，我們實(shí)現(xiàn)了用大模型自動(dòng)將歷史漏洞收集的方案，傳統(tǒng)方式中可能需要人工分析CVE描述 → 寫正則匹配規(guī)則（耗時(shí)3h/漏洞），現(xiàn)在利用混元大模型，自動(dòng)同步CVE+大模型自動(dòng)解析 -> 生成漏洞檢測邏輯只需要30s。也實(shí)現(xiàn)了對(duì)AI組件相關(guān)漏洞的實(shí)時(shí)監(jiān)控： 使用友好
 1. 零依賴，開箱即用，二進(jìn)制文件僅8MB

 2. 內(nèi)存占用＜50MB，掃完千節(jié)點(diǎn)集群不卡頓

 3. 跨平臺(tái)兼容，同時(shí)支持Windows/MacOS/Linux
 

使用

AI-Infra-Guard 已在GitHub開源，目前已收錄30+ AI應(yīng)用指紋，200+安全漏洞數(shù)據(jù)庫，且已包含騰訊朱雀實(shí)驗(yàn)室獨(dú)家發(fā)現(xiàn)的漏洞。

對(duì)于個(gè)人用戶，想檢測自己本地AI組件應(yīng)用，可以執(zhí)行如下命令一鍵檢測
./ai-infra-guard -localscan
將對(duì)本地開放端口進(jìn)行檢查和識(shí)別，給出安全建議。

如上文中使用了包含漏洞的ollama版本，一鍵檢測后提示如下 如果在檢測到AI服務(wù)在公網(wǎng)s開放，也會(huì)提示  
對(duì)于開發(fā)者/運(yùn)維，想檢測部署AI服務(wù)的安全性，執(zhí)行命令
 
單個(gè)目標(biāo)
./ai-infra-guard -target [IP:PORT/域名]

多個(gè)目標(biāo)
./ai-infra-guard -target [IP:PORT/域名] -target [IP:PORT/域名]

# 掃描網(wǎng)段尋找AI服務(wù) 
./ai-infra-guard -target 192.168.1.0/24

# 從文件讀取目標(biāo)掃描
./ai-infra-guard -file target.txt
   

獲取地址

開源地址：GitHub - Tencent/AI-Infra-Guard: AI infrastructure security assessment tool designed to discover and detect potential security risks in AI systems.

下載地址（根據(jù)系統(tǒng)下載自己系統(tǒng)的版本）：
Releases · Tencent/AI-Infra-Guard · GitHub

歡迎大家Star、體驗(yàn)并反饋工具的任何問題。