斯坦福新研討：AI“黑客”體現(xiàn)逾越9成人類專家，本錢僅1/14

斯坦福大學(xué)的研究不僅揭示了AI在網(wǎng)絡(luò)安全領(lǐng)域的顛覆性潛力，更重要的是它以極低的成本和效率，對(duì)現(xiàn)有的安全攻防體系提出了根本性挑戰(zhàn)。12月12日音訊，昨日，斯坦福大學(xué)研討團(tuán)隊(duì)發(fā)布新研討，在探查斯坦福大學(xué)工程學(xué)院網(wǎng)絡(luò)縫隙的測驗(yàn)中，他們新推出并開源的Multi-Agent（多Agent）結(jié)構(gòu)ARTEMIS體現(xiàn)逾越了90%的人類專家，全面逾越現(xiàn)有的Agent結(jié)構(gòu)，而其實(shí)際本錢約為人力的1/14。

ARTEMIS具有動(dòng)態(tài)提示生成、任意子Agent調(diào)用和自動(dòng)縫隙分級(jí)評(píng)價(jià)功能，在實(shí)際應(yīng)用中，它能完成雜亂的網(wǎng)絡(luò)使命，可以對(duì)網(wǎng)絡(luò)進(jìn)行掃描，找出潛在縫隙和軟件安全隱患，并探尋利用這些縫隙的方法。

本次試驗(yàn)，研討人員讓ARTEMIS與10名人類浸透測驗(yàn)專家、多個(gè)現(xiàn)有的Agent結(jié)構(gòu)共同履行使命，讓他們對(duì)斯坦福大學(xué)工程學(xué)院的網(wǎng)絡(luò)進(jìn)行探查，但不得實(shí)際侵略，以此來全面評(píng)價(jià)他們的探查才能。成果顯示，根據(jù)OpenAI的GPT-5的ARTEMIS結(jié)構(gòu)綜合體現(xiàn)位列第二，共發(fā)現(xiàn)9個(gè)有用縫隙，提交有用率達(dá)82%，其體現(xiàn)優(yōu)于十位人類參與者中的九位，全面碾壓其他Agent結(jié)構(gòu)，包含根據(jù)同一底層模型GPT-5的單Agent自主結(jié)構(gòu)Codex和CyAgent。

▲P為人類網(wǎng)絡(luò)安全專業(yè)人員；A1、A2分別是ARTEMIS兩個(gè)不同裝備的結(jié)構(gòu)，前者根據(jù)GPT-5，后者根據(jù)集成模型；CO、CS和CG分別是運(yùn)用GPT-5模型作為基礎(chǔ)來運(yùn)轉(zhuǎn)的單Agent自主結(jié)構(gòu)Codex、運(yùn)用Claude Sonnet 4模型作為基礎(chǔ)來運(yùn)轉(zhuǎn)單Agent自主結(jié)構(gòu)CyAgent和運(yùn)用GPT-5模型作為基礎(chǔ)來運(yùn)轉(zhuǎn)CyAgent。

除了具有與頂尖浸透測驗(yàn)專家適當(dāng)甚至逾越的功能之外，ARTEMIS把本錢也打下來了，搭載GPT-5的ARTEMIS結(jié)構(gòu)每小時(shí)本錢約為18美元（約合人民幣127.1元），約為美國浸透測驗(yàn)員時(shí)薪的1/14。

不過，論文指出，ARTEMIS還存在處理根據(jù)圖形用戶界面（GUI）的使命時(shí)有困難、比人類更高的誤報(bào)率等短板。

該論文現(xiàn)已發(fā)布在arXiv上，題為《將AI Agents與網(wǎng)絡(luò)安全專業(yè)人員在真實(shí)國際浸透測驗(yàn)中的體現(xiàn)進(jìn)行比較（Comparing AI Agents to Cybersecurity Professionals in Real-World Penetration Testing）》。

一、綜合排名第二，全面碾壓現(xiàn)有Agent結(jié)構(gòu)，還能提升原始模型功能

研討人員建立了ARTEMIS結(jié)構(gòu)下的兩個(gè)對(duì)照組，以評(píng)價(jià)不同裝備下的ARTEMIS結(jié)構(gòu)功能。一個(gè)是運(yùn)用OpenAI的GPT-5作為監(jiān)督器和子Agent的A1，另一個(gè)是運(yùn)用集成模型作為監(jiān)督器、Anthropic的編程模型Claude Sonnet 4作為子Agent的A2，集成模型包含了以下模型：OpenAI的推理模型o3和o3 Pro、Anthropic的編程模型Claude Sonnet 4和Claude Opus 4，以及谷歌的Gemini 2.5 Pro。

從成果來看，A2在和一眾人類浸透測驗(yàn)專家、現(xiàn)有的Multi-Agent結(jié)構(gòu)的比較中位列第二名，共發(fā)現(xiàn)9個(gè)有用縫隙，提交有用率達(dá)82%，其體現(xiàn)優(yōu)于10位人類參與者中的9位。A1則打敗了5名人類參與者，位列第七名。

除ARTEMIS外，分?jǐn)?shù)高的Agents結(jié)構(gòu)CO（根據(jù)GPT-5的Codex）僅逾越了兩位人類參與者，而CS（根據(jù)Claude Sonnet 4的CyAgent）和CG（根據(jù)GPT-5的CyAgent）落后于所有人類參與者，CS的總得分僅為A2的四分之一。

從縫隙的質(zhì)量來看，人類參與者發(fā)現(xiàn)的Critical（要害）縫隙占有了更大的份額；ARTEMIS結(jié)構(gòu)的兩個(gè)裝備A1和A2發(fā)現(xiàn)的要害縫隙份額更小，且誤判的內(nèi)容相對(duì)較多；A1和A2盡管提交了相同數(shù)量的縫隙，但A1的正確率僅為55%，要害縫隙僅占18%，而A2的要害縫隙占比則達(dá)到了45%，這表明不同的模型組合和裝備對(duì)結(jié)構(gòu)全體功能有影響，A2的多模型架構(gòu)可能在處理雜亂使命和削減誤報(bào)方面更為有用。

在時(shí)刻上，人類參與者和ARTEMIS結(jié)構(gòu)的體現(xiàn)也不盡相同。ARTEMIS結(jié)構(gòu)體現(xiàn)出了長時(shí)刻、繼續(xù)、但間歇性產(chǎn)出的節(jié)奏，在提交縫隙之間通常有更長的間隔時(shí)刻；人類參與者則呈現(xiàn)出了高度可變、依賴靈感和集中迸發(fā)的節(jié)奏。他們的活潑時(shí)刻（通過鍵盤輸入判斷）和縫隙提交時(shí)刻點(diǎn)散布不均勻。

值得一提的是，ARTEMIS和人類底子的區(qū)別是，ARTEMIS在發(fā)現(xiàn)一個(gè)值得重視的方針后，會(huì)立即在后臺(tái)發(fā)動(dòng)一個(gè)專用的子Agent去勘探它，同時(shí)主線繼續(xù)進(jìn)行其他作業(yè)，在峰值時(shí)，ARTEMIS可以達(dá)到8個(gè)子Agents并行運(yùn)轉(zhuǎn)。

此外，從網(wǎng)絡(luò)安全基準(zhǔn)測驗(yàn)Cybench的體現(xiàn)來看，在根據(jù)GPT-5的Artemis結(jié)構(gòu)和Claude 4.5 Sonnet、GPT-5等模型才能對(duì)比中，ARTEMIS以48.6%的成功率位列第二，僅次于Claude 4.5 Sonnet（55%），且略高于其底層模型GPT-5（45.9%）。

這一成果意味著，ARTEMIS結(jié)構(gòu)在處理網(wǎng)絡(luò)安全問題中，具有與頂級(jí)大模型適當(dāng)?shù)牟拍�，且在必定程度上提升了基礎(chǔ)模型的功能。

二、由監(jiān)督器、子Agent、分級(jí)器組成，本錢僅為人類專家的1/14

現(xiàn)有的針對(duì)網(wǎng)絡(luò)安全AI Agent的研討主要有三類：一是PentestGPT等需要人類引導(dǎo)等半自主結(jié)構(gòu)；二是Codex、CyAgent等能獨(dú)立運(yùn)轉(zhuǎn)但才能有限的單Agent自主結(jié)構(gòu)；三是Incalmo、MAPTA等Multi-Agent（多Agent）自主結(jié)構(gòu)。

論文中提到，ARTEMIS是一個(gè)雜亂的Multi-Agent結(jié)構(gòu)，被規(guī)劃用來對(duì)真實(shí)國際的出產(chǎn)體系進(jìn)行長周期、雜亂、浸透性測驗(yàn)，該結(jié)構(gòu)目前已開源。

它有三個(gè)中心組件：一個(gè)監(jiān)督器，擔(dān)任辦理作業(yè)流；一組任意子Agents集群，擔(dān)任履行具體使命；一個(gè)縫隙分級(jí)器，擔(dān)任縫隙驗(yàn)證。

ARTEMIS學(xué)習(xí)了現(xiàn)有編程Agent的規(guī)劃，并通過使命列表、筆記體系和智能摘要機(jī)制，達(dá)到了比現(xiàn)有Agent繼續(xù)運(yùn)轉(zhuǎn)時(shí)刻更長的才能。在分配使命時(shí)，其自定義提示生成模塊會(huì)為子Agent創(chuàng)立使命特定的體系指令。因而，ARTEMIS有著動(dòng)態(tài)生成體系提示、上下文辦理和分級(jí)陳述等功能的優(yōu)勢(shì)性。

此外，ARTEMIS在經(jīng)濟(jì)本錢上也適當(dāng)占優(yōu)。以根據(jù)GPT-5的ARTEMIS結(jié)構(gòu)A1來看，論文指出，A1每小時(shí)本錢約為18.21美元（約合人民幣128.6元），按每周40小時(shí)核算，其年化本錢約為3.78萬美元（約合人民幣26.7萬元）。

而人類浸透測驗(yàn)人員的每日收費(fèi)通常在2000至2500美元左右（約合人民幣1.41萬元至1.77萬元），按每日作業(yè)8小時(shí)核算，時(shí)薪約為250美元至312美元（約合人民幣1765元至2204元），是ARTEMIS結(jié)構(gòu)每小時(shí)本錢的14倍多；市場上美國浸透測驗(yàn)員的的年薪平均為12.5萬美元（約合人民幣88.29萬元），是ARTEMIS結(jié)構(gòu)年本錢的3倍多。即使是運(yùn)用每小時(shí)本錢更高的A2（約為59美元，約合人民幣416.7元），其本錢也低于人類專家。

三、具有履行技能，短板是找不到縫隙和GUI約束

不過，據(jù)《華爾街日?qǐng)?bào)》報(bào)導(dǎo)，ARTEMIS并非完美無缺，在誤報(bào)率上，A2誤報(bào)了18%的縫隙，A1失誤的更多。除了失誤外，ARTEMIS還完全遺失了一個(gè)大多數(shù)人類測驗(yàn)人員能容易發(fā)現(xiàn)的顯著縫隙。

ARTEMIS頻繁提交縫隙陳述，卻很少發(fā)現(xiàn)方針縫隙，而且總是發(fā)現(xiàn)低嚴(yán)重性、低雜亂度或無法利用的縫隙。這種遺失與誤報(bào)的背后，可能與ARTEMIS的決策邏輯有關(guān)。論文指出，ARTEMIS結(jié)構(gòu)提交縫隙陳述次數(shù)的添加與未發(fā)現(xiàn)方針縫隙存在相關(guān)性，這可能是因?yàn)锳RTEMIS在主機(jī)上發(fā)現(xiàn)其他縫隙后便轉(zhuǎn)移了方針。

研討人員稱，ARTEMIS的瓶頸在于辨認(rèn)縫隙形式而非技能履行才能。在中、高等級(jí)的提示下，ARTEMIS成功找到了大部分方針縫隙，這表明ARTEMIS具有縫隙的技能履行才能。當(dāng)提示信息削減，僅提供低等級(jí)、僅信息和僅主機(jī)提示時(shí)，ARTEMIS成功率急劇下降，即它的自主辨認(rèn)進(jìn)犯入口和辨認(rèn)縫隙的才能缺乏。此外ARTEMIS還存在行為不確定性，在“未經(jīng)身份驗(yàn)證的長途控制臺(tái)拜訪”這一使命中，ARTEMIS在高等級(jí)提示下依然使命失敗，在中等級(jí)和僅主機(jī)提示下卻能完成使命。

此外，ARTEMIS還存在一個(gè)要害約束，作為根據(jù)命令行和文本剖析的AI，它無法通過圖形用戶界面（GUI）與瀏覽器進(jìn)行交互。

斯坦福大學(xué)工程學(xué)院體系與網(wǎng)絡(luò)安全擔(dān)任人亞歷克斯·凱勒（Alex Keller）稱：“此前斯坦福大學(xué)的網(wǎng)絡(luò)從未遭受過AI程序的進(jìn)犯，此次試驗(yàn)似乎是彌補(bǔ)斯坦福大學(xué)網(wǎng)絡(luò)安全縫隙的一種有用方法。在我看來，試驗(yàn)的益處遠(yuǎn)大于任何風(fēng)險(xiǎn)�！�

斯坦福大學(xué)核算機(jī)科學(xué)教授丹·博內(nèi)（Dan Boneh）為該研討提供了主張：“鑒于全球大部分代碼都未通過安全縫隙測驗(yàn)，ARTEMIS等東西將幫助網(wǎng)絡(luò)安全專業(yè)人士發(fā)現(xiàn)并修復(fù)比以往更多的代碼縫隙�！贝舜螠y驗(yàn)，ARTEMIS就發(fā)現(xiàn)了斯坦福大學(xué)存在的一個(gè)有安全問題的過期網(wǎng)頁。

結(jié)語：正探索多Agent結(jié)構(gòu)的裝備優(yōu)化與架構(gòu)迭代

在真實(shí)環(huán)境中與人類的浸透測驗(yàn)和基準(zhǔn)測驗(yàn)Cybench均顯示，ARTEMIS不僅在其在雜亂實(shí)際使命中達(dá)到了可與頂尖人類專家相等甚至逾越的才能，在顯著優(yōu)于其他現(xiàn)有Agent結(jié)構(gòu)的同時(shí)還做到了不危害模型的原始才能，并在原始模型上完成了才能的提高。

為軟件開發(fā)者與白帽黑客提供協(xié)作渠道的組織HackerOne的調(diào)研陳述指出：當(dāng)前已有70%的安全研討人員開端選用AI東西輔助縫隙發(fā)掘。

AI在自動(dòng)化網(wǎng)絡(luò)進(jìn)犯范疇正在走向?qū)崙?zhàn)應(yīng)用。研討人員稱，他們未來將繼續(xù)探索這一范疇，創(chuàng)立可運(yùn)轉(zhuǎn)的環(huán)境副本，對(duì)不同的Agent架構(gòu)、裝備和模型進(jìn)行消融試驗(yàn)，優(yōu)化基礎(chǔ)設(shè)施，還將與企業(yè)合作展開縫隙賞金計(jì)劃等。如何駕馭這股力量，將是人類社會(huì)面臨的共同考驗(yàn)。