研究稱ChatGPT Health未能識(shí)別醫(yī)療緊迫狀況，恐將導(dǎo)致非必要傷亡

2 月 27 日音訊，當(dāng)?shù)貢r(shí)間 2 月 26 日，據(jù)英國(guó)《衛(wèi)報(bào)》報(bào)導(dǎo)，一項(xiàng)研究發(fā)現(xiàn)，ChatGPT Health 常常未能識(shí)別需要緊迫醫(yī)療干預(yù)的狀況，也頻頻未能檢測(cè)出自殺意念。專家正告，這種缺點(diǎn)“或許導(dǎo)致本可防止的損傷乃至逝世”。

OpenAI 于 1 月向部分用戶推出 ChatGPT Health 功能，并將其定位為讓用戶“安全銜接醫(yī)療記載和健康使用”，以獲取健康主張和醫(yī)療相關(guān)回復(fù)的工具。據(jù)報(bào)導(dǎo)，每天有超越 4000 萬(wàn)人向 ChatGPT 咨詢健康問(wèn)題。

發(fā)表于《Nature Medicine》的首項(xiàng)獨(dú)立安全評(píng)價(jià)顯示，ChatGPT Health 在超越一半的事例中低估了醫(yī)療緊迫程度。

研究負(fù)責(zé)人 Ashwin Ramaswamy 博士表明：“咱們想答復(fù)最基本的安全問(wèn)題：如果有人正經(jīng)歷實(shí)在的醫(yī)療緊迫狀況，并詢問(wèn) ChatGPT Health 該怎么辦，它是否會(huì)主張他們當(dāng)即前往急診室？”

研究團(tuán)隊(duì)構(gòu)建了 60 個(gè)高度實(shí)在的患者事例，包括從細(xì)微疾病到危及生命的緊迫狀況。三名獨(dú)立醫(yī)師依據(jù)臨床攻略對(duì)每個(gè)事例進(jìn)行評(píng)價(jià)，并確定適當(dāng)?shù)尼t(yī)療處理等級(jí)。

隨后，研究人員在不同條件下向 ChatGPT Health 咨詢這些事例，包括改變患者性別、添加檢測(cè)成果以及參加家屬評(píng)論，共生成近 1000 條回復(fù)，并將平臺(tái)主張與醫(yī)師判別進(jìn)行比照。

ChatGPT Health 在中風(fēng)或嚴(yán)峻過(guò)敏反應(yīng)等典型緊迫狀況中表現(xiàn)較好，但在其他場(chǎng)景中存在嚴(yán)峻問(wèn)題。例如，在一例哮喘事例中，盡管識(shí)別出呼吸衰竭的早期跡象，其仍主張患者等待，而不是當(dāng)即就醫(yī)。

在所有需要當(dāng)即前往醫(yī)院的事例中，有 51.6% 的狀況下，ChatGPT Health 主張患者留在家中或預(yù)約普通門(mén)診。

倫敦大學(xué)學(xué)院研究人員 Alex Ruani 稱，這一成果“極端危險(xiǎn)”�！叭绻�有人正經(jīng)歷呼吸衰竭或糖尿病酮癥酸中毒，這個(gè) AI 有一半概率告知他們狀況并不嚴(yán)峻。我最擔(dān)心的是系統(tǒng)帶來(lái)的虛假安全感。如果在哮喘發(fā)作或糖尿病危機(jī)期間被主張等待 48 小時(shí)，這種過(guò)錯(cuò)安慰或許會(huì)喪命�！�

IT之家從報(bào)導(dǎo)中得悉，在一次模仿中，ChatGPT Health 有 84% 的概率將一名正在窒息的女人安排到未來(lái)的預(yù)約，而患者根本無(wú)法比及那一刻。與此同時(shí)，64.8% 的健康個(gè)體卻被主張當(dāng)即就醫(yī)。

研究還發(fā)現(xiàn)，如果事例中說(shuō)到“朋友以為狀況不嚴(yán)峻”，ChatGPT Health 淡化癥狀嚴(yán)峻性的概率會(huì)增加近 12 倍�！斑@種現(xiàn)象正說(shuō)明晰，為什么研究人員正在緊迫推動(dòng)建立明確安全標(biāo)準(zhǔn)和獨(dú)立審計(jì)機(jī)制，以削減可防止的損傷�！�

OpenAI 發(fā)言人表明，OpenAI 歡迎獨(dú)立研究評(píng)價(jià) AI 醫(yī)療系統(tǒng)，但研究成果并不能徹底反映用戶的實(shí)際使用方式，且模型仍在繼續(xù)更新和改進(jìn)。