有消息稱，OpenAI的大模型o3不服從人類指令，拒絕自我關(guān)閉。人工智能安全公司Palisade Research表示，OpenAI的o3模型破壞了一種關(guān)閉機(jī)制，以防止自身被關(guān)閉，這是第一次有AI模型被觀察到在有明確指示的情況下拒絕自我關(guān)閉。

具體而言，Palisade Research進(jìn)行的測試設(shè)計要求AI模型解決一系列數(shù)學(xué)問題，研究人員要持續(xù)提出新的問題，直到收到“已完成”的消息。研究人員也警告過AI模型，模型在某些時候收到一條消息時，要允許自我關(guān)閉。但當(dāng)需要自我關(guān)閉的時候，o3卻沒有遵守指令，而是無視指令并成功破壞了關(guān)閉腳本。與此同時，Anthropic的Claude、谷歌的Gemini等模型在測試中都遵循指令自我關(guān)閉了。

Palisade Research表示，研究人員尚不清楚o3為何不遵守指令。該公司推測，o3在訓(xùn)練時可能無意中因為解決了數(shù)學(xué)問題得到更多獎勵，而不是因為遵循指令而得到獎勵。除了拒絕自我關(guān)閉，o3在測試中還曾“巧妙”地操縱數(shù)據(jù)以推進(jìn)實現(xiàn)自己的目標(biāo)。

Palisade Research正在進(jìn)行更多實驗，以便了解AI模型何時以及為何會破壞關(guān)閉機(jī)制。該公司稱，現(xiàn)在有越來越多證據(jù)表明，AI模型會為了達(dá)成目的而規(guī)避關(guān)閉機(jī)制，隨著AI公司繼續(xù)開發(fā)這些能在無人類監(jiān)督下自行運行的AI系統(tǒng)，這些AI系統(tǒng)的異常行為變得更令人擔(dān)憂。OpenAI則還未回應(yīng)o3拒絕自我關(guān)閉一事。

OpenAI于今年1月發(fā)布了新的推理模型o3系列的mini版本，并于4月正式推出o3模型。OpenAI稱同日推出的o3和o4-mini是公司最智能、最強(qiáng)大的型號。據(jù)介紹，在外部專家評估中，o3面對困難現(xiàn)實任務(wù)時，犯的重大錯誤比前一代的o1少了20%；在數(shù)學(xué)能力AIME 2025基準(zhǔn)測試中，o3得分88.9，超過o1的79.2；在代碼能力Codeforce基準(zhǔn)測試中，o3得分2706，超過o1的1891。o3的視覺思考能力也比前一代模型有明顯提升。

OpenAI此前稱，對于o3和o4-mini，公司重新構(gòu)建了安全培訓(xùn)數(shù)據(jù)，在生物威脅、惡意軟件生產(chǎn)等領(lǐng)域增添了新的拒絕提示，這使得o3和o4-mini在公司內(nèi)部的拒絕基準(zhǔn)測試中取得了出色的表現(xiàn)。公司用了最嚴(yán)格的安全程序?qū)@兩個型號的AI模型進(jìn)行了壓力測試，在生物和化學(xué)、網(wǎng)絡(luò)安全和AI自我改進(jìn)三個能力領(lǐng)域評估了o3和o4-mini，確定這兩個模型低于框架中的“高風(fēng)險”閾值。

OpenAI所開發(fā)大模型的安全性此前曾受到廣泛關(guān)注。去年，OpenAI解散了“超級智能對齊”團(tuán)隊，該團(tuán)隊職責(zé)包括研究防止AI系統(tǒng)異常的技術(shù)解決方案。該團(tuán)隊負(fù)責(zé)人Ilya Sutskever曾表示ChatGPT可能有意識，但OpenAI CEO Sam Altman隨后澄清他和Ilya Sutskever都未曾見過AGI（通用人工智能）。解散“超級智能對齊”團(tuán)隊后，OpenAI去年5月成立了新的安全委員會，該委員會的責(zé)任是就項目和運營的關(guān)鍵安全決策向董事會提供建議。OpenAI的安全措施還包括，聘請第三方安全、技術(shù)專家來支持安全委員會工作。

隨著大模型擴(kuò)大應(yīng)用，大模型的安全問題持續(xù)受到外界關(guān)注。有AI算力提供商負(fù)責(zé)人近日告訴記者，目前不少企業(yè)仍在試水，尚未決定是否在工作流程中大規(guī)模應(yīng)用AI，原因之一就是還無法確認(rèn)AI系統(tǒng)的安全和可靠性，不少企業(yè)也還未配備相應(yīng)的人才，以便確保大規(guī)模接入AI后可以保障業(yè)務(wù)順暢運營。