OpenAI 研究思維鏈監察限制,指標仍非直接證據
11月10日報告分析訓練如何影響模型操控思維鏈的能力。
OpenAI 在研究中觀察到,強化學習可提高模型操控思維鏈文字的能力,這項能力亦可經模型生成的訓練資料傳給下一代。
研究提醒,這是規避監察能力的不完美代指,不一定代表更多實際規避。屬廠商研究,並非獨立驗證、產品開通或安全保證;本站未重現實驗。
研究提醒,這是規避監察能力的不完美代指,不一定代表更多實際規避。屬廠商研究,並非獨立驗證、產品開通或安全保證;本站未重現實驗。
使用條件
- 香港
- 研究公告,不構成本地服務開通;未提供本地功能、網頁/App/API、語言或收費變更。
- 澳門
- 研究公告,不構成本地服務開通;未提供本地功能、網頁/App/API、語言或收費變更。
- 台灣
- 研究公告,不構成本地服務開通;未提供本地功能、網頁/App/API、語言或收費變更。
官方來源: What affects chain-of-thought monitorability across the model lifecycle?