OpenAI 研究思维链监测限制,指标仍非直接证据
11月10日报告分析训练如何影响模型操控思维链的能力。
OpenAI 在研究中观察到,强化学习可提高模型操控思维链文字的能力,这项能力也可经模型生成的训练数据传给下一代。
研究提醒,这是规避监测能力的不完美代理指标,不一定代表更多实际规避。这是厂商研究,并非独立验证、产品开放或安全保证;本站未复现实验。
研究提醒,这是规避监测能力的不完美代理指标,不一定代表更多实际规避。这是厂商研究,并非独立验证、产品开放或安全保证;本站未复现实验。
使用条件
- 香港
- 研究公告,不构成本地服务开放;未提供本地功能、网页/App/API、语言或收费变化。
- 澳门
- 研究公告,不构成本地服务开放;未提供本地功能、网页/App/API、语言或收费变化。
- 台湾
- 研究公告,不构成本地服务开放;未提供本地功能、网页/App/API、语言或收费变化。
官方来源: What affects chain-of-thought monitorability across the model lifecycle?