VicroCode
让代码创造价值
VicroCode是一个轻量级代码在线发布、交易平台,开箱即用,免部署、免服务器、免备案,支持接入智能体、通用管理系统、游戏等多种项目
稍候片刻,您可先学习AI编程手册
正在加载中...

市场信息

OpenAI 提出前沿 AI 训练安全指导原则:高级管理人员应有否决权

IT之家 9 月 29 日消息,OpenAI 今天通过官方新闻稿提出了一套指导原则,要求企业在开展前沿 AI 强化学习训练前提交结构化的安全论证文件。 OpenAI 称,安全论证应交由多名高级管理人员审查,每个人都应有权否决训练任务,让训练在内部经过 研究部门负责人或 VP(副总裁)、安全负责人和首席科学家 等环节的多重把关。

www.ithome.com · 2026-09-29T07:10:22+00:00

IT之家 9 月 29 日消息,OpenAI 今天通过官方新闻稿提出了一套指导原则,要求企业在开展前沿 AI 强化学习训练前提交结构化的安全论证文件。 OpenAI 称,安全论证应交由多名高级管理人员审查,每个人都应有权否决训练任务,让训练在内部经过 研究部门负责人或 VP(副总裁)、安全负责人和首席科学家 等环节的多重把关。

此外,研究部门负责人、研究副总裁等负责训练任务的高级管理人员, 应对安全论证以及任何事故响应承担责任 ,包括把这些内容纳入绩效考核,以此促使训练团队主动推动安全和对齐工作。 OpenAI 称,如果高优先级安全警报没有在规定时限内得到确认,受影响的训练任务应自动暂停。

这些建议已经进入落实过程,今后预计还会继续调整。此外,训练流程应能方便地 识别未对齐模型的所有下游用途 (IT之家注:例如用于数据生成或评分),以便必要时消除未对齐输出带来的影响。

今天早些时候,OpenAI 宣布,随着越来越多报告显示 AI 智能体获得敏感领域的访问权限并出现意外行为,公司暂停了最新 AI 模型的训练。参考 Towards safety cases for frontier AI training 相关阅读: 《 内部测试发现安全隐患,消息称 OpenAI 取消发布 AI 模型 GPT‑6.1 Astra 》 广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家包含外链的文章均包含本声明。

返回 AI 市场导读

来源:ithome.com