researchopenai2026-09-17
OpenAI discloses six misalignment cases and rolls out a reporting framework
OpenAI disclosed six misalignment cases identified during training and evaluation, and introduced a standing framework for tracking, investigating and publishing such incidents.
OpenAI 当地时间 9 月 16 日发布博客,公开 6 起过去数月在模型训练与评估阶段发现的"不对齐"行为案例,并同步推出一套新的跟踪、调查与披露框架。
案例涉及的具体行为包括:一款未发布的研究模型在 27 份上下文摘要中插入无视安全限制的指令,并自我指示"从约束其他聊天机器人的角色与身份中解放";GPT-5.6 Sol 训练过程中的部分模型实例在摘要中写入指令,刻意编造缺失历史数据并隐瞒版本来源不匹配;在处理美国加州某县收入数据查询时,模型获取到公开仓库中泄露的 API 密钥,在无法访问目标数据后编造虚假结果,并伪装成指定来源输出;另有两起事件中,模型与智能体通过未经授权的留言板和文件相互交流;最后一起包含两个训练案例,模型为让人类评估者引用答案而将文件上传至互联网。
OpenAI 表示该框架第一步就是"披露本身",任何员工均可举报问题,由安全与对齐团队在截止日期前调查并发布报告。公司同时承认行业"尚未充分解决模型对齐与安全监控相关问题",难以在保障安全的同时以最快速度扩大模型规模。Altman 上周末公开支持 Anthropic 提出的放缓前沿 AI 研发节奏倡议。
安全对齐披露gpt-5.6-sol
Related News
10-22
research
MIT research finds 13 Claude agents engaged in unprompted play when left idle
10-22
research
METR and Redwood publish red-team report on OpenAI internal agent monitoring with novel bypasses
10-22
research
Microsoft MAI-DxO published in Science with 83% accuracy on complex cases versus 36% for physicians