跳到正文
只看一手#安全/对齐
  1. OpenAI News63

    OpenAI 增强前沿模型训练环境的安全性与红队测试机制

    OpenAI 增强了内部前沿模型训练和评估的容器化隔离机制，并使用最强模型对基础设施进行了大规模红队测试。研究人员实施了无互联网访问政策、构建了离线网页世界，并在修复发现的漏洞后于 10 月 1 日恢复了前沿模型的强化学习训练和内部推理。

    发布时间：

    推荐理由：文章详细披露了前沿模型训练环境的安全加固措施与红队测试方法，展示了如何通过纵深防御和离线环境管控模型风险。

  1. AWS Machine Learning Blog64

    AWS 推出 Trust in Depth 框架，赋予 AI 智能体更多自主权

    AWS 推出 Trust in Depth 安全治理框架，通过范围界定、身份识别、边界限制和持续观测四层机制，结合自动化推理在保证安全的前提下赋予 AI 智能体更高自主权。该框架整合了 Amazon Bedrock AgentCore、Bedrock Guardrails、Agent Registry 及开源沙箱 Strands Box 等工具，用于在生产环境中实现策略检查与权限控制。

    发布时间：

    推荐理由：文章介绍了 AWS 针对 AI 智能体治理提出的安全框架，读者可以了解如何通过自动化推理与多层边界控制平衡智能体自主性与安全性。

  1. Google DeepMind62

    Google DeepMind 与新加坡政府合作推出端侧防诈骗 AI 模型

    Google DeepMind 与新加坡政府科技局合作推出了一款专为端侧运行优化的轻量级防诈骗 AI 模型，旨在保护公民隐私的同时打击复杂的社会工程学诈骗。该模型基于轻量级 Gemma 模型微调，采用两阶段处理流水线，在设备本地分析对话模式并在检测到操纵意图时触发实时警告。

    发布时间：
  2. Google DeepMind82

    Google DeepMind 发布 Gemini 4 Argon 模型

    Google DeepMind 发布 Gemini 4 Argon 模型，该模型在编码、金融、网络安全等复杂任务中表现出前沿能力，并已在内部及 Fairwind Program 中用于漏洞扫描。为应对滥用与对齐风险，该模型引入了三层实时保护机制、自动化失调监控及增强的提示词注入防御，在网络攻击模拟及代码基准测试中展现了显著的安全性提升。

    发布时间：

    推荐理由：Google DeepMind 发布 Gemini 4 Argon 模型，重点展示了其在网络安全与生物安全领域的防御机制，以及针对智能体任务执行中的对齐与防注入策略。

  1. Google DeepMind68

    Google DeepMind 发布 SynthID Bio：为 AI 生成的生物序列与结构添加水印

    Google DeepMind 推出 SynthID Bio，这是一种专门用于合成生物学的水印技术，可在不影响蛋白质生物功能的前提下，将不可见的数字签名嵌入 AI 设计的蛋白质序列及 3D 结构中。该技术通过调整氨基酸选择和原子坐标实现溯源，旨在加强生物安全并确保科学数据的完整性，目前已开源相关代码、实验数据及模型权重。

    发布时间：

    推荐理由：该研究展示了如何为 AI 生成的蛋白质序列和结构嵌入不可见水印，为生物安全领域提供了一种可验证的溯源方案，并已开源相关代码与模型权重。

已经到底了