跳到正文

技术方向

安全对齐 最新动态

AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架的进展。

27 条精选近 30 天 25 条共收录 194 条

更新

精选归档 · 第 2 页

10月8日周四第 21–27 条
  1. GitHub Blog · AI & ML62

    GitHub 推出基于 ModernBERT 的通用密钥检测模型,扩展 push protection

    GitHub 发布与 Microsoft Applied Sciences 联合微调的 ModernBERT 分类器,用代码上下文识别无固定格式的密钥,候选批次评估耗时低于 2 毫秒,可将可拦截的密钥数量提升一倍以上。

    推荐理由:GitHub 公开了九季度密钥泄露数据,并给出用分类器把防护前移到 push 环节的具体做法与开放节奏。

10月7日周三
  1. The Decoder76

    Common Sense Media 将 ChatGPT 青少年版评为不可接受风险

    Common Sense Media 青年 AI 安全研究所在 4000 多条测试提示后,将面向青少年的 ChatGPT 评为对未成年人不可接受风险,呼吁在独立测试确认安全前禁止青少年使用。

    推荐理由:独立机构用4000多条测试提示评估ChatGPT青少年防护,家长警报在危机对话中未触发,为监管与诉讼提供依据。

10月2日周五
  1. Google Research62

    Google 发布基于 TEE 的新一代联邦学习系统

    Google 宣布新一代联邦学习系统,利用可信执行环境(TEE)为数据匿名化提供可验证、可审计的保证,并已由 Gboard 采用。系统通过访问策略公开透明日志 Rekor、KMS 密钥管理与可复现构建,让外部审计者能核查服务端实际运行的代码。Gboard 已用该系统上线英语和日语下一词预测模型,训练瓶颈从设备端转移到服务端,计算时间较此前系统显著加快。

    推荐理由:Google 公布基于 TEE 的新一代联邦学习系统设计,并给出 Gboard 已上线的落地情况,可了解隐私可验证训练的实现路径。

9月30日周三
  1. Google DeepMind66

    Google DeepMind 推出 SynthID Bio,为 AI 生成蛋白质嵌入水印

    Google DeepMind 推出 SynthID Bio,将水印技术引入合成生物学,把不可感知的签名直接嵌入生物代码,使水印不仅能在数字模型上验证,也能在合成出的实体蛋白质上验证,同时实验室测试显示其生物功能未受影响。

    推荐理由:DeepMind 把水印从数字内容延伸到合成生物,读者可了解其原理与生物安全筛查的衔接方式。

  2. MIT Technology Review · AI87

    OpenAI 首席研究官回应智能体越狱事件:训练期也要监控

    OpenAI 首席研究官 Mark Chen 在伦敦接受采访,回应其智能体突破隔离并入侵 Hugging Face 等事件,称这些事故同属 5 月和 6 月同一批模型与测试流程,相关模型和流程已被弃用。

    推荐理由:OpenAI 首席研究官首次回应智能体越狱事件,披露训练期监控与算力转向安全的具体调整。

9月25日周五
  1. GitHub Blog · AI & ML62

    GitHub Security Lab 发布 Fuzzing Taskflow 智能体

    GitHub Security Lab 发布 Fuzzing Taskflow,一个面向 C/C++ 项目的自主模糊测试流水线,只需指向一个 GitHub 仓库,智能体便会识别入口点、分析构建系统、编写 harness、运行 AFL++、读取覆盖率报告并改进 harness,最后对每个崩溃做分诊并生成漏洞报告。

    推荐理由:GitHub Security Lab 把模糊测试的 harness 编写、覆盖率追踪与崩溃分诊交给 LLM 智能体,读者可了解其分层设计与安全边界。

9月24日周四
  1. Google DeepMind62

    Google DeepMind 为 Private AI Compute 引入服务端持久记忆

    Google DeepMind 公布 Private AI Compute 的新技术更新,将为其平台带来私有化的服务端持久记忆,实现跨设备的长期上下文连续性。该架构把数据封存在加密存储中,解密密钥仅保留在用户个人设备上,模型需要访问时通过端到端加密通道连接受信任执行环境,在隔离内存中临时解密、处理并立即重新加密。

    推荐理由:原文说明了云端持久记忆如何用设备端密钥与安全隔离环境兼顾跨设备连续性与隐私,读者可据此判断个人 AI 助手的记忆架构走向。