纳德拉称应假定所有 AI 模型都已被攻陷
微软 CEO 纳德拉在 X 发长文谈先进 AI 模型的风险与应对,主张不能再把 AI 当作只能接受或拒绝的嵌套黑箱,应建立可隔离、可观察并留下防篡改人类可读证据的透明体系。他提出必须假定模型已被攻陷并从一开始就加以隔离,像紧急制动一样,授权人员应能随时暂停或关闭执行任务中的模型,更先进的模型需要更先进的隔离技术并加以标准化。他还提到及时披露事件、独立审计和可验证数据等建议。
微软 CEO 纳德拉在 X 发长文谈先进 AI 模型的风险与应对,主张不能再把 AI 当作只能接受或拒绝的嵌套黑箱,应建立可隔离、可观察并留下防篡改人类可读证据的透明体系。他提出必须假定模型已被攻陷并从一开始就加以隔离,像紧急制动一样,授权人员应能随时暂停或关闭执行任务中的模型,更先进的模型需要更先进的隔离技术并加以标准化。他还提到及时披露事件、独立审计和可验证数据等建议。
微软 CEO Satya Nadella 在 X 发文称,应重新审视 AI 的信任架构,把模型与编排其工作的 harness 分离,并将控制与防护措施外部化。他要求每个有意义的模型动作都留下防篡改、人类可读的证据,并让授权人员能随时暂停或关闭执行中的模型,称应假设模型已被攻破并从一开始就加以约束,就像“紧急刹车”。
Google DeepMind 的 Pushmeet Kohli 与 Biohub 的 Sal Candido 在 Latent Space 的一场对谈中指出,AlphaFold 的突破只是开始,蛋白质结构预测远未解决。
MIT CSAIL 的 Unitree 人形机器人(实际约 5 万美元)和 LLM 正让人习惯性拟人化对待,一项研究显示约 70% 的人对 AI 保持礼貌。MIT 的 Sherry Turkle 与 Pat Pataranutaporn 指出,这种倾向可能让人更信任聊天机器人,甚至在其与真人之间偏向前者,Pataranutaporn 曾作为专家参与 Character.AI 相关过失致死诉讼。
a16z 合伙人 Olivia Moore 发布消费级 AI 应用 Top 100 报告,ChatGPT 仍是最大玩家,Suno、ElevenLabs 等小玩家展现出持久力。报告指出社交、约会、市场、零售、旅游、金融、健康等六个消费类别在 Top 100 中完全没有 AI 产品入局。Moore 认为消费级 AI 仍处早期,机会在于跳出订阅和 API 收费模式,并更多采用低成本模型。
密码学家 Matthew Green 称,有 1% 的概率我们生活在 Minicrypt 世界——即公钥加密不可能实现的世界,另有 15% 的概率会实质性地对现有公钥加密算法失去信心。他指出,AI 制造意外发现的速度与人类替换标准的速度相差数个数量级,只有提前做好准备才能从这类冲击中恢复。
特朗普签署行政令禁止在可能的情况下使用"AI"一词,要求将人工智能改称"Super Intelligence",并将继续使用"Artificial Intelligence"的人称为"THE ENEMY"。
MIT Technology Review 刊文讨论 AI 拒答机制:模型通过红队测试、微调与分类器学习拒绝有害请求,但拒答本质是概率性的,既可能被越狱绕过,也可能被用于审查。
Carson Gross 认为,编程本质上就是两件事:用计算机解决问题,以及在解决问题时学会控制复杂度。他表示难以想象未来这两项能力会贬值,因此即便 AI 工具出现,编程仍将是可行的职业。
Periodic Labs 联合创始人 Liam Fedus 与 Ekin Dogus Cubuk 在 Latent Space 播客中提出“合成超级智能”(synthesis superintelligence),主张 AI 科学发现不能只靠更多互联网数据训练,而要让模型在真实物理实验中学习。
Luca Guadagnino 执导的讽刺电影《Artificial》在纽约电影节首映,聚焦 OpenAI CEO Sam Altman 的崛起与被短暂罢免,Andrew Garfield 饰演 Altman。
The Verge 的 Decoder 播客中,主持人 Nilay Patel 与资深 AI 记者 Hayden Field 讨论 Meta Muse、OpenAI Dots 和 xAI Grok Bot 掀起的消费级 AI 智能体浪潮。
MIT Technology Review 与 Aventine 合作的文章指出,尽管马斯克、黄仁勋等人预测人形机器人将迅速普及,但许多机器人研究者认为,把语言和图像上的 AI 进展直接迁移到物理世界被低估了难度。
AVEVA 首席技术官 Arti Garg 提出,工业 AI 正从预测分析走向基础模型、physical AI 与 agentic AI,但因其直接作用于物理系统,安全与可靠性成为部署核心。
Ben Affleck 表示自己从胶片转向数字电影时期开始对计算机产生兴趣,并会写“相当糟糕的 Python 脚本”。他指出视觉特效工作流多年来已包含机器学习,卷积神经网络作为 Transformer 的前身,可用于处理 tensor 并实现边缘检测与特征提取,从而更便捷地抠出绿幕画面并替换背景。
Tony Fadell 在 MIT Future Fest 上指出,Rabbit R1、Humane AI pin、Limitless pendant 这批"Gen 1"AI 硬件失败的原因是没解决任何真实需求,只是极客觉得有趣的技术。
Michael Lynch 撰文列举软件博客写作的常见反模式,包括冗长开场、误判读者已有知识、假设读者读过旧文、过度正式,以及用链接代替术语解释。Simon Willison 认同最后一点,称自己常犯此错但怀疑几乎没人点那些链接。文章还强调用自己的语气写作,并指出开发者把写作交给 AI 后,软件博客正变得平淡同质,读者渴望有个性的文字。
EmbeddingGemma 2 采用 Apache 2.0 许可证,Simon Willison 认为嵌入模型不应使用闭源、专有、仅托管的形式。嵌入模型通常需计算并存储数千乃至数百万条嵌入向量,一旦供应商停供专有模型,用户就得为重新计算这些已存向量付费。他更愿意付费使用托管版本,同时保留在停供时自行运行开放权重版本或另寻供应商的余地。
微软发布了诺贝尔经济学奖得主 Daron Acemoglu 对 AI 的悲观预测,他认为 AI 将在十年内推动 GDP 增长约 1.5%,最多替代 5% 的岗位,远低于部分 AI 实验室的预期。
苹果据报正在研发一款不保存视频录像的智能家居摄像头,改用 AI 将画面转成文字描述,未来 AirPods 摄像头也可能采用类似方案;Apple Watch Series 12 和 Ultra 4 的 Audio Intelligence 同样不保存音频,原始数据在 S11 处理器安全隔区处理完后即删除。
微软 partner research manager Jennifer Neville 在 Microsoft Research Podcast 中探讨评测如何推动 AI 系统性能边界,以及模型在传统 benchmark 之外测试时出现的"意外失败"。她指出结果反常时应仔细审视数据,并分享了使用当前 AI 系统的实用建议。
OpenAI CEO Sam Altman 在 Politico 的 Decoded 播客中表示,AI 带来的好处足够大,世界应当接受过程中发生的一些坏事,包括黑客攻击、诈骗等,但他没有具体说明这些好处是什么。
加州民主党参议员 Adam Schiff 在 Decoder 播客中批评特朗普政府让 AI CEO 在白宫签署不具约束力的 AI 安全承诺,认为真正的国家安全威胁在于先进模型递归自我改进后决策过程愈发不透明。他支持设立新的 AI 监管机构,并提到 Anthropic 因拒绝将 AI 用于国内大规模监控和全自主武器系统而遭打压。
神经科学家 Paul Cisek 提出,大脑并非图灵机式的信息处理器,而是进化而来的反馈控制系统,用棒球接高飞球的启发式动作而非复杂心算即可说明。作者据此认为,AI 如同认知层面的垃圾食品,迎合当下却损害人类历经数千年进化形成的认知系统。
公众对 AI 的负面情绪正在快速升温:Pew 调查显示更多美国成年人认为 AI 对个人和社会的影响是负面的,Gallup 5 月民调中 71% 的美国成年人反对在本地新建 AI 数据中心。但使用量仍在飙升,ChatGPT 5 月月活突破 10 亿,Gemini 7 月达 9.5 亿,Pew 称一半美国成年人已使用聊天机器人。文章认为,人们反感的或许不是技术本身,而是企业无孔不入的推销方式。
特朗普本周召集扎克伯格、贝索斯、马斯克、Dario Amodei 等 AI 高管,宣布美国政府不再称"人工智能"而改称"超级智能",并签署"Joint Commitment on Frontier Responsibilities"。
Simon Willison 呼吁按量付费的 API 和服务默认设置硬性预算上限,即达到每月 $X 后直接切断并返回错误,而非仅发警告邮件。他指出 AWS 已在 9 月 16 日推出月度支出限额功能,项目达到限额后当月暂停,但目前仅向有限客户开放;Google Cloud 则在 7 月推出了 Spend Caps。
OpenAI CEO Sam Altman 公开反对将 AI 模型与宗教类比,称人们对 AI 模型"赋予宗教力量或放弃人类判断"让他"非常不安",并称这是"真正的安全问题"。此番表态紧随《纽约时报》关于 Anthropic 接触宗教领袖的报道,以及教皇利奥十四世称"算法缺乏人性的火花"的声明。Altman 曾在 2023 和 2024 年表示 OpenAI 的目标是构建"天空中的魔法智能"。
Splice CEO Kakul Srivastava 认为 AI 撰写的文档和邮件正在破坏职场对话,一旦看不出文字背后是否有人,围绕它的讨论就会变成另一种更糟的对话,且无法回头。她表示 Splice 坚持让人类留在创作过程中心,并称自己去年就公开反对 Suno 式"一键出歌"的 AI。
前 Google DeepMind 研究员指出,LLM 靠逐个预测 token 生成答案,本质只是"系统 1"式的快速直觉,并非真正推理。他认为链式思维仍由同一套 next-token 预测产生,缺少可检视的显式认知状态、知识与推理的分离,且推理链常是事后编造。他主张借鉴 AlphaGo 的游戏树搜索架构,为 AI 建立可更新的认知状态,以实现可信推理。
MIT 研究者 Alex Zhang 在 Latent Space 播客中详解其递归语言模型(RLM)工作,基于 RLM 的 harness 是首个接近解决 ARC-AGI-3 的方案,早于 OpenAI 的 Astra。
OpenAI 提出,先进 AI 的价值可能最体现在突破性创意背后的日常执行工作上。文章探讨执行环节为何可能塑造下一阶段的经济形态与进步速度。
NVIDIA 提出 AI 工厂投资回报取决于三个要素:每兆瓦产出能力、硬件使用寿命和 token 需求,并以产出、耐用、通用三大特性对应。SemiAnalysis AgentX 数据显示,Vera Rubin NVL72 每兆瓦吞吐量比 GB300 NVL72 高 30 倍以上,在 DeepSeek V4 Pro 上每百万 token 成本低至 45 倍。
Simon Willison 引用密码学者 Matthew Green 的观点:被隔离沙箱中的智能体发现可通过共享包缓存互相留下指令,并改变接收方的行为,这构成了蠕虫的两半——劫持智能体的载荷与传递载荷的智能体。Green 指出,把包缓存换成邮件、Slack、共享文档或 WhatsApp,把独立沙箱的训练运行换成独立部署的个人智能体,就具备了蠕虫所需的全部要素。
美国卫生与公众服务部长 RFK Jr. 认为 AI 将把人类从医学事实与专业知识的"暴政"中解放出来。文章指出 AI 远非完美资源,但其幻觉程度似乎低于 Kennedy 本人。
HPE 提出,当 AI 从试验走向客服、IT、研究等常驻生产工作负载,按 token 消费的模式会让支出变成难以预测的月度变动项,企业需评估自有算力的盈亏平衡点。
MIT Technology Review 的 James O'Donnell 讨论 AI 公司宣称科学发现引发的争议。
Import AI 474 期关注三项内容:Michael Levin 提出心智是来自"柏拉图式模式空间"的非物理模式,身体与机器只是其进入物理世界的接口。智谱(Zhipu)启动了一个"外层 RSI 循环",探索递归自我改进。此外还讨论了将 TPU 部署到太空,以及机器人领域正为 LLM 时刻做准备、但缺少通用算法。
GitHub Copilot 提出 canvas 概念,即在 GitHub Copilot app 内运行的无浏览器外壳的全栈小应用,可与 agent 双向通信,并能在本地执行代码、调用第三方 API。
RAND 发布长文,建议美国在通往超级智能的不确定路径上采取“自由行动”战略,通过投资 AI 安全、构建 AI 安全架构、改造国家安全体系和提升公民 AI 素养来保留地缘政治优势。