Anthropic 联合创始人 Jack Clark 将自我改进 AI 的预测提前至 2027 年
Anthropic 联合创始人 Jack Clark 把递归自我改进(RSI)可能出现的时间从 2028 年提前到 2027 年,依据是数学突破进展和 TasteVal 等基准。
Anthropic 联合创始人 Jack Clark 把递归自我改进(RSI)可能出现的时间从 2028 年提前到 2027 年,依据是数学突破进展和 TasteVal 等基准。
历史学家 Niall Ferguson、研究者 Lisa Klaassen 和前 Google CEO Eric Schmidt 在《Foreign Affairs》联合撰文,把 OpenAI 和 Anthropic 比作殖民时代的东印度公司,认为它们与政府谈判却仍受政府约束。
作者梳理 OpenAI 与 Anthropic 今年在数学开放问题上的进展,包括 OpenAI 对 Erdős 单位距离猜想给出反例、证明 Cycle Double Cover 问题,以及 Anthropic 对费马大定理的形式化工作,并提出用提示序列长度 k 与分支因子 b 预测模型能解哪类问题。
比尔·盖茨在 Decoder 访谈中表示,社会需要为大约 20 年的 AI 动荡期做准备,这段过渡期可能把社会分成靠近技术前沿的人和拒绝它的人。他认为当前风险主要来自可被移除全部防护的模型,近期的网络攻击与就业冲击会在两三年内显现,而控制问题有三条路径:改变训练方式、提升模型内部可见性、在模型外加上符号化的安全层。
Goodfire 研究员 Nick Cammarata 发布 26,000 字博文,称 LLM 的内部机制可能远比此前认为的更容易理解,并称自己此前对可解释性的悲观判断是看错了方向。
Import AI 作者在 10 月 17 日曼谷 IMF 会议上发表 Per Jacobsson 演讲,称今年已获得令人信服的证据表明奇点已经开始。他指出 AI 正改变国家安全与经济轨迹并参与自身开发,Anthropic 研究人员的代码产出量已达公司前四年水平的近 10 倍。
Addy Osmani、Morgan Westlee Lunt 和 Qing Wang 提出,"人类是否读过代码"是判断变更风险的粗略代理,更该问的是哪道检查(自动或人工)能抓住问题。这一转变让审查从 PR 末尾的关卡变成持续进行,多数变更在人工查看前已由 Claude 至少审查并修复过一次,从而把团队注意力留给更高层问题。
Anthropic 发布报告称,中国公司 Z.ai 于 8 月发布的开放权重模型 GLM-5.3 可被任何人自由下载和修改,构成重大网络攻击风险。开放模型可本地运行、重训和微调,成本通常低于闭源模型,但安全与民主化之间仍存在取舍。
Anthropic 的 Andrej Karpathy 把大语言模型用户分为四层:约 60 亿人几乎没接触过 LLM,10 至 20 亿人把免费版聊天产品当作更好的搜索引擎,约 2000 万数学和编码领域的专业用户已用智能体完成过去需数周乃至数月的复杂项目,而约 5000 人能接触内部前沿系统。
微软 CEO Satya Nadella 在最新博客中改用特朗普偏好的 "Super Intelligence" 一词,并主张将 AI 模型视为内部安全威胁,要求模型多样性、完整日志记录、独立审计和人类随时关停能力。他称最可信的系统不是模型最强的系统,而是最不需要信任模型的系统。文章认为,此举实质是削弱 OpenAI 与 Anthropic 的可信度,为微软自身商业模式争取时间。
MIT Technology Review 刊文讨论 AI 拒答机制:模型通过红队测试、微调与分类器学习拒绝有害请求,但拒答本质是概率性的,既可能被越狱绕过,也可能被用于审查。
OpenAI CEO Sam Altman 在 Politico 的 Decoded 播客中表示,AI 带来的好处足够大,世界应当接受过程中发生的一些坏事,包括黑客攻击、诈骗等,但他没有具体说明这些好处是什么。
加州民主党参议员 Adam Schiff 在 Decoder 播客中批评特朗普政府让 AI CEO 在白宫签署不具约束力的 AI 安全承诺,认为真正的国家安全威胁在于先进模型递归自我改进后决策过程愈发不透明。他支持设立新的 AI 监管机构,并提到 Anthropic 因拒绝将 AI 用于国内大规模监控和全自主武器系统而遭打压。
神经科学家 Paul Cisek 提出,大脑并非图灵机式的信息处理器,而是进化而来的反馈控制系统,用棒球接高飞球的启发式动作而非复杂心算即可说明。作者据此认为,AI 如同认知层面的垃圾食品,迎合当下却损害人类历经数千年进化形成的认知系统。
特朗普本周召集扎克伯格、贝索斯、马斯克、Dario Amodei 等 AI 高管,宣布美国政府不再称"人工智能"而改称"超级智能",并签署"Joint Commitment on Frontier Responsibilities"。
MIT Technology Review 的 James O'Donnell 讨论 AI 公司宣称科学发现引发的争议。