跳到正文

技术方向

多模态 最新动态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

16 条精选近 30 天 12 条共收录 52 条

更新

多模态的精选

10月21日周三第 1–16 条
10月16日周五
  1. Hugging Face Blog87

    Meta 开源 Muse Spark Open:816B 参数多模态 MoE 模型

    Meta 发布开源权重模型 Muse Spark Open,采用 MoE 架构,总参数约 816B、每 token 激活约 42B,支持文本、图像、音频和视频输入,上下文窗口最高 1M tokens。

    推荐理由:Meta 开源 816B 参数 MoE 多模态模型,给出完整部署、微调与量化运行配方,可据此评估自托管成本。

10月15日周四
  1. NVIDIA Blog78

    NVIDIA 发布 Nemotron 3.5 Super VL 与 Bolt 系列开源模型

    NVIDIA 发布 Nemotron 3.5 Super VL,这是一个 120B 参数的开源模型,面向持续在线的专用智能体,官方称其吞吐量最高可达同类模型的 5 倍。

    推荐理由:原文给出三款开源模型的参数规模、部署层级与多家机构的微调案例,可据此判断开源智能体模型从数据中心到端侧的覆盖方式。

  2. Hugging Face Blog62

    Apertus 1.5 发布:8B 和 70B 模型新增图像音频理解与思考模式

    Apertus 1.5 在 8B 和 70B 模型上新增图像与音频理解、可选思考模式,上下文窗口扩展至 262,144 tokens,为 1.0 的 4 倍,并改进指令遵循与工具调用。

    推荐理由:Apertus 1.5 在 8B 和 70B 上加入图像音频理解与思考模式,并公开训练数据与中间检查点,可据此判断开源多模态模型的开放程度。

10月14日周三
  1. Google DeepMind87

    Google DeepMind 发布 Gemini 4 Argon

    Google DeepMind 发布 Gemini 4 Argon,今日起通过 Gemini API、AI Studio、Google Antigravity 及 Gemini 应用和搜索 AI Mode 面向开发者、企业和消费者开放,定价为每百万输入 token 2 美元、输出 token 10 美元。

    推荐理由:官方给出 Argon 在编码、科研与安全对齐上的具体数字和开放入口,可据此判断前沿模型在长程任务上的进展。

10月13日周二
  1. Latent Space82

    Meta 发布 Muse Wonder 与 Muse Wonder Full 模型

    Meta Superintelligence Labs 发布第二代模型家族 Muse Wonder 与 Muse Wonder Full,前者可通过 Meta Model API 和 Muse Code 使用,后者仅向 Muse Code 订阅用户开放。

    推荐理由:汇总第三方评测与从业者反馈,可对照看 Meta 新模型在智能体与编码任务上的位置和价格差异。

10月8日周四
  1. OpenAI News78

    OpenAI 在 ChatGPT 全球上线 GPT-6 与 Intelligent UI

    OpenAI 宣布 GPT-6 正在 ChatGPT 中面向全球上线,并搭配 Intelligent UI。官方称新版本响应更快,提供可视化内容与可直接探索和使用的交互体验。

    推荐理由:OpenAI 官方公布 GPT-6 在 ChatGPT 全球上线并搭配 Intelligent UI,读者可据此了解模型与交互形态的同步变化。

10月7日周三
10月6日周二
10月1日周四
  1. Google DeepMind83

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布新前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络安全防御者开放,随后逐步扩展到开发者、企业和消费者,起价为每百万输入 token 2 美元、每百万输出 token 10 美元,缓存输入 token 按输入价的 95% 折扣计费。

    推荐理由:官方给出 Argon 在编码、企业知识与网络安全上的基准与内部落地数据,可据此判断前沿模型的能力边界与分阶段开放节奏。

9月29日周二
  1. Microsoft Research62

    微软研究院发布 Quine:面向生物学复杂性的 AI 研究系统

    微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由跨序列、结构、功能、细胞状态与成像等多模态数据联合训练的生物世界模型,以及连接模型、科学工具、文献与实验人员的交互式 harness 组成。

    推荐理由:微软研究院公开 Quine 的多模态生物世界模型与实验闭环设计,并给出胰腺癌化合物筛选的湿实验验证结果。

9月25日周五
  1. Google Research60

    Google Research 发布 AI 视频联合导演框架,自动化生成连贯长视频

    Google Research 发布 AI 视频联合导演(AI video co-director)多智能体框架,作为编排层构建在 Gemini 和 Veo 之上,用于自动化多镜头长视频生成。

    推荐理由:Google 把长视频生成拆成四个可组合框架,并给出多镜头一致性与角色保持的评测结果,适合了解多智能体编排如何缓解语义漂移。

  2. Google DeepMind72

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在 Gemini 3.8 Live 的实时对话能力上加入低延迟流式视频,实现带唇形同步、自然表情和流畅轮次的实时视觉形象。

    推荐理由:官方给出 Live Avatar 的实时视频对话能力、异步工具调用与 97 种语言切换,可据此判断企业级多模态交互的落地形态。

9月23日周三
  1. Google DeepMind71

    Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS

    Google DeepMind 推出 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款语音生成模型,前者面向角色设计与逐句表演指导,后者面向高吞吐、低成本的配音与语音智能体。

    推荐理由:官方给出两款 TTS 的定位差异、可用入口与基准排名,便于判断语音生成在创作与规模化场景的取舍。

9月3日周四