跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

43 条精选近 30 天 36 条共收录 262 条

更新

精选归档 · 第 3 页

8月20日周四第 41–43 条
  1. Mistral AI71

    Mistral 发布 Agentic Search,用多步检索循环替代传统 RAG

    Mistral 发布 Agentic Search,一种让模型在文档中搜索、打开、导航、读取和 grep 的多步检索层,通过 Mistral Search Toolkit 提供,并内置于 Studio 和 Vibe 的 Libraries 中。

    推荐理由:原文给出多步检索循环在 FinanceBench 与 OfficeQA Pro 上的准确率、token 与延迟变化,可据此判断传统 RAG 的替代路径。

8月11日周二
  1. Mistral AI62

    Mistral 推出区域推理端点与优先服务层,并接入 GLM-5.2 等第三方开源模型

    Mistral 宣布三项推进 AI 主权的举措:Mistral Regional Endpoints 正式可用,客户可选择推理在欧洲或美国运行;Mistral Priority Tier 进入公开预览,为关键业务负载提供自定义速率限制和带 SLA 的正常运行时间承诺。

    推荐理由:Mistral 把区域推理、优先服务层与第三方开源模型接入打包成主权 AI 方案,读者可据此判断企业部署的合规与算力选项。

7月29日周三
  1. Berkeley AI Research62

    从 CUDA 到 MLX:K-Search 如何把内核优化经验带到 Apple Silicon

    Berkeley AI Research 与 IBM Research 将 K-Search 进化式内核搜索框架扩展到 MLX,并加入结构化 CUDA-to-MLX 翻译层,让已有 CUDA 内核经验自动适配 Apple Silicon。

    推荐理由:展示了把 CUDA 内核优化经验结构化迁移到 Apple Silicon 的方法,并给出注意力与 Mamba 两类内核的实测对比。