跳到正文
Simon Willison·· 20 天前AI 评分22

Qwen3.8 27B 用英文单词做加法的基准测试

Qwen3.8 27B addition in words

AI 导读

Simon Willison 在 DGX Spark 上测试本地 Qwen3.8-27B-Q4_K_M.gguf 能否用英文单词表达整数加法结果。关闭推理时 5,070 个用例数字准确率仅 23.57%,格式合规率 96.17%,一至三位数操作数准确率 97.04%,十至十三位数骤降至 6.44%。开启推理后 169 个用例中答对 167 个。

来源:Simon Willison · simonwillison.net