AI Engineer 2026
Our Smaller Model Beat Opus on Finance Tasks
Alexander Shevchenko · Ramp Labs
Ramp 的三种「省 agent 时间」做法:前沿模型继续做规划,把它反复问的财务问答交给后训练过的 35B Qwen 3.5(准确率 66.25% 高于 Opus 4.6 的 61.88%,速度接近 Haiku);为月末结账提前一晚把文档压进 KV cache「卡带」;用 1 万个并行 agent 做 MapReduce 式渗透测试,找到 7 个高危漏洞。
内容概要
Shevchenko 说 Ramp 是信奉「苦涩的教训」的公司,过去一年 LLM 用例数量大增。Ramp Sheets 于 2025 年 11 月发布,客户把它当通用表格工具;做现金流折现模型时,读表格的成本暴露出来。拆分:前沿模型(Opus)仍是编排者,决定需要知道什么,把财务问题交给更快的模型、拿答案继续计划;与 Prime Intellect 合作后训练 350 亿参数的 Qwen 3.5,在财务问答精确准确率上 66.25% 高于当时用的 Opus 4.6(61.88%),延迟接近 Claude Haiku 4.5(Opus 约 1.44 倍);未给端到端数字,专家模型与前沿编排者一起上线。卡带:月末结账可以预知任务和大部分输入(总账、账龄报告),提前一晚把这些上下文压缩进模型的 KV cache,最多可容纳 20–30 倍的上下文,会计第二天打开 agent 时已有上下文。渗透测试:用云端 agent Ramp Inspect 跑 1 万个并行 agent,map 阶段调查漏洞、提交候选工单,reduce 阶段由 LLM 去重并对抗式复现,最终 7 个高危漏洞全部修复,其中一个是通过邮件投递的 Lua 脚本注入——每个组件单独看都安全,组合起来才出问题。产品:Token Spend Management 按 API key 或用户归因花费并支持会计分类;Ramp Router 改变成本。Portal 项目研究新基座模型出来时如何迁移 LoRA 后训练成果。
幻灯片截图
截图来自原视频,仅用于评论与学习。
要点(点击时间跳到原视频)
- 3:12
Ramp Sheets(2025 年 11 月发布)被当作通用表格工具;做现金流折现模型时发现读表格的成本最高。
- 4:43
Opus 保留规划,把它反复提出的财务问题交给专门的问答模型:一个有边界、可度量的后训练目标。
- 5:00
与 Prime Intellect 后训练 35B Qwen 3.5:财务问答精确准确率 66.25%,高于 Opus 4.6 的 61.88%,耗时约为 Haiku 4.5 的 1.0 倍(Opus 约 1.44 倍)。
- 5:42
KV cache「卡带」:月末结账可预知任务和文档(总账、账龄报告),提前一晚把上下文压进 KV cache,可容纳 20–30 倍上下文,用户早上打开时 agent 已准备好。
- 7:50
1 万个并行 agent 的 MapReduce 渗透测试:map 阶段调查并提交候选工单,reduce 阶段 LLM 去重并对抗式复现;最终 7 个高危漏洞全部修复,含一个通过邮件触发的 Lua 脚本注入。
- 10:07
Token Spend Management 连接 API key,按 key 或用户归因花费,支持会计分类;结合会话活动分类来解释 token 账单。
- 12:02
Portal:新基座模型出来时,如何把在 Qwen 3.5 上做的 LoRA 后训练迁移过去,保住专家模型的投资。
可以用在日常工作里的
- 模型
找到规划 agent 反复问的那类问题,单独度量准确率与延迟,作为后训练小模型的目标,前沿模型继续编排。
- 工程
对可预知的定期任务(月末结账、周报),提前离线准备上下文,用户开始时就能直接工作。
- 安全
大规模并行 agent 搜索时,把去重和复现成本算进预算;对抗式复现能过滤掉看似合理但不成立的发现。