AI Engineer 2026

Our Smaller Model Beat Opus on Finance Tasks

Alexander Shevchenko · Ramp Labs

2026-11-04 · 14分钟 · 2.0 万次观看 · AI Engineer

Ramp 的三种「省 agent 时间」做法:前沿模型继续做规划,把它反复问的财务问答交给后训练过的 35B Qwen 3.5(准确率 66.25% 高于 Opus 4.6 的 61.88%,速度接近 Haiku);为月末结账提前一晚把文档压进 KV cache「卡带」;用 1 万个并行 agent 做 MapReduce 式渗透测试,找到 7 个高危漏洞。

观看原视频 ↗

内容概要

Shevchenko 说 Ramp 是信奉「苦涩的教训」的公司,过去一年 LLM 用例数量大增。Ramp Sheets 于 2025 年 11 月发布,客户把它当通用表格工具;做现金流折现模型时,读表格的成本暴露出来。拆分:前沿模型(Opus)仍是编排者,决定需要知道什么,把财务问题交给更快的模型、拿答案继续计划;与 Prime Intellect 合作后训练 350 亿参数的 Qwen 3.5,在财务问答精确准确率上 66.25% 高于当时用的 Opus 4.6(61.88%),延迟接近 Claude Haiku 4.5(Opus 约 1.44 倍);未给端到端数字,专家模型与前沿编排者一起上线。卡带:月末结账可以预知任务和大部分输入(总账、账龄报告),提前一晚把这些上下文压缩进模型的 KV cache,最多可容纳 20–30 倍的上下文,会计第二天打开 agent 时已有上下文。渗透测试:用云端 agent Ramp Inspect 跑 1 万个并行 agent,map 阶段调查漏洞、提交候选工单,reduce 阶段由 LLM 去重并对抗式复现,最终 7 个高危漏洞全部修复,其中一个是通过邮件投递的 Lua 脚本注入——每个组件单独看都安全,组合起来才出问题。产品:Token Spend Management 按 API key 或用户归因花费并支持会计分类;Ramp Router 改变成本。Portal 项目研究新基座模型出来时如何迁移 LoRA 后训练成果。

幻灯片截图

Ramp Sheets(2025 年 11 月发布)被当作通用表格工具;做现金流折现模型时发现读表格的成本最高。
3:20 Ramp Sheets(2025 年 11 月发布)被当作通用表格工具;做现金流折现模型时发现读表格的成本最高。
Portal:新基座模型出来时,如何把在 Qwen 3.5 上做的 LoRA 后训练迁移过去,保住专家模型的投资。
12:04 Portal:新基座模型出来时,如何把在 Qwen 3.5 上做的 LoRA 后训练迁移过去,保住专家模型的投资。

截图来自原视频,仅用于评论与学习。

要点(点击时间跳到原视频)

  1. 3:12

    Ramp Sheets(2025 年 11 月发布)被当作通用表格工具;做现金流折现模型时发现读表格的成本最高。

  2. 4:43

    Opus 保留规划,把它反复提出的财务问题交给专门的问答模型:一个有边界、可度量的后训练目标。

  3. 5:00

    与 Prime Intellect 后训练 35B Qwen 3.5:财务问答精确准确率 66.25%,高于 Opus 4.6 的 61.88%,耗时约为 Haiku 4.5 的 1.0 倍(Opus 约 1.44 倍)。

  4. 5:42

    KV cache「卡带」:月末结账可预知任务和文档(总账、账龄报告),提前一晚把上下文压进 KV cache,可容纳 20–30 倍上下文,用户早上打开时 agent 已准备好。

  5. 7:50

    1 万个并行 agent 的 MapReduce 渗透测试:map 阶段调查并提交候选工单,reduce 阶段 LLM 去重并对抗式复现;最终 7 个高危漏洞全部修复,含一个通过邮件触发的 Lua 脚本注入。

  6. 10:07

    Token Spend Management 连接 API key,按 key 或用户归因花费,支持会计分类;结合会话活动分类来解释 token 账单。

  7. 12:02

    Portal:新基座模型出来时,如何把在 Qwen 3.5 上做的 LoRA 后训练迁移过去,保住专家模型的投资。

可以用在日常工作里的

  • 模型

    找到规划 agent 反复问的那类问题,单独度量准确率与延迟,作为后训练小模型的目标,前沿模型继续编排。

  • 工程

    对可预知的定期任务(月末结账、周报),提前离线准备上下文,用户开始时就能直接工作。

  • 安全

    大规模并行 agent 搜索时,把去重和复现成本算进预算;对抗式复现能过滤掉看似合理但不成立的发现。

演讲提到的资源

同一章节的其他演讲

← 返回全景 · 目录