AI Engineer 2026

How Revolut Cut AI Coding Costs 90% With Self-Hosted Open Models

David Abitbol · Revolut(AI 运营负责人)

2026-10-29 · 12分钟 · 14 万次观看 · AI Engineer

Revolut 让自托管的 GLM 成为 2000 名工程师的默认编码模型:约 56 张 GPU,账单约为此前 Anthropic/OpenAI 的十分之一($0.30/百万 token、缓存命中免费);关键在为工作负载调优服务配置(首 token <3 秒、上下文长度、量化、KV cache、TP4 vs TP8),图像单独路由,并保留熟悉的 harness 与沙箱规则。

观看原视频 ↗

内容概要

早期推广编码 agent 时,有工程师每月花一千甚至一万美元,交付收益却难以证明。Abitbol 主张衡量整个功能的旅程而不只是写代码。约从 4 月开始自托管开源模型、编码偏好 GLM,报告编码时间改善 60%、交付周期改善 70%(幻灯片标注 60%,比较口径细节不足),部分交付周期收益来自用 AI 处理邮件、Jira、Confluence。服务 2000 名工程师约需 56 张 GPU,托管一个他称约 8000 亿参数的 GLM 模型。只把权重加载到 GPU 上性能可能很差:要按工作负载调服务参数;目标首 token 小于 3 秒,约 200 token/秒就够,随需求增长在同一机群把启动延迟降到约 1.6 秒。测试团队真正需要多长上下文(256k vs 1M:更长上下文吃掉 KV cache、收益很小),量化、精度与缓存容量一起调;TP4 与 TP8 的差别在可用 KV cache;编码缓存命中目标 >90%。该 GLM 部署只支持文本,选更强的编码模型,再用本地路由把图像请求送到其他模型。给 CIO 的问题:权重来源和推理流量去向是两回事——下载中国开源模型在本地或美国托管运行,不需要把请求发往中国端点;还需要操作级沙箱规则、数据位置与保留策略、可用于事故调查的日志。

幻灯片截图

早期推广的尴尬:有工程师每月花一千甚至一万美元,交付收益却难以证明。要衡量整个功能的旅程,而不只是编码。
1:20 早期推广的尴尬:有工程师每月花一千甚至一万美元,交付收益却难以证明。要衡量整个功能的旅程,而不只是编码。
只把权重装进 GPU 可能性能很差,服务设置要匹配工作负载。随需求增长,在同一机群上把首 token 延迟降到约 1.6 秒。
5:44 只把权重装进 GPU 可能性能很差,服务设置要匹配工作负载。随需求增长,在同一机群上把首 token 延迟降到约 1.6 秒。
该 GLM 部署只支持文本:主编码任务选更强的模型,图像识别用本地路由送到别的模型,而不是让视觉能力决定每个请求的模型选择;保留工程师熟悉的编码 harness。
9:20 该 GLM 部署只支持文本:主编码任务选更强的模型,图像识别用本地路由送到别的模型,而不是让视觉能力决定每个请求的模型选择;保留工程师熟悉的编码 harness。

截图来自原视频,仅用于评论与学习。

要点(点击时间跳到原视频)

  1. 0:12

    早期推广的尴尬:有工程师每月花一千甚至一万美元,交付收益却难以证明。要衡量整个功能的旅程,而不只是编码。

  2. 3:08

    约 4 月开始自托管开源模型,编码偏好 GLM;报告编码时间改善 60%、交付周期改善 70%。便宜的 token 让 AI 走出编辑器,用于邮件、Jira、Confluence。

  3. 4:25

    服务 2000 名工程师约需 56 张 GPU,托管他称约 8000 亿参数的 GLM。目标:首 token 小于 3 秒,约 200 token/秒已足够。

  4. 5:46

    只把权重装进 GPU 可能性能很差,服务设置要匹配工作负载。随需求增长,在同一机群上把首 token 延迟降到约 1.6 秒。

  5. 7:14

    上下文、精度、缓存容量一起调:256k vs 1M 上下文——更长上下文消耗更多 KV cache、收益很小;TP4 vs TP8 的差别在可用 KV cache;编码缓存命中目标 >90%。

  6. 8:14

    该 GLM 部署只支持文本:主编码任务选更强的模型,图像识别用本地路由送到别的模型,而不是让视觉能力决定每个请求的模型选择;保留工程师熟悉的编码 harness。

  7. 9:24

    权重来源与推理流量去向是两回事;还要有操作级沙箱规则、有意识的数据位置与保留选择,以及事故调查用得上的日志。成本幻灯片:$0.30/百万 token、缓存命中免费,账单约为此前的十分之一。

可以用在日常工作里的

  • 基础设施

    团队规模的编码 agent 用量可以考虑自托管开源模型 + 路由;先按真实工作负载压测首 token 延迟和 KV cache,而不是看参数量。

  • 团队

    用交付周期(从需求到上线)而不只是编码速度来衡量 AI 投入的回报。

演讲提到的资源

同一章节的其他演讲

← 返回全景 · 目录