跳到正文
SGSteven Guan

原子概念

表格与多模态证据

表头、单位、脚注、合并单元格、续表、原页图像及双通道证据。

要解决的问题如何避免250这样的数字离开表头后失去意义?

检索别名:table extraction · multimodal evidence

BLUEPRINT局部蓝图

01 输入

  1. 表格或图像原页
  2. 标题、表头、单位与脚注
→

02 处理机制

  1. 恢复单元格与视觉结构
  2. 按行组建可检索证据并保留原页
  3. 对关键数值定点核验
→

03 输出与证据

  1. 带语义坐标的证据
  2. 可回看原页的数值引用

一个数字需要完整的语义坐标

检索到“250”没有实际用途,除非同时知道它属于哪一行、哪一列、什么币种、哪个时期及什么适用条件。表格抽取的核心不是得到更多文字,而是保留行列关系、表名、单位、脚注、合并单元格和跨页延续。财报、费率表和教育评分rubric尤其依赖这些关系。

Docling的统一表示保留表格结构与版面信息,可用于构建表格证据;对于复杂扫描件,仍应把结构化结果与原页图像关联。建议把文本/单元格结构用于召回,把原页或局部截图用于定点核验,而不是让模型凭失真的Markdown补齐布局。

切块和读取采用不同粒度

大表可以按有意义的行组拆分,但每组重复携带列名、表标题与单位;分层表头要展开成明确字段。跨页重复表头不可当数据行,续表需要连接到前页定义。若脚注改变数字含义,脚注应与相关行一起组装成最终证据。

并非所有图都适合直接向量化。流程图可能需要节点关系,趋势图需要坐标轴与系列,截图包含的按钮文字可能还需要视觉定位。先确认用户问题依赖什么视觉信息,再选择OCR、结构抽取或多模态检索,避免为简单文字图增加昂贵模型调用。

用数值问题验收

建立包含原始页面、标准单元格、单位和脚注的样本集,分别测值、行列定位与上下文恢复。错误应能回溯到解析、切块、检索或模型读取某一层。最终答案中的计算交给确定性工具,模型只负责解释口径与证据。

一个有效的反例是两张标题相似但币种不同的表:系统既要找对目标表,也要拒绝把另一张表的数值拼入计算。验证页面可读还不够,应检查引用指向准确的原页和有效版本。

RELATIONSHIP MAP

与其他节点的关系

箭头从本节点指向目标;关系是工程分析映射,不代表厂商合作或已披露的内部实现。

哪些节点指向本页 · 1

PRIMARY SOURCES

来源与阅读边界

来源按研究截止日整理。官方文档说明能力和约束,代码只证明对应版本,论文与讲座不自动证明生产效果。 资料截止:2026-10-15。

  1. Docling:结构化文档转换 ↗公开代码