最近，旷视打造了一支多模态大模型的“点读笔”-Fox，轻松实现对 8 页文档（中英混合，单栏多栏格式混合的极端场景）的交互式感知理解。 对于信息密集的 PDF 文档，Fox 支持高可控性的细粒度理解，比如在用户感兴趣区域内进行文字识别、段落翻译以及页面内部的图片内容描述等。 “一图胜千言”—— one image token >> one text token。本文中，我们进一步突破了对于文档的视觉感知理解的上限，高密度的信息被真正压缩，LVLM 真正地“看”懂图，才能真正做好、做出能用的文档多模大模型。更多细节请看我们的 paper。
论文题目：
Focus Anywhere for Fine-grained Multi-page Document Understanding
论文地址：
https://arxiv.org/abs/2405.14295
代码地址：
https://github.com/ucaslcl/Fox
项目主页：
https://ucaslcl.github.io/foxhome/
Fox的效果展示
（1）中英混合、单栏多栏混合的 8 页 PDF 文档，任意区域的 OCR：
（2）下图左侧展示了 8 页文档内跨页的 VQA。右侧展示了双栏中文页面的前景 OCR。
（3）双栏密集英文页面的前景 OCR：（4）页面内图片描述：Fox 能给出文档内内容关联的回答（young Dual Language Learners）。当然 Fox 还支持 line-level OCR，以及对 RoI 区域的翻译、总结等。（5）Fox 可以结合页面内文字，认识到这是一张关于 global seismic hazards 的图。此外，Fox 还支持 RoI 内的 latex 格式转换，例如下面的 table 转 latex。Fox 还支持更加灵活的颜色引导的 RoI 区域 OCR。