2.4 K Star OCR 2.0来了！GOT-OCR-2.0正式开源，文本、文档、图表、公式、乐谱识别再上新台阶！

2024-09-17码农

OCR 2.0来了！ 开源模型 GOT-OCR-2.0 正式发布，标志着新一代 AI OCR 技术的到来。

作为一款强大的端到端 OCR 模型， GOT-OCR-2.0 不仅支持传统的场景文本和文档识别，还能处理乐谱、图表、甚至复杂的数学公式！

这个全新的模型设计采用了一个集成的 vision encoder 和 decoder ，能够同时处理多种类型的 OCR 输入，从而极大提高了信息传递的效率。

尤其是在高分辨率图像处理方面，GOT-OCR-2.0 采用了 local attention 机制，以避免全局注意力机制在高分辨率图像中的内存消耗问题。

核心特性

• 支持多场景文本识别 ：GOT-OCR-2.0 具备识别各种复杂内容的能力，包括但不限于：

• 场景文本（如街道标识、广告牌）

• 文档识别（适用于办公、档案管理）

• 乐谱和图表

• 数学公式 （包括极其复杂的表达式）

• 一体化端到端设计 ：在传统的 AI 1.0 时代，OCR 系统通常通过模块化的方式运作，各个子模块之间容易脱节，难以达到整体性能的最优。而 GOT-OCR-2.0 打破了这种模式，采用了 统一的端到端架构 。这种设计不仅能优化信息传递，还极大简化了不同任务的处理流程。无论是识别文档还是复杂的场景文字，GOT-OCR-2.0 都可以通过一个强大的网络架构完成。

• 高效处理高分辨率图像 ：针对高分辨率图像，采用了 local attention 的新型结构，以避免传统全局注意力机制带来的高内存消耗问题。该模型能够以 256×1024 imagetokens 的形式处理 1024×1024×3 尺寸的图像，显著提升了识别效率和精准度。

• 适应 AI 2.0 时代 ：在 AI 2.0 时代，GOT-OCR-2.0 不仅解决了传统 OCR 模型需要针对不同任务配置不同模型的问题，还简化了模型的维护和使用。通过一体化架构，它让用户能够在各种场景下高效处理 OCR 任务，表现出了在密集型 OCR 任务中的巨大潜力。