GLM-OCR 文档识别实战教程：从验证码、公式到车牌 OCR

原创 已于 2026-06-26 18:51:23 修改 · 231 阅读 · 5 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
收录于
人工智能入门

当前文章被收录于：

人工智能入门
134 篇文章 1 人学习
订阅专栏 查看详情
教程

当前文章被收录于：

教程
40 篇文章 0 人学习
订阅专栏 查看详情
目标识别

当前文章被收录于：

目标识别
3 篇文章 0 人学习
订阅专栏 查看详情
于 2026-06-26 18:47:33 首次发布

GLM-OCR 文档识别实战教程：从验证码、公式到车牌 OCR

这篇教程是我根据近期学习 OCR、视觉语言模型和 Roboflow 数据集实践过程整理出来的，重点演示如何使用 GLM-OCR 处理多种真实 OCR 场景，包括验证码识别、LaTeX 公式识别、收据解析、日期戳提取、球衣号码识别、集装箱编号识别、轮胎编码识别和车牌识别。

GLM-OCR 是一个 0.9B 参数规模的视觉语言模型，专门面向光学字符识别（Optical Character Recognition，OCR）任务构建。它在 OmniDocBench V1.5 上取得 94.62 的成绩，并在该基准测试中排名第一。该模型架构通过跨模态连接器将 CogViT 视觉编码器与 GLM-0.5B 语言解码器连接起来，同时对视觉 token 进行下采样。

它支持最高 8K（7680x4320）分辨率的文档图像，并支持 8 种以上语言。模型内置三类能力：文本识别、LaTeX 公式识别和表格识别。通过自定义提示词，还可以从文档中抽取 JSON 等结构化数据。

如果你正在系统学习 OCR、视觉大模型和 Roboflow 相关实践，可以先收藏本文；配套 notebook、示例图片和后续同系列更新，我会整理成资料包，后面统一放到更方便获取的位置。

📚 文章目录

🧭 开始之前

先确认当前环境是否可以访问 GPU。可以使用 nvidia-smi 命令进行检查。如果在 Colab 中遇到 GPU 不可用的问题，可以进入 Edit → Notebook settings → Hardware accelerator，将硬件加速器设置为 L4 GPU，然后点击 Save 保存。

!nvidia-smi

下面这段代码会根据运行环境自动选择 cuda、mps 或 cpu，并设置合适的数据类型。对于这类视觉语言模型，优先使用 GPU 会明显提升推理速度。

import torch

if torch.cuda.is_available():
    DEVICE = torch.device("cuda")
    DTYPE = torch.bfloat16 if torch.cuda.is_bf16_supported() else torch.float16
    gpu_name = torch.cuda.get_device_name()
elif hasattr(torch.backends, "mps") and torch.backends.mps.is_available():
    DEVICE = torch.device("mps")
    DTYPE = torch.float16
    gpu_name = "Apple Silicon (MPS)"
else:
    DEVICE = torch.device("cpu")
    DTYPE = torch.float32
    gpu_name = "CPU"

print(f"Device : {DEVICE} ({gpu_name})")
print(f"Dtype  : {DTYPE}")

🔑 配置 API 密钥

运行本教程需要两个密钥：

  • HuggingFace Token：用于下载 GLM-OCR 模型
  • Roboflow API Key：用于下载评测数据集

操作步骤如下：

  • 打开 HuggingFace Settings 页面，点击 Access Tokens，再点击 New Token 生成新的 token。
  • 进入 Roboflow Settings 页面，点击 Copy，复制你的私有 API Key。
  • 在 Colab 左侧面板中点击 Secrets（🔑）。
    • 将 HuggingFace Access Token 保存为 HF_TOKEN。
    • 将 Roboflow API Key 保存为 ROBOFLOW_API_KEY。

如果你不熟悉 Colab Secrets、HuggingFace Token 或 Roboflow API Key 的配置方式，可以在评论区说明卡住的位置；我后续会把环境配置清单和常见报错整理到同系列资料里。

import os
from google.colab import userdata

os.environ["HF_TOKEN"] = userdata.get("HF_TOKEN")
os.environ["ROBOFLOW_API_KEY"] = userdata.get("ROBOFLOW_API_KEY")

🔧 安装依赖

这里直接从 Hugging Face Transformers 的 GitHub 主分支安装，以便使用较新的模型支持能力。同时安装 roboflow，用于下载后续实验所需的数据集。

!pip install -q git+https://github.com/huggingface/transformers.git roboflow

🤖 加载 GLM-OCR 模型

这一部分会加载 GLM-OCR 的 processor 和模型本体。processor 负责把图像和文本 prompt 组织成模型输入，model 负责完成实际推理。

from transformers import AutoProcessor, AutoModelForImageTextToText

MODEL_ID = "zai-org/GLM-OCR"

processor = AutoProcessor.from_pretrained(MODEL_ID)

if DEVICE.type == "cuda":
    model = AutoModelForImageTextToText.from_pretrained(
        MODEL_ID,
        torch_dtype=DTYPE,
        device_map="auto",
    )
else:
    model = AutoModelForImageTextToText.from_pretrained(
        MODEL_ID,
        torch_dtype=DTYPE,
    ).to(DEVICE)

🛠️ 定义辅助函数

这一部分是整篇教程的核心：我们会封装 OCR 推理、数据集图片加载和结果可视化逻辑。后面的所有示例都会复用这三类函数。

流程可以理解为：读取图片 -> 构造 prompt -> 调用 GLM-OCR -> 解码文本 -> 在网格中展示图片和预测结果。

import json
import os
import textwrap
import random
from glob import glob

from tqdm import tqdm

import matplotlib.pyplot as plt
from PIL import Image

IMAGE_EXTENSIONS = (".jpg", ".jpeg", ".png", ".bmp", ".webp")


def run_ocr(image: Image.Image, prompt: str = "Text Recognition:") -> str:
    """在单张 PIL 图像上运行 GLM-OCR，并返回解码后的文本。"""
    messages = [
        {
            "role": "user",
            "content": [
                {"type": "image", "image": image},
                {"type": "text", "text": prompt},
            ],
        }
    ]
    inputs = processor.apply_chat_template(
        messages,
        tokenize=True,
        add_generation_prompt=True,
        return_dict=True,
        return_tensors="pt",
    ).to(model.device)
    inputs.pop("token_type_ids", None)
    generated_ids = model.generate(**inputs, max_new_tokens=8192)
    return processor.decode(
        generated_ids[0][inputs["input_ids"].shape[1]:],
        skip_special_tokens=True,
    ).strip()


def load_images(
    dataset_location: str,
    split: str = "test",
) -> list[dict]:
    """从 Roboflow 数据集目录中加载图像路径。

    会优先尝试指定的数据划分，然后依次回退到 valid 和 train。
    返回由字典组成的列表，每个字典包含一个 'image_path' 键。
    """
    for candidate in [split, "valid", "train"]:
        split_dir = os.path.join(dataset_location, candidate)
        if os.path.isdir(split_dir):
            paths = sorted([
                os.path.join(split_dir, f)
                for f in os.listdir(split_dir)
                if f.lower().endswith(IMAGE_EXTENSIONS)
            ])
            if paths:
                random.shuffle(paths)
                print(f"Loaded {len(paths)} images from {candidate} split")
                return [{"image_path": p} for p in paths]
    print(f"No images found in {dataset_location}")
    return []


def run_and_plot(
    entries: list[dict],
    prompt: str,
    n: int = 9,
    wrap_width: int = 40,
):
    """最多对 n 个样本运行 OCR，并以 3 列网格展示结果。"""
    entries = entries[:n]
    if not entries:
        print("No entries to display.")
        return

    cols = 3
    rows = (len(entries) + cols - 1) // cols
    fig, axes = plt.subplots(rows, cols, figsize=(3 * cols, 3 * rows))
    if rows == 1:
        axes = [axes] if cols == 1 else list(axes)
    else:
        axes = axes.flatten()

    for idx, entry in enumerate(tqdm(entries, desc="Running OCR")):
        if "image" in entry and isinstance(entry["image"], Image.Image):
            image = entry["image"]
        else:
            image = Image.open(entry["image_path"]).convert("RGB")

        prediction = run_ocr(image, prompt)

        axes[idx].imshow(image)
        axes[idx].axis("off")
        pred_wrapped = textwrap.fill(prediction, width=wrap_width).replace("$", "\\$")
        axes[idx].set_title(f"Pred: {pred_wrapped}", fontsize=8, loc="left", pad=8)

    for idx in range(len(entries), len(axes)):
        axes[idx].axis("off")

    plt.tight_layout()
    plt.show()

🔤 示例 1：验证码文本识别

第一个 OCR 场景是验证码识别。验证码图像通常包含 4 到 6 个字母数字字符，并带有噪声、形变和颜色变化。这个场景适合用来观察模型在短文本和干扰背景下的识别能力。

from roboflow import download_dataset

captcha_dataset = download_dataset(
    "https://universe.roboflow.com/roboflow-jvuqo/captcha-ocr-g5ol8/1",
    "jsonl",
)

captcha_entries = load_images(captcha_dataset.location)

run_and_plot(captcha_entries, prompt="Text Recognition:")

在这里插入图片描述

🧮 示例 2：LaTeX 公式识别

这个场景输入的是数学公式图片。我们通过提示词要求模型返回对应的 LaTeX 源码。对于论文、教材、试卷和公式截图整理，这类能力非常实用。

latex_dataset = download_dataset(
    "https://universe.roboflow.com/roboflow-jvuqo/latex-ocr-subset/3",
    "jsonl",
)

latex_entries = load_images(latex_dataset.location)

run_and_plot(latex_entries, prompt="Formula Recognition:")

在这里插入图片描述

🧾 示例 3：收据信息解析（结构化 JSON）

这个数据集包含印度尼西亚语收据图像。这里不是简单读取全部文本，而是通过自然语言问题让模型提取收据中的总价信息。类似思路也可以迁移到发票、订单、快递单和表单信息抽取任务。

receipt_dataset = download_dataset(
    "https://universe.roboflow.com/roboflow-jvuqo/cord-v2-receipts/1",
    "jsonl",
)

receipt_entries = load_images(receipt_dataset.location)

run_and_plot(receipt_entries, prompt="What is the total price on this receipt?")

在这里插入图片描述

📅 示例 4：日期戳提取

这个场景要求模型从图像中的日期戳提取日期，并统一整理成 YYYY-MM-DD 格式。相比直接 OCR，格式约束可以让输出更适合进入后续数据处理流程。

date_dataset = download_dataset(
    "https://universe.roboflow.com/roboflow-jvuqo/date-stamp-extraction/1",
    "jsonl",
)

date_entries = load_images(date_dataset.location)

DATE_PROMPT = "Extract the date from this image. Return it in YYYY-MM-DD format."

run_and_plot(date_entries, prompt=DATE_PROMPT)

在这里插入图片描述

🏀 示例 5：篮球球衣号码识别

这个场景输入的是篮球运动员图像，目标是提取球衣号码。球衣号码识别在体育视频分析、球员追踪和赛事数据统计中很常见。

jersey_dataset = download_dataset(
    "https://universe.roboflow.com/roboflow-jvuqo/basketball-jersey-numbers-ocr/7",
    "jsonl",
)

jersey_entries = load_images(jersey_dataset.location)

JERSEY_PROMPT = "Read jersey number."

run_and_plot(jersey_entries, prompt=JERSEY_PROMPT)

在这里插入图片描述

🚢 示例 6：集装箱序列号识别

这个数据集包含集装箱图像，其中有对应的序列号区域。集装箱编号识别是物流、港口、仓储和自动巡检中非常典型的 OCR 场景。

container_dataset = download_dataset(
    "https://universe.roboflow.com/kerofox/container-id-number/dataset/3",
    "coco",
)

container_entries = load_images(container_dataset.location)

run_and_plot(container_entries, prompt="Read only the container serial number.")

在这里插入图片描述

🛞 示例 7：轮胎编码识别

这个场景输入的是轮胎图像，图像中包含压印编码和数字。由于轮胎表面文字经常存在低对比度、弯曲、阴影和磨损，这类任务对 OCR 模型的鲁棒性要求更高。

tire_dataset = download_dataset(
    "https://universe.roboflow.com/bence-toth-h5oec/tire-serial/dataset/1",
    "coco",
)

tire_entries = load_images(tire_dataset.location)

run_and_plot(tire_entries, prompt="Read tire serial number.")

在这里插入图片描述

🚗 示例 8：车牌识别

最后一个场景是车牌识别。车牌 OCR 是计算机视觉中非常经典的工业应用，常见于停车场、园区出入口、交通监控和车辆管理系统。

plate_dataset = download_dataset(
    "https://universe.roboflow.com/roboflow-universe-projects/license-plate-recognition-rxg4e/dataset/1",
    "coco",
)

plate_entries = load_images(plate_dataset.location)

run_and_plot(plate_entries, prompt="Read license plate number.")

在这里插入图片描述

📌 小结

这篇教程从环境配置、模型加载、辅助函数封装开始，依次跑通了 8 类 OCR 场景。整体来看，GLM-OCR 不只是传统意义上的“读文字”，它还可以通过提示词完成更灵活的信息抽取，例如公式转 LaTeX、收据字段提取、日期格式标准化等。

如果你刚开始学习 OCR 或视觉语言模型，建议重点理解三件事：

  • prompt 会直接影响模型输出形式
  • OCR 结果最好尽量约束成后续程序容易处理的格式
  • 不同业务场景需要不同的 prompt，而不是只使用统一的“识别全部文字”

后续我会继续把类似的视觉大模型、OCR、目标检测和图像分割项目整理成系列教程。配套 notebook、示例图片和运行环境说明也会按主题逐步整理出来，适合刚入门计算机视觉和多模态模型的同学跟着实践。

📚 同系列教程汇总

标签
#ocr #人工智能 #深度学习
Qwen3-VL 开放词汇目标检测实战教程：用自然语言定位任意目标
cver123的博客
07-02 170
这篇教程是我根据近期学习视觉语言模型、开放词汇目标检测和结构化视觉输出的复现过程整理出来的，重点演示如何使用 Qwen3-VL 根据自然语言描述在图像中定位目标，并将模型输出解析为检测框进行可视化。
RF-DETR + ByteTrack 多目标跟踪实战教程：从命令行到 Python 视频轨迹可视化
cver123的博客
07-02 742
这篇教程是根据近期学习目标检测、多目标跟踪和视频分析项目的复现过程整理出来的，重点演示如何把 RF-DETR 检测器和 ByteTrack 跟踪器组合起来，对视频中的目标进行连续跟踪，并绘制检测框、轨迹和跟踪 ID。ByteTrack 和 SORT 一样，都建立在卡尔曼滤波与匈牙利匹配算法的基本框架上，但它的核心改进是数据关联策略：ByteTrack 会尽可能利用几乎所有检测框，而不是简单丢弃低置信度框。它通常先用高置信度检测框匹配已有轨迹，再用低置信度检测框通过 IoU 匹配仍未关联的轨迹。
SAM 3 图像分割实战教程：文本、框和点提示的多种分割方式
cver123的博客
07-02 209
这篇教程是我根据近期学习 Segment Anything 3、图像分割和提示式视觉模型的复现过程整理出来的，重点演示如何使用 SAM 3 对图片进行实例级分割，并分别使用文本提示、框提示和点提示控制分割目标。SAM 3（Segment Anything Model 3）把 SAM 系列从“分割单个对象”扩展到“理解并分割图像和视频中某个概念的所有实例”。它引入了 Promptable Concept Segmentation（PCS，可提示概念分割）：用户可以通过短名词短语，例如。
TurboOCR：基于PP-OCRv6的极速Windows离线OCR工具，深度解析3.4GB依赖背后的技术架构
qq_29676069的博客
07-15 413
TurboOCR 解决了 Windows 平台上"开箱即用的离线 OCR"这一需求空白。它不依赖 Python 运行时，不需要联网，不需要安装任何额外组件——下载、解压、双击，三步完成。项目 3.4GB 的体积看似庞大，但经过拆解可以发现，其中 85% 来自 Paddle Inference 的通用推理引擎——这正是支持 PP-OCRv6 全系列模型、CPU/GPU 双后端、高精度文字识别能力的代价。通过 GitHub Releases 分发预编译包，源码仓库保持轻量（仅 ~1MB），用户按需下载。
OCR C++ Tesseract按单词识别字符
qq_21537809的博客
07-16 322
这个程序演示Tesseract OCR按单词识别字符。
字符识别视觉检测设备（OCR视觉检测）完整介绍
song15026537298的博客
07-13 246
同时判定字符有无、对错、偏移、模糊、漏印、错字、缺墨、重影、字符歪斜、批次码不匹配等缺陷，常集成在产线实现在线100%全检。应对金属镭雕、塑料喷码、深色壳体、反光曲面、透明薄膜等难读字符；识别内容：数字、中英文、批号、生产日期、有效期、序列号SN、型号料号、LOGO、二维码、一维码、DataMatrix码。3. 外观不良：字体模糊、重影、断墨、划痕遮挡、脏污覆盖、字符歪斜偏移、深浅不一、溢墨、激光雕刻浅印看不清；手机中框镭雕SN码、充电器型号、PCB丝印料号、连接器刻印字符、屏幕批号、包装盒喷码；
智能识别应用开发：集成OCR与图像识别API接口的实践
挖数据API接口的博客
07-15 248
最近在做一个档案数字化的项目，需要把大量纸质文档和图片中的文字提取出来，顺便还要做身份证、营业执照等卡证的自动识别。传统方法是自己训练模型，但周期太长、准确率也难以保证。权衡后，我决定直接调用成熟的OCR与图像识别API。这篇文章就复盘整个集成过程，包含接口选型、代码实现和踩坑记录，希望给同样需求的同学提供参考。
图像识别与OCR进阶：PaddleOCR检测+识别端到端、自定义训练与多语言支持实战
从事移动开发八年，csdn博客专家，阿里云特邀专家，华为云云享专家，高级网络信息安全工程师，大数据工程师（高级），python技术开发（高级），HarmonyOS 应用开发者高级认证，现在某学校任教。
07-14 35
光学字符识别（Optical Character Recognition, OCR）作为计算机视觉领域的核心技术之一，在文档数字化、票据处理、证件识别、自动驾驶路牌识别等场景中扮演着不可或缺的角色。传统的OCR系统通常采用"检测+识别"的两阶段流水线架构，存在模块间误差累积、部署复杂、跨场景泛化能力差等问题。百度飞桨（PaddlePaddle）开源的PaddleOCR项目，凭借其超轻量级设计、端到端优化和强大的多语言支持能力，已成为工业界OCR落地的首选方案之一。
从「分段求生」到「一站到底」：Unlimited-OCR 攻克长文档难题
XLionXxxx的博客
07-13 240
百度开源Unlimited-OCR技术突破长文档处理瓶颈，基于DeepSeek-OCR引入R-SWA记忆滑轨机制，解决传统OCR因显存限制导致的上下文断裂问题。该技术可完整解析整本扫描件/超长论文/多页PDF，支持跨页表格、复杂公式等元素的结构化输出，并可直接处理多页图片和PDF文档。用户可通过OpenBayes云平台一键部署，实现自动化版面解析与格式还原。技术演示显示，该方案能保持长程上下文一致性，彻底告别文档拆分拼接的手动时代。
OCR （2026.07.13）
qq 117791303
07-13 276
OCR （2026.07.13）
OCR C++ Tesseract方向与语言检测(OSD)
最新发布
qq_21537809的博客
07-16 305
这个程序演示Tesseract OCR检测文字的旋转角度(方向)和语言。
OCR C++ Tesseract按行识别字符
qq_21537809的博客
07-15 159
这个程序演示Tesseract OCR按行识别字符。
验证码识别：OCR与打码平台实战全解析
从事移动开发八年，csdn博客专家，阿里云特邀专家，华为云云享专家，高级网络信息安全工程师，大数据工程师（高级），python技术开发（高级），HarmonyOS 应用开发者高级认证，现在某学校任教。
07-11 179
摘要：验证码（CAPTCHA）是反爬虫体系中最常见的一道"拦路虎"。本文从工程实战角度出发，系统对比三种主流验证码识别方案——传统Tesseract-OCR、深度学习ddddocr、以及第三方打码平台API集成。通过完整的代码示例、图像预处理流程、准确率对比测试与成本分析，帮助开发者根据实际业务场景选择最优识别策略，突破验证码限制，实现稳定高效的数据采集。
OCR C++ Tesseract设置矩形识别区域
qq_21537809的博客
07-15 583
这个程序演示在Tesseract OCR里指定一个矩形区域进行光学字符识别。
PaddleOCR Windows 一键包：图片转文字、批量识别、本地离线 OCR 都能用 CMD调用 网页调用双方式带源码 github开源获11万星
u010093380的博客
07-16 189
PaddleOCR是由飞桨（PaddlePaddle）深度学习框架推出的开源OCR工具库，其核心优势在于高精度、多语言支持、轻量化部署。相比传统OCR工具， PaddleOCR通过深度学习模型（如CRNN、DB等）实现了对复杂场景文字的精准识别，同时支持中英文、日韩文、法德文等80+语言，覆盖印刷体、手写体、倾斜文本等多种场景。
PaddleOCR 从入门到实战：PP-OCRv6 超轻量 OCR 全流程指南（环境搭建、推理识别、自定义训练与避坑）
weixin_43881799的博客
07-16 197
PaddleOCR 是百度飞桨（PaddlePaddle）开源的多语言 OCR 与文档智能引擎，覆盖文本检测、文字识别、版面分析、表格还原、关键信息抽取、文档结构理解与结构化输出的完整链路，支持 110+ 语种，服务覆盖 170 多个国家和地区html5.qq.com。截至 2026 年，其在 GitHub 上的 Star 数已突破 8.22 万，超越谷歌 Tesseract OCR，成为全球最受关注的开源 OCR 项目之一jjckb.cn+1。最新一代PP-OCRv6。
OCR C++ Tesseract基础用法
qq_21537809的博客
07-14 149
这个程序演示Tesseract OCR的基础用法。
OCR 教程汇总丨覆盖长文档/端到端/多语言，百度/小红书/华中科大等面向不同场景开源高性能模型，实现多模态文档精准解析
HyperAI超神经
07-13 257
在大模型快速发展的今天，大量信息虽然被数字化保存，却往往只是图片或扫描文件，无法被搜索，更无法直接进入 AI 工作流。如何将这些视觉数据转化为机器可理解的信息？OCR（Optical Character Recognition，光学字符识别）正是其中的关键技术。近年来，多模态模型的发展正在重新定义 OCR 的能力边界。使 OCR 从传统的信息采集工具，逐渐演变为连接视觉数据与智能应用的重要入口。这一变化正在推动 OCR 在科研、金融、医疗和AI Agent等更多领域落地。
把OCR服务放回自己电脑：PaddleOCR-VL搭一个私人识图平台
fruge365的博客
07-16 1594
把OCR服务放回自己电脑：PaddleOCR-VL搭一个私人识图平台
2026 OCR API 企业级接入指南：Python / Java / PHP 完整实战（附最佳实践与避坑总结）
weixin_40809967的博客
07-13 204
本文为企业级OCRAPI接入指南，详细介绍了Python/Java/PHP三种语言的调用方法，并给出最佳实践与常见问题解决方案。OCR技术可应用于身份证认证、发票报销、合同数字化等场景，通过成熟API可快速集成而无需自建模型。指南包含完整的代码示例（图片转base64、请求构建、结果解析）、性能优化建议（图片压缩、缓存机制、批量处理）以及选型标准（识别率、响应速度、稳定性）。特别推荐石榴智能OCRAPI，支持多语言开发及自动化脚本，提供免费测试和丰富文档，适合快速实现企业数字化需求。文章还附有错误处理、日志
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值