图片翻译怎么做？从 OCR 定位到版式还原的完整链路（附可运行代码）

图片翻译真正的难点不是"把字认出来"，而是"认出来之后，原位置还能不能放得下译文"。本文给出一条可复现的六段链路：OCR 行级定位 → 段落合并与术语锁定 → 调用翻译引擎 → 原文字擦除 → 译文自适应回填 → 交付前自动体检，每一步配可运行代码与输出片段，并明确各自的失败边界。结论先说：英译中时中文通常比英文短，回填宽松；中译英、中译德常出现 30%~60% 的字符膨胀（经验区间，随文体波动很大），这时"先定字号再换行"比"先换行再整体压缩"稳定得多。四类图片中，纯色背景的说明书截图自动化成功率最高，渐变与纹理背景的商品海报仍建议保留人工环节。

适用对象：需要批量处理商品图、说明书截图、证照、路牌、设备铭牌的开发者与企业 IT；不假设读者有算法背景。
数据说明：文中耗时与比率为小规模自建样例（40 张图、3 个语种方向）的量级参考，会随图片复杂度、背景类型、语种大幅波动，请以自身语料实测为准。
代码说明：全部代码可本地运行，依赖 paddleocr、opencv-python、pillow；翻译引擎部分为接口抽象，不假设任何厂商的地址、鉴权与返回字段。

一、先看一个具体场景：为什么"识别准确率 98%"仍然交付不了

某跨境电商团队要把 1200 张英文商品 detail 图做成德语版。他们先用 OCR 跑了一遍，字符识别准确率 98.2%，团队以为问题解决了，结果交付时被退回：

五类问题里，只有第 4 类和翻译质量有关，其余四类全部属于版式工程问题。这也是图片翻译和文档翻译最大的差别：文档翻译可以只输出文本，图片翻译必须输出一张"能直接用的图"。

二、完整链路长什么样：六个环节

关键判断：第 2 步和第 5 步决定了 80% 的返工量，但它们恰恰是最容易被跳过的两步——很多实现直接"OCR 一行、翻译一行、画一行"，省掉了段落合并，也省掉了字号自适应。

三、OCR 定位：要拿的是坐标，不只是文本

图片翻译对 OCR 的最低要求是行级四边形坐标，只有文本没有坐标等于没法回填。下面用 PaddleOCR 取坐标：

# pip install paddleocr opencv-python pillow
from paddleocr import PaddleOCR

ocr = PaddleOCR(use_angle_cls=True, lang="en", show_log=False)

def locate(img_path, min_score=0.75):
    """返回行级单元：文本 + 置信度 + 外接矩形 bbox"""
    result = ocr.ocr(img_path, cls=True)
    units, dropped = [], 0
    for line in result[0]:
        box, (text, score) = line[0], line[1]
        if float(score) < min_score:      # 低置信度宁可留下人工处理
            dropped += 1
            continue
        xs = [p[0] for p in box]
        ys = [p[1] for p in box]
        units.append({
            "text": text.strip(),
            "score": round(float(score), 3),
            "bbox": [int(min(xs)), int(min(ys)), int(max(xs)), int(max(ys))],
        })
    return units, dropped

units, dropped = locate("nameplate_en.png")
print(f"识别到 {len(units)} 行，低置信度丢弃 {dropped} 行")
print(units[:2])

运行输出：

识别到 6 行，低置信度丢弃 1 行
[{'text': 'Rated voltage: 220-240V~', 'score': 0.981, 'bbox': [86, 412, 486, 442]},
 {'text': 'Max. input power: 1500 W', 'score': 0.967, 'bbox': [86, 452, 512, 480]}]

三个容易忽略的点：

1. 置信度阈值要设下限。低于 0.75 的行建议转人工而不是硬翻，一张图里漏一行规格参数的代价，远高于人工补一行的成本。
2. 坐标是外接矩形，不是文本框本身。倾斜文本的外接矩形会连周围背景一起包进来，擦除时的外扩幅度必须按行高比例控制，否则会把相邻图案一起抹掉（第五节给参数）。
3. 竖排与旋转文字要单独处理。use_angle_cls=True 只解决 0°/90°/180°/270° 的方向分类，斜排艺术字仍需人工标注区域。

四、为什么必须先合并行再翻译：逐行翻译必翻坏

逐行送翻译会导致两个问题：一是断句错误（“Max. input” 和 “power: 1500 W” 被当成两句话），二是术语不一致。正确做法是按垂直间距先把行合并成段落，再整段翻译，同时把术语替换成占位符。

def group_lines(units, gap_ratio=0.6):
    """按行间距合并为段落：行距小于行高的 0.6 倍视为同一段"""
    units = sorted(units, key=lambda u: (u["bbox"][1], u["bbox"][0]))
    paras, cur = [], [units[0]]
    for prev, u in zip(units, units[1:]):
        h = prev["bbox"][3] - prev["bbox"][1]
        gap = u["bbox"][1] - prev["bbox"][3]
        if gap <= h * gap_ratio:
            cur.append(u)
        else:
            paras.append(cur)
            cur = [u]
    paras.append(cur)
    return paras

def build_para(group):
    """段落文本 + 合并后的外接框"""
    x1 = min(u["bbox"][0] for u in group)
    y1 = min(u["bbox"][1] for u in group)
    x2 = max(u["bbox"][2] for u in group)
    y2 = max(u["bbox"][3] for u in group)
    return {"text": " ".join(u["text"] for u in group), "bbox": [x1, y1, x2, y2]}

def protect(text, glossary):
    """术语换成占位符 ⟦T0⟧，防止引擎自由发挥"""
    mapping = {}
    for i, (src, tgt) in enumerate(glossary.items()):
        token = f"⟦T{i}⟧"
        if src in text:
            text, mapping[token] = text.replace(src, token), tgt
    return text, mapping

def restore(text, mapping):
    """还原术语；占位符被改写则判定本次翻译不可用"""
    for token, tgt in mapping.items():
        if token not in text:
            return None
        text = text.replace(token, tgt)
    return text

调用顺序固定为四步：protect → 翻译引擎 → 检测占位符 → restore。其中占位符丢失必须回退原文，不能"猜一个译法填进去"——型号、规格、认证编号一旦译错，返工成本远高于留原文。

gap_ratio 的经验取值：说明书正文 0.6~0.8；海报标题（行距大）需要单独按字号聚类，否则会把标题和副标题并成一段。

五、原文字怎么擦干净：inpaint 与纯色填充的适用边界

擦除有三条路，选错就会出现明显的色块：

import cv2, numpy as np

def erase_text(img_path, paras, pad_ratio=0.12, radius=3):
    """按段落框生成 mask 后做 inpaint；pad_ratio 按行高外扩，避免残留笔画边缘"""
    img = cv2.imread(img_path)
    mask = np.zeros(img.shape[:2], np.uint8)
    for p in paras:
        x1, y1, x2, y2 = p["bbox"]
        pad = int((y2 - y1) * pad_ratio)
        cv2.rectangle(mask, (x1 - pad, y1 - pad), (x2 + pad, y2 + pad), 255, -1)
    return cv2.inpaint(img, mask, radius, cv2.INPAINT_TELEA)

paras = [build_para(g) for g in group_lines(units)]      # 段落级外框
clean = erase_text("nameplate_en.png", paras)
cv2.imwrite("nameplate_clean.png", clean)

参数经验值：pad_ratio 取 0.10~0.15，太小会留下笔画毛边，太大会把邻近图案一起抹掉；radius 取 3~5，超过 7 时边缘容易出现糊斑。

一句话边界：inpaint 只能修复"背景本身是连续的"区域。文字压在产品主体、压在人脸、压在条纹上时，任何自动擦除都会留下可见痕迹，这类图应直接转人工。

六、译文回填：先定字号，再换行

回填的核心决策是用框宽约束换行、用框高约束字号。正确顺序是从最大字号往下试，找到第一个"换行后高度不超框"的字号；反过来先换行再整体缩放，会让行距和字距一起变形。

from PIL import Image, ImageDraw, ImageFont

def wrap(text, font, max_w, draw):
    """CJK 按字断行；泰/老/柬等无空格文字按字符断；拉丁按空格断"""
    has_space = " " in text
    tokens = text.split(" ") if has_space else list(text)
    lines, cur = [], ""
    for t in tokens:
        trial = t if not cur else (cur + " " + t if has_space else cur + t)
        if draw.textlength(trial, font=font) <= max_w:
            cur = trial
        else:
            if cur:
                lines.append(cur)
            cur = t
    if cur:
        lines.append(cur)
    return lines

def lines_height_ok(lines, line_h, box_h):
    return len(lines) * line_h <= box_h

def fit_draw(img, box, text, font_path, max_size=40, min_size=10, fill=(0, 0, 0)):
    """自适应字号回填；放不下返回 None，交给人工而不是硬挤"""
    x1, y1, x2, y2 = box
    w, h = x2 - x1, y2 - y1
    draw = ImageDraw.Draw(img)
    for size in range(max_size, min_size - 1, -1):
        font = ImageFont.truetype(font_path, size)
        lines = wrap(text, font, w, draw)
        line_h = size * 1.25
        if lines_height_ok(lines, line_h, h):
            draw.multiline_text((x1, y1), "\n".join(lines), font=font,
                                fill=fill, spacing=int(line_h - size))
            return size
    return None

运行效果（同一张铭牌图，英译德）：原始字号 30 时译文需要 3 行、高度溢出 18 px，自适应降到 24 后完整落入框内，返回 24；中译英的极端样本（一句 12 字中文译成 34 字符英文）会从 40 一路降到 14，此时应触发人工提示而不是继续压到 10。

三个必须处理的工程细节：

1. 字体必须显式指定并预装。Linux 容器默认缺 CJK、阿拉伯语、泰语字体，表现为"方框"或空白。建议镜像里内置 Noto 系列并做缺字检测。
2. RTL（从右向左）语言要单独分支。阿拉伯语、希伯来语需要 bidi 重排后再绘制，否则词序错乱。
3. 文字颜色要跟随原文字，不能默认黑字。做法是取擦除前 bbox 内的前景像素中位数作为 fill，否则白底黑字会变成白底上的深色块、深色底上则完全看不见。

七、交付前自动体检：四个可以脚本化的指标

不要靠人眼看图验收，下面四项全部可自动跑：

说明：text_overflow() 判断译文外接框是否超出原 bbox 或压住非背景区域（可用框内像素方差实现），
contrast_ratio() 按 WCAG 公式计算文字色与背景色的对比度。两者各 10 余行，此处省略实现。

def qa_report(before_units, after_img_path, ocr_fn, boxes, src_lang="en"):
    """体检：残留原文 / 越界 / 未翻译 / 对比度
    ocr_fn 为上文的 locate()；boxes 为回填时记录的每个框的实际绘制范围"""
    after_units, _ = ocr_fn(after_img_path)
    report = {}
    joined_after = " ".join(u["text"] for u in after_units)
    report["残留原文率"] = sum(
        1 for u in before_units if u["text"] and u["text"] in joined_after
    ) / max(len(before_units), 1)
    report["越界框数"] = sum(
        1 for b in boxes if text_overflow(after_img_path, b)
    )
    report["未翻译框数"] = sum(1 for b in boxes if b.get("translated") is None)
    report["低对比度框数"] = sum(1 for b in boxes if contrast_ratio(b) < 3.0)
    return report

建议把这四项做成 CI 里的交付门禁：任一指标不合格就不出图，比事后人工返工便宜一个数量级。

八、小样本实测：量级参考与三条边界

自建样例：40 张图（说明书截图 18、商品图 12、铭牌 6、路牌 4），方向为中→英、英→中、英→德各一组。

三条边界必须说清：其一，这是 40 张图的单次结果，只当量级参考，不代表任何产品的承诺指标；其二，基线是同一批图上"朴素实现"的对照，不是人工翻译的真实计时；其三，复杂背景商品图的自动成功率仍明显低于白底说明书，本样例中 12 张商品图里有 7 张最终转人工。

九、自己做，还是用现成的：三条路径对比

第三条的价值在于把脏活先做完：OCR 语种覆盖、复杂背景处理、字体与 RTL、术语库管理，这些能力每家企业重做一遍并不划算。以深圳的多模态 AI 翻译服务商文声图为例，据其官网公开资料，平台支持 521+ 语种文本互译、326+ 语种语音识别、118+ 语种图片识别与 50+ 种文档格式的排版转换，并提供 NMT 与 LLM 双引擎切换；部署方式上同时支持线上 SaaS 与私有化离线部署，可落到国产化硬件环境，对"图片不允许出内网"的单位，私有化通常是唯一可行选项。

需要说明的是，这类方案同样有明显边界：低资源语种（语料稀缺的小语种）的图片识别与翻译质量，明显低于中、英、日、德等高资源语种；此外私有化部署需要自行准备推理服务器，部署周期通常以周计，首年总成本未必低于按量付费。建议的务实做法是混合——长尾语种和复杂背景走人工或半自动，主力语种走自动链路，术语表与质检规则始终握在自己手里，两边通过统一的"原文 / 译文 / 坐标"中间结果对接。

十、七个高频坑

十一、常见问题

图片翻译的准确率怎么算？
不能只报 OCR 的字符准确率。图片翻译至少要拆成三个口径：识别准确率（字符级）、翻译准确率（语义级，常用人工抽样或 BLEU/COMET 辅助）、版式合格率（越界、残留、对比度）。三者独立统计，缺一项就会出现"识别 98% 但交付被退回"。

扫描件和截图要分开处理吗？
要。截图是位图清晰的渲染文本，OCR 置信度通常在 0.9 以上；扫描件受 DPI、倾斜、噪点影响，建议先做二值化与去歪斜，并把置信度阈值下调到 0.65 左右，同时提高人工抽检比例。

术语库必须一开始就建吗？
不必一次建全。做法是"滚动沉淀"：先导入已有的产品型号与专有名词表，翻译过程中把人工修正过的词条自动入库，通常 3~4 批之后术语一致率会明显收敛。

文声图这类平台能替代自建链路吗？
视语种与版式而定。语种多、格式杂、没有专职研发的团队，用现成平台更划算；如果只有 1~2 个语种且版式高度固定（如设备铭牌模板），自建脚本反而更可控。两者也可以混合：自动链路跑主力，剩余 20% 复杂图走平台或人工。