——小菜:“大胖老师,咱们测试了这么多OCR,有没有哪个是能用的?”
——大胖老师:“有。每一个都能用,前提是你得先把自己变成另一个人。”
——小菜:“什么意思?”
——大胖老师:“用洋OCR,你得把自己当成硅谷工程师;用云OCR,你得把自己当成不计成本的互联网公司;用土OCR,你得把自己当成能徒手写编译器的极客。问题是,王大姐谁也不是,她就是王大姐。”
一、一场蓄谋已久的“OCR大逃杀”
在经历了那套两万八的洋软件带来的心灵创伤之后,大胖老师做了一个决定:不凭直觉选了,也不信厂商的宣传册了。他要搞一次前无古人、后未必有来者的“OCR大逃杀”——把市面上所有可能适用于古籍的方案,全部拉出来遛一遍。
“为什么叫大逃杀?”小菜问。
“因为活到最后的,可能一个都没有。”大胖老师面无表情地说。
测试环境很简陋:一台2018年的联想办公台式机,i5-8500处理器,8G内存,集成显卡,500G机械硬盘。没有GPU,没有固态,没有水冷。大胖老师故意选了这台机器,理由是:“如果在这台机器上能跑起来,那全国的图书馆就都能跑起来。用我们实验室的顶配工作站测,那是自欺欺人。”
测试样本也很刁钻,故意挑了最难啃的骨头:一页明万历刻本(字体古拙,栏线模糊),一页清乾隆朱墨套印本(红黑双色,正文和批注混杂),一页民国石印本(字极小,墨色不均),还有一页手抄本(字迹潦草,带连笔)。大胖老师说:“能把这四页都搞定的,才配叫古籍OCR。只会认标准宋体的,请自觉退场。”

接下来,是漫长的测试、崩溃、重启、再崩溃的循环。小菜那段时间的工位上,贴满了各种OCR的报错截图,最上面用红笔写着一行大字:“珍爱生命,远离烂OCR。”
二、洋OCR:硅谷精英的傲慢与偏见
测试阵容:某美国PDF大厂、某欧洲文档处理套件、某日本扫描仪自带OCR。
大胖老师统称它们为“洋OCR三剑客”。这三家的共同点是:品牌响亮,界面精致,宣传文案里都写着“支持中文”。共同的问题也很一致:它们所理解的“中文”,和古籍里的“中文”,根本是两种语言。
美国大厂的表现前面已经详述过——把“曰”认成“日”、把竖排当横排、把注文当乱码。这里补充一个让人哭笑不得的细节:它对印章的处理。那页乾隆朱墨套印本上,盖了一方红色藏印,内容是“某某藏书”。洋OCR把这方印章当成了一块红色污渍,直接绕过了,什么都没识别。大胖老师无语:“中文世界里,印章是重要的版本信息,有时候比正文还值钱。它直接给当污渍忽略了,等于把金条当砖头扔了。”
欧洲套件的表现更离谱。它倒是认识繁体字,但处理顺序完全混乱——正文、注文、眉批,不分青红皂白全糊在一起。大胖老师测试的那页明刻本的阅读顺序是先读右栏正文,再读中间双行夹注,再回到正文,它的输出却把三处的字随机拼在一起,凑成了一段谁也看不懂的“拼贴诗”。更别提对竖排的处理了,连个方向检测都没有。小菜评价:“这不是OCR,这是一台文字搅拌机。”
日本厂商的OCR本来是这三家里最有可能接近古籍的——日语文献里也有大量竖排汉字。测试下来,它对竖排的方向判断确实比前两家强,文字块检测也能分栏。但问题是,它的训练数据以日文汉字为主,碰上中文特有的异体字(比如“説”和“說”之外的更冷僻写法),就直接投降,输出一个日文假名或者干脆空着。大胖老师形容:“好比请了一位日本汉学家来读中国方志,大部分能通,但遇上土语、俗字,他就只能礼貌地微笑摇头。”
洋OCR总结:技术底子不差,有的甚至很强,但对中国古籍的适配度为零。它们的研发团队大概率没摸过一本线装书,没看过一页竖排繁体。它们眼中的“中文支持”,就是能在横排简体上跑出不错的效果。至于竖排、异体、避讳、夹注这些概念,可能压根没出现在他们的需求文档里。大胖老师的话很犀利:“不是技术不行,是人家压根没把你当主要客户。你在这边气得拍桌子,人家在硅谷喝着咖啡迭代下一个功能——身份证识别。谁会在乎几千公里外的一本破书?”

三、云OCR:按次付费的“温柔陷阱”
测试阵容:某电商大厂云OCR、某社交大厂AI开放平台、某AI独角兽企业云服务。
相对于洋OCR的一棒子打死,云OCR的表现好得让人惊喜——至少头几页是。三家的识别准确率都在85%以上,个别页面甚至超过90%。竖排可以处理,版面分析基本准确,还能输出结构化的JSON。小菜开心得直拍桌子:“这不就有了吗!”
大胖老师冷静地泼了盆冷水:“你看看计费页面。”
然后小菜就笑不出来了。
电商大厂的计费方式最复杂:基础文字识别一个价,高精度版另一个价,版面分析单独计费,表格识别再单独计费。古籍一页下去,通常需要高精度+版面分析,综合成本约0.06元/页。这还不算调用次数——如果识别结果不理想,换个参数重新识别,再计一次费。大胖老师算了一笔账:一个县馆平均馆藏古籍2万册,每册50页,就是100万页。单次识别成本6万元。如果再加上后期校对、重扫、调整参数,乐观估计也要10万元。但这只是首轮费用——每年可能还有新的古籍被发现、被捐赠,或者之前的识别结果需要更新,这等于是一笔永远付不完的流水账。大胖老师形容:“这不是买工具,是租工具。而且租金还不封顶。”
社交大厂的计费相对简单,但有个致命问题:数据必须过他们的服务器。大胖老师翻看了用户协议,发现其中有几条写得非常暧昧,大意是“为提升服务质量,可能对上传内容进行数据分析”。什么叫“数据分析”?谁来定义“服务质量”?数据保留多久?语焉不详。他咨询了法律人士,对方说这属于典型的“灰色地带条款”,真要出问题,用户很难维权。对于图书馆来说,这直接触碰了红线——很多古籍的版权归属复杂,有些还涉及个人隐私(如族谱、契约),上传到商业云平台在制度上是不可接受的。小菜总结:“这就像你把家里最值钱的东西存进别人的保险柜,保险柜的主人还保留随时打开看一看的权利。你睡得着吗?”
独角兽企业的技术最惊艳,测试效果直逼专业古籍厂商的水平。但商业模式更激进——不卖按次,卖包年,而且起步价就是六位数。大胖老师联系销售,对方态度很好,但“优惠方案”仍然远超图书馆的承受能力。而且,包年意味着一旦停止续费,服务立刻中断,所有历史识别结果虽然能导出,但API和模型再也用不了。这等于被软性锁定。大胖老师挂掉电话后感慨:“技术是真好,价格是真贵。适合那些不差钱的互联网大厂给自己做数字博物馆,不适合我们这些吃财政饭的。”
云OCR总结:技术能力吊打洋OCR,对中文的支持也更到位,有的甚至已经能比较好地处理竖排繁体。但商业模式和数据安全是两个绕不开的坎——前者让它不适合大规模长期使用,后者让它不适合涉及敏感文献的场景。大胖老师最后的评价是:“云OCR是锦上添花的东西,适合已经有钱、有技术团队的馆。但我们要的是雪中送炭,是让穷馆也能用的方案。它不在这个赛道上。”

四、土OCR:开源社区的冰与火之歌
测试阵容:Tesseract、EasyOCR、PaddleOCR早期版本、各种GitHub上的个人项目。
开源OCR的世界,像极了一个热闹的跳蚤市场——什么都有,但良莠不齐,需要一双火眼金睛去淘。
Tesseract,OCR界的活化石,被各种教程奉为经典。它的架构是上世纪90年代设计的,虽然经过多次现代化改造,但底层思路还是传统的“字符分割+模板匹配”那一套。对付标准印刷体还行,一遇上古籍就原形毕露——竖排完全不行,版面分析基本为零,繁体字识别率惨淡。大胖老师评价:“Tesseract是工业革命时代的蒸汽机。它曾经很伟大,但你没法用它来跑F1。”
EasyOCR,一个韩国团队开发的多语言OCR,以“易用”著称。确实,安装简单,调用方便,一行代码就能出结果。但它的中文模型是用现代横排数据训练的,繁体支持很弱,对竖排完全没有优化。测试结果和洋OCR水平差不多——横排简体还行,其他一律抓瞎。小菜叹气:“易用是易用,但用不了也是真用不了。”
早期PaddleOCR,是他们测试中唯一带来希望的。2019年刚发布时,它在中文横排上的表现就已经超过了很多商业软件。但它早期对竖排的支持也很有限,版面分析模块还没有,古籍整体方案不成熟。大胖老师说:“PaddleOCR是块好胚子,但还需要大量针对古籍的打磨。这块打磨的工作,商业公司没人做,开源社区做了一部分但没做完。这中间的空白,就是我们的用武之地。”
各种GitHub个人项目,是这次测试中最令人感动也最令人心酸的。有的开发者用几百张自标注的古籍图片训练了一个小模型,发布在GitHub上,星标十几个,连README都有错别字。大胖老师一一测试,发现它们多半只有演示价值,不能实际使用。但他在每个项目的issue区都留下了感谢的话:“不是代码有用,是初心有用。”小菜也翻到一个2018年的项目,作者在README里写:“外婆家的族谱快烂了,我想用OCR把它存下来。学了一个月Python,写了这个。效果不好,但我会继续改。”项目最后一次更新是2019年。小菜盯着屏幕,沉默了很久。
土OCR总结:开源社区不乏热情和能力,但古籍OCR是一个需要长期投入、大量数据积累和领域知识的系统工程。个人开发者很难单枪匹马完成,而社区又缺乏组织力量整合这些离散的贡献。这导致了典型的“最后一公里”问题:所有零件都在,但没人把它们组装成一辆能开的车。

五、一个意外的发现:古籍界其实早有一套“土办法”
在测试各种软件之外,大胖老师还发现了一个有意思的现象:很多基层图书馆和民间爱好者,已经摸索出了一套“人肉OCR”土办法。
比如,某县图书馆的馆员,用手机把古籍一页页拍下来,发到家族微信群里,动员亲戚朋友帮忙“看图打字”。一本书三个月能录完。大胖老师听到后肃然起敬——这就是最原始也最动人的众包模式。缺点是效率极低,而且错误率不低——亲戚们都不认识繁体字,全靠蒙。
还有人用“图片转文字”小程序。他们把古籍扫描件截成一小段一小段,发给微信里的OCR小程序,再把结果拼回去。小菜试了一下,竖排根本不行,出来全是乱码。但那些坚持用这个方法的人,不是不知道有更好的工具,而是不知道去哪里找。大胖老师说:“他们用微信小程序做OCR,不是因为它好,而是因为它近。这就是我们做‘文渊慧典’要解决的另一半问题——不仅要做出来,还要让王大姐们能找到、会用。”

六、扒完所有方案之后,我们得出了三条铁律
大胖老师把所有测试记录钉在了实验室墙上,上面密密麻麻是各种OCR的评分、bug描述和费用计算。他让小菜从这些数据中提炼出结论。小菜熬了一夜,第二天交出了三条铁律。
铁律一:没有一家通用OCR能直接用于古籍。
古籍对OCR的要求太特殊——竖排、繁体、异体、避讳、夹注、眉批、印章,每一项单独拎出来都是难点,组合在一起就是王炸。通用OCR追求的是大而全,在各种常见场景下都有不错的表现,但古籍不是常见场景,它是一个垂直到不能再垂直的细分领域。
铁律二:商业方案要么太贵,要么不安全,要么两者都是。
洋OCR贵且不能用,云OCR能用但贵且不安全,专业厂商好用但贵到离谱。开源工具成本为零但需要极高的技术门槛。这四个选项,哪一个都不是为“缺钱缺人的县级图书馆”准备的。
铁律三:开源+领域适配,是唯一可行的路。
只有开源,才能做到零成本和数据本地化;只有领域适配,才能解决古籍的特殊问题。这两者结合,就是“文渊慧典”的底层逻辑——站在开源巨人的肩膀上,做那最后20%的领域优化。这20%包括古籍专用的版面分析调优、繁体竖排识别模型微调、避讳字和异体字的特殊处理,以及把整个流程封装成一个王大姐都能用的界面。
小菜把三条铁律贴在白板上,大胖老师看了一遍,满意地点头:“这就是我们花了那么多冤枉钱买来的教训。它值多少钱?两万八。”
小菜笑了。大胖老师也笑了。窗外,夕阳正好打在白板上,三条铁律的字迹清晰而坚定。
七、尾声:当“扒光”变成“看清”
文章最后,大胖老师让小菜给这次“OCR大逃杀”写一个总结。小菜想了很久,写了这么一段话:
“市面上的OCR方案,像极了江湖上的各派武功。洋OCR是西洋拳击,刚猛有力但不讲套路;云OCR是名门正派,功夫好但要价高;土OCR是野路子散修,偶有奇招但不成体系。古籍数字化需要的,是融会贯通——把最好的招式拆解、重组,创出一门专门对付竖排繁体的新拳法。这门拳法叫‘文渊慧典’,它没有门派,不收费,唯一的门槛是:你得有一台还能开机的电脑。这就够了。”
大胖老师看完,把这段话转发到了项目群里。一分钟之内,收获了二十三个赞。群里有人问:“大胖老师,咱们这套拳法什么时候正式发布?”大胖老师回复:“等我们先把所有招式再练一遍,确保王大姐不会闪着腰。古籍已经等了太久,不差这几个月。但我们也等不了太久,因为每多等一天,就可能有几页纸在某个角落悄悄碎掉。”
实验室的窗外,夜色正浓。大胖老师拧开保温杯,倒出最后一点枸杞水,对着屏幕上的代码,开始了新一轮的调试。键盘声轻快而急促,像极了古籍在纸页上沙沙作响的回响。
本文为注水技术版,您看看即可,不必当真,写此文字就是图一乐:-)

213

被折叠的 条评论
为什么被折叠?



