OCR技術有著豐富的應用場景，包括已經在日常生活中廣泛應用的面向垂類的結構化文本識別，如車牌識別、銀行卡信息識別、身份證信息識別、火車票信息識別等等，此外，通用OCR技術也有廣泛的應用，如在視頻場景中，經常使用OCR技術進行字幕自動翻譯、內容安全監控等等，或者與視覺特征相結合，完成視頻理解、視頻搜索等任務。

OCR文字檢測和識別目前的主流方法大多是采用深度學習技術，這從ICDAR2015自然場景排名前列的應用方法可以明顯看出。深度學習技術在一些垂類場景，文本識別精準度已經可以達到99%以上，取得了非常好的效果。

但在實際應用中，尤其是在廣泛的通用場景下，OCR技術也面臨一些挑戰，比如仿射變換、尺度問題、光照不足、拍攝模糊等技術難點；另外OCR應用常對接海量數據，但要求數據能夠得到實時處理；并且OCR應用常部署在移動端或嵌入式硬件，而端側的存儲空間和計算能力有限，因此對OCR模型的大小和預測速度有很高的要求。

在這樣的背景下，飛槳首次開源文字識別模型套件PaddleOCR，目標是打造豐富、領先、實用的文本識別模型/工具庫。首階段的開源套件推出了重磅模型：8.6M超輕量中英文識別模型。用戶既可以很便捷的直接使用該超輕量模型，也可以使用開源套件訓練自己的超輕量模型。

項目地址：

https://github.com/PaddlePaddle/PaddleOCR

8.6M超輕量

中英文OCR模型開源

 

模型畫像：

• 總模型大小僅8.6M
• 僅1個檢測模型（4.1M）+1個識別模型（4.5M）組成
• 同時支持中英文識別
• 支持傾斜、豎排等多種方向文字識別
• T4單次預測全程平均耗時僅60ms
• 支持GPU、CPU預測
• 可運行于Linux、Windows、MacOS等多種系統

PaddleOCR發布的超輕量模型由1個文本檢測模型（4.1M）和1個文本識別模型（4.5M）組成，共8.6M。其中，文本檢測模型使用的2020年發表于AAAI上的DB[1]算法，文本識別模型使用經典的CRNN[4]算法。鑒于MobileNetV3在端側系列模型中的優越表現，兩個模型均選擇使用MobileNetV3作為骨干網絡，可將模型大小初步減少90%以上。此外，通過減小通道數等操作，將模型大小進一步減小。超輕量模型組成詳情如下圖：

超輕量模型在推理速度上也有出色的表現，下面給出了PaddleOCR在T4和V100兩種機型上的推理耗時評估，評估數據使用從中文公開數據集ICDAR2017-RCTW（https://rctw.vlrlab.net/dataset/）中隨機抽取的500張圖像，評估耗時階段為圖像輸入到結果輸出的完整階段，評估詳情如下：

可以看到，長邊960像素時，T4平均耗時僅72ms，V100平均耗時更是低至29ms。。減小長邊尺寸，還可進一步加速。

PaddleOCR超輕量模型同時支持中英文識別，并且支持傾斜、豎排等多種方向的文字識別，我們看看效果示例。示例圖中給出了每個文本檢測框的識別結果（text）和相應的置信度（score）。

 

 

可以看到，模型在中英文、數字、多角度文本上都能有很好的識別效果。

快速體驗超輕量

中英文OCR模型

PaddleOCR已將該超輕量模型開源，感興趣的小伙伴趕緊動手操練一下吧：

1. 準備PaddleOCR環境

參考github項目教程中的快速安裝指導，準備好環境

2. 下載超輕量OCR模型

mkdir inference && cd inference 
# 下載超輕量級中文OCR模型的檢測模型并解壓 
wget https://paddleocr.bj.bcebos.com/ch_models/ch_det_mv3_db_infer.tar && tar xf ch_det_mv3_db_infer.tar 
# 下載超輕量級中文OCR模型的識別模型并解壓 
wget https://paddleocr.bj.bcebos.com/ch_models/ch_rec_mv3_crnn_infer.tar && tar xf ch_rec_mv3_crnn_infer.tar 

3. 預測單張圖片或圖像集

# 設置PYTHONPATH環境變量 
export PYTHONPATH=. 
# 預測image_dir指定的單張圖像 
python3 tools/infer/predict_system.py --image_dir="./doc/imgs/11.jpg" --det_model_dir="./inference/ch_det_mv3_db/"  --rec_model_dir="./inference/ch_rec_mv3_crnn/" 

 

更便捷的在線體驗方案

該模型也已經內置在飛槳預訓練模型應用工具PaddleHub中，供用戶更便捷地體驗，上傳圖片即可在線體驗：

https://www.paddlepaddle.org.cn/hub/scene/ocr

準備環境：

需提前安裝PaddlePaddle=1.7.2，然后更新PaddleHub到最新版本

pip install paddlehub --upgrade -i https://pypi.tuna.tsinghua.edu.cn/simple 

1. 加載預訓練模型

import paddlehub as hub 
ocr = hub.Module(name="chinese_ocr_db_crnn_mobile") #加載預訓練模型 

2. 預測單張圖片

results = ocr.recognize_text(paths=['/PATH/TO/IMAGE'], visualization=True)  #輸入自定義待識別圖片路徑、并保存可視化圖片結果 

 

效果更好的大模型同步開源

 

除了上述超輕量模型，PaddleOCR同時開源了相應大模型——通用中文OCR模型，可以達到更好的識別效果，給用戶提供多種選擇。大模型的基礎算法與超輕量模型一致：檢測模型基于DB算法，識別模型基于CRNN算法，不同的是，檢測模型骨干網絡換成resnet50_vd[8]，識別模型骨干網絡換成resnet34_vd[8]，模型效果示例：

可以看到，大模型能夠檢測到更完整的文本行，并且識別更準確，如果對模型大小要求不高，但希望能有更好效果，可以選擇使用大模型。大模型的體驗步驟與超輕量模型一致，下載相應模型、替換預測命令中的模型路徑即可體驗：

# 通用中文OCR模型的檢測模型 
https://paddleocr.bj.bcebos.com/ch_models/ch_det_r50_vd_db_infer.tar 
# 通用中文OCR模型的識別模型 
https://paddleocr.bj.bcebos.com/ch_models/ch_rec_r34_vd_crnn_infer.tar 

 

訓練自己的超輕量模型

 

我們知道，訓練與測試數據的一致性直接影響模型效果，為了更好的模型效果，經常需要使用自己的數據訓練超輕量模型。PaddleOCR本次開源內容除了8.6M超輕量模型，同時提供了2種文本檢測算法、4種文本識別算法，并發布了相應的4種文本檢測模型、8種文本識別模型，用戶可以在此基礎上打造自己的超輕量模型。

PaddleOCR本次開源了多種業界知名的文本檢測和識別算法，每種算法的效果都達到或超越了原作。文本檢測算法部分，實現了EAST[1]和DB[2]。在ICDAR2015文本檢測公開數據集上，算法效果如下：

文本識別算法部分，借鑒DTRB[3]文字識別訓練和評估流程，實現了CRNN[4]、Rosseta[5]、STAR-Net[6]、RARE[7]四種文本識別算法，覆蓋了主流的基于CTC和基于Attention的兩類文本識別算法。使用MJSynth和SynthText兩個文字識別數據集訓練，在IIIT, SVT, IC03, IC13, IC15, SVTP, CUTE數據集上進行評估，算法效果如下：

想要使用自定義數據訓練超輕量模型的小伙伴，可以參考8.6M超輕量模型的打造方式，從PaddleOCR提供的基礎算法庫中選擇適合自己的文本檢測、識別算法，進行自定義的訓練。PaddleOCR提供了詳細的訓練和模型串聯指導：

https://github.com/PaddlePaddle/PaddleOCR/blob/develop/doc/customize.md

更多PaddleOCR的應用方法，歡迎訪問項目地址：

GitHub:

https://github.com/PaddlePaddle/PaddleOCR

Gitee:

https://gitee.com/PaddlePaddle/PaddleOCR

添加微信小助手paddlehelp，備注OCR，即可加入百度飛槳PaddleOCR技術交流群。

如在使用過程中有問題，可加入飛槳官方QQ群進行交流：703252161。

如果您想詳細了解更多飛槳的相關內容，請參閱以下文檔。

官網地址：

https://www.paddlepaddle.org.cn

飛槳開源框架項目地址：

GitHub:

https://github.com/PaddlePaddle/Paddle

Gitee:

https://gitee.com/paddlepaddle/Paddle

參考文獻
[1] Zhou X, Yao C, Wen H, et al. EAST: an efficient and accurate scene text detector[C]//Proceedings of the IEEE conference on Computer Vision and Pattern Recognition. 2017: 5551-5560.
[2] Liao M, Wan Z, Yao C, et al. Real-time Scene Text Detection with Differentiable Binarization[J]. arXiv preprint arXiv:1911.08947, 2019.
[3] Baek J, Kim G, Lee J, et al. What is wrong with scene text recognition model comparisons? dataset and model analysis[C]//Proceedings of the IEEE International Conference on Computer Vision. 2019: 4715-4723.
[4] B. Shi, X. Bai, C. Yao. An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition. IEEE Trans. on PAMI , 39(11): 2298-2304, 2017.
[5] Borisyuk F, Gordo A, Sivakumar V. Rosetta: Large scale system for text detection and recognition in images[C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2018: 71-79.
[6] Liu W, Chen C, Wong K Y K, et al. STAR-Net: A SpaTial Attention Residue Network for Scene Text Recognition[C]//BMVC. 2016, 2: 7.
[7] Shi B, Wang X, Lyu P, et al. Robust scene text recognition with automatic rectification[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 4168-4176.
[8] https://paddleclas.readthedocs.io/zh_CN/latest/models/ResNet_and_vd.html