快速入門開發(fā)實現(xiàn)訂單類圖片識別結(jié)果抽象解析
一、背景
面對訂單數(shù)據(jù)紙質(zhì)文件或圖片，僅靠人眼識別的話效率低，需引入機器學習來識別和解析圖片以提高效率。當前市面已有收費的圖片識別服務，包括阿里、百度等，識別效果較好，但針對訂單類圖片，不僅需要關注圖片上的文字，還需要關注文字所在的行列，來分出每條數(shù)據(jù)和數(shù)據(jù)詳細字段。
本篇內(nèi)容主要介紹一種針對識別完結(jié)果進行行列解析的抽象流程和方案，來提高開發(fā)效率。
本文只提供思路，不提供源碼。另外，本文不介紹人工智能圖片識別，有興趣的同學請關注大神們的文章，這里推薦“宜信技術學院官網(wǎng)文章AI板塊”。
二、解析流程
對于圖像處理，opencv算是比較優(yōu)秀的，所以選做本文圖像處理首選軟件。為了使圖片識別率更高，需要先做圖片矯正，這里采用較為簡單的霍夫變換加去噪聲點算法矯正圖片。圖片矯正后，調(diào)用圖片識別服務獲取結(jié)果，一般結(jié)果格式包括響應碼、錯誤描述、文字塊列表（文字和四點坐標）等。根據(jù)識別結(jié)果使用抽象的俄羅斯方塊法來識別結(jié)果獲取行列信息。最后根據(jù)行列信息組裝每一行數(shù)據(jù)并顯示。
三、處理細節(jié)
3.1 opencv安裝概要
opencv安裝簡單提示，這里不細說，以后有時間單獨發(fā)文。
1）windows
- 下載編譯好的包：https://opencv.org/releases/
- 解壓縮到自定義文件夾。
2）linux
- 推薦使用ubuntu，并且最好是全新的系統(tǒng)，因為opencv會依賴很多包，對版本要求也高，解決沖突會很麻煩。
- 下載源碼
- 安裝依賴包
- 編譯安裝
我們使用java調(diào)用opencv，這里需要安裝獲取到開發(fā)包，windows為opencv_javaxxx.dll，linux為libopencv_javaxxx.so，程序初始化時需要加載到jvm。詳細代碼如下：
- System.load(PropertieUtil.getPropertie("這里是dll或so的完整路徑");
3.2 圖片矯正
3.2.1 矯正探索
圖片矯正探索之路較為艱辛，起初我們想了一個比較簡單的方案：先調(diào)用圖片識別服務，獲取到結(jié)果，再根據(jù)每一個字塊的四角坐標判斷出每個字塊的傾斜角，然后再根據(jù)去噪算法算出平均的傾斜角。理論上這個方案是可行的，但實踐證明我們是錯的，因為圖片識別服務返回的坐標圖片不準確，多數(shù)的圖片算出的結(jié)果都是錯誤的。
經(jīng)查發(fā)現(xiàn)霍夫變換有可能解決這個問題，于是開始嘗試學習霍夫變換和去燥算法，最終發(fā)現(xiàn)可行，并抽象出公共方法，僅需簡單配置一些參數(shù)就能完成矯正。
圖片矯正分為兩步：
第一步：正反矯正，判斷圖片傾斜角度是90°、180°、270°、0°，這個通過數(shù)學方法是無法判斷的，需要引用機器學習。
第二步：角度微調(diào)，一般為確定圖片是正的，且傾斜角度在+-30°左右。
需要注意：上面說的辦法不可能通過一套參數(shù)來對所有圖片進行微調(diào)，但是線上數(shù)據(jù)證明，針對一類圖片，一套參數(shù)基本能讓大多數(shù)圖片都矯正正確。
3.2.2 霍夫變換概要
霍夫變換是數(shù)學界經(jīng)典空間變換算法，用于檢測直線，通過大量檢測到的直線的斜率就能計算出圖片傾斜角度。先進行二值化和邊緣檢測，再進行霍夫變換效果更佳。詳細算法內(nèi)容請自行搜索，本文不細聊。
3.2.3 去噪聲點算法
基本公式：
上限=均值+n*標準差
下限=均值-n*標準差
其中n取值一般為1-4，數(shù)值越大表示篩選率越高。最后再將符合的數(shù)據(jù)求均值。
核心代碼如下:
- /**
- * 利用標準差篩選
- * @param values
- * @return
- */
- private static double[] calcBestCornList(double[] values) {
- // 計算標準差
- StandardDeviation variance = new StandardDeviation();
- double evaluate = variance.evaluate(values);
- Mean mean = new Mean();
- double meanValue = mean.evaluate(values);
- double biggerValue = meanValue + CHOOSE_POWER * evaluate;
- double smallerValue = meanValue - CHOOSE_POWER * evaluate;
- List<Double> selected = Lists.newArrayList();
- for (double value : values) {
- if (value >= smallerValue && value <= biggerValue) {
- selected.add(value);
- }
- }
- double[] selectedValue = new double[selected.size()];
- for (int i = 0; i < selected.size(); i++) {
- selectedValue[i] = selected.get(i);
- }
- logger.info("占比:{}%，篩選后角度數(shù)組：{}", (selectedValue.length / (float)values.length) * 100F, selected);
- return selectedValue;
- }
3.2.4 霍夫變化抽象封裝
基本流程：
1、定義相關參數(shù)。
2、讀取圖片。
3、灰度二值化處理。
4、使用opencv畫出輪廓。
5、根據(jù)參數(shù)要求多次畫霍夫變換線，直到線數(shù)量滿足參數(shù)為止。
6、遍歷畫出的線，分出橫線和豎線，根據(jù)配置計算出每條線角度。
7、使用去噪聲算法（需要根據(jù)非0數(shù)自動重復計算）算出平均傾斜角度。
8、使用opencv旋轉(zhuǎn)圖片。
核心代碼如下：
- /**
- * 矯正圖片，通過霍夫變換矯正
- * @param oldImg 原始圖片
- * @param rotateParam 旋轉(zhuǎn)參數(shù)
- * @return
- */
- public static String rotateHoughLines(File oldFile, String oldImg, RotateParam rotateParam, String cid, String bankCode) throws Exception {
- Mat src= Imgcodecs.imread(oldFile.getAbsolutePath());
- //讀取圖像到矩陣中
- if(src.empty()){
- throw new Exception("no file " + oldFile.getAbsolutePath());
- }
- // 用于計算的圖片矩陣
- Mat mathImg = src.clone();
- // 灰度化
- Imgproc.cvtColor(src, mathImg, Imgproc.COLOR_BGR2GRAY);
- logger.info("二值化完成");
- // 獲取輪廓
- Imgproc.Canny(src, mathImg, rotateParam.getCvtThreshould1(), rotateParam.getCvtThreshould2());
- logger.info("輪廓完成");
- // 霍夫變換獲取角度，詳細代碼略
- double corn = houghLines(mathImg, rotateParam, cid);
- logger.info("霍夫變換完成，角度：{}", corn);
- if(corn == 0) {
- return oldImg;
- }
- return rotateOpenv(oldFile, corn, cid, bankCode);
- }
3.3 常用圖片識別方案
阿里、百度都有提供圖片識別服務，另外如果有實力也可以自己實現(xiàn)，當然不建議自研，因為樣本需求量巨大，時間成本過高。
3.4 識別結(jié)果解析
3.4.1 探索之路
本章節(jié)為本文重點內(nèi)容，因為前面所提到的都是較為基礎的服務和算法，大量開發(fā)內(nèi)容都在本章。前期要開發(fā)的訂單圖片類型巨量（大于100種），每一類圖片區(qū)別很大，我們有幾個人分類型開發(fā)，但是每個人所用的方法都不同，且張三開發(fā)出來的李四看不懂，不過畢竟面對的是圖片，比較抽象，是可以理解的。
開發(fā)一段時間后，我們發(fā)現(xiàn)了問題。每種類型最快也要一周才能開發(fā)完成，而且解析成功率極低。開發(fā)出一套抽象的方法來把行列數(shù)據(jù)提取出來迫在眉睫。
通過調(diào)研發(fā)現(xiàn)大家常用兩種方法來提取行列數(shù)據(jù)，分別為坐標法和標題法，但是這兩種方法解析率都不高。經(jīng)過幾周思考，終于想出了一套較好的方法，命名為俄羅斯方塊法，解決了問題。
3.4.2 俄羅斯方塊法
思路概要：
1. 拿到識別結(jié)果數(shù)據(jù)。
2. 先把所有數(shù)據(jù)的y坐標進行排序。
3. 遍歷排序結(jié)果，先把第一條放入第一列結(jié)果集中。
4. 從第二條開始和第一列結(jié)果集對比。
5. 對比方法：
--如果在第一列結(jié)果集其中一條數(shù)據(jù)的右側(cè)，則認為是新列。
--如果在y軸方法和第一列結(jié)果其中某些數(shù)據(jù)重疊了，則認為是新列。
6. 如果以上兩條都不是，則認為本條數(shù)據(jù)還在當前列中，放入第一列結(jié)果集。
7. 以此類推，繼續(xù)對比，直到對比到最后一列最后一條數(shù)據(jù)。
8. 按照上面方法，反過來，以x軸為標準，能夠得到行結(jié)果集。
思路圖如下：
概要代碼如下：
- // 按照最左上角的x坐標排序
- OcrWordInfo[] sortL = NoTableParseResult.ParseUtil.bubbleSortX(ocrResponse.getPrism_wordsInfo(), false);
- NoTableParseResult ntpr = new NoTableParseResult(param);
- ntpr.setHeight(converImg.height());
- ntpr.setWight(converImg.width());
- for (int i = 0; i < sortL.length; i++) {
- // 當前要比較的數(shù)據(jù)
- OcrWordInfo ocrWordInfo = sortL[i];
- // 處理當前列數(shù)據(jù)
- ntpr.getUtil().testCurColData(ocrWordInfo);
- }
- // 處理最后一列
- ntpr.lastCol();
- /**
- * 判斷是否為下一列，并處理
- * @param ocrWordInfo
- * @return
- */
- public void testCurColData(OcrWordInfo ocrWordInfo) {
- // 遍歷當前列已存在的所有數(shù)據(jù)
- int size = this.test.getCol().size();
- if(size == 0) {
- this.test.addCol(ocrWordInfo);
- return;
- }
- for (int i = 0; i < size; i++) {
- OcrWordInfo temp = this.test.getCol().get(i);
- // 最右邊的數(shù)據(jù)
- int x1 = temp.getPos().get(1).getX();
- int x2 = temp.getPos().get(2).getX();
- // 當前數(shù)據(jù)最左邊
- int xx0 = ocrWordInfo.getPos().get(0).getX();
- int xx3 = ocrWordInfo.getPos().get(3).getX();
- int threholdx = this.test.param == null ? 0 : this.test.param.getCoverColXThrehold();
- if(xx0 >= (x1 - threholdx) && xx0 >= (x2 - threholdx) && xx3 >= (x1 - threholdx) && xx3 >= (x2 - threholdx)) {
- // 當前數(shù)據(jù)在右邊，說明換列了!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
- this.test.colAdd();
- this.test.addCol(ocrWordInfo);
- return;
- } else {
- // 判斷是否覆蓋坐標
- int y0 = temp.getPos().get(0).getY();
- int y3 = temp.getPos().get(3).getY();
- int yy0 = ocrWordInfo.getPos().get(0).getY();
- int yy3 = ocrWordInfo.getPos().get(3).getY();
- int threhold = (int)Math.round((y3 - y0) * (this.test.param == null ? 0.25 : this.test.param.getCoverThrehold()));
- if(!(yy3 <= (y0 + threhold) || yy0 >= (y3 - threhold))) {
- // 當前列表數(shù)據(jù)重疊，說明換列了!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
- this.test.colAdd();
- this.test.addCol(ocrWordInfo);
- return;
- }
- }
- }
- // 執(zhí)行到這說明沒覆蓋
- this.test.addCol(ocrWordInfo);
- }
3.4.3 解析行數(shù)據(jù)技巧
技巧總結(jié)：
1、俄羅斯方塊法提供去除干擾項的參數(shù)，可以根據(jù)圖片特點，去除上下左右干擾數(shù)據(jù)來減少串行列現(xiàn)象。
2、解析數(shù)據(jù)大致有兩種方法：
- 根據(jù)標題列號來判斷數(shù)據(jù)，這種方法不通用，簡單、規(guī)范的圖片識別率高，但是無法適配亂的圖。
- 把每一行數(shù)據(jù)以間隔符號分割拼到一起，使用正則表達式來‘扣’數(shù)據(jù)，因為一般同類型訂單圖片，關鍵字段的位置是有特點的，例如金額格式、借貸方向、日期等，這種方法通用，但識別率不高。
*具體使用哪種方法，還需要根據(jù)圖片特點進行取舍。
3、 俄羅斯方塊法提供一些微調(diào)參數(shù)，用于適配一些特殊場景，例如換行列閥值之類的。
4、中間需要保存一些過程圖片，例如矯正過程的若干張圖、俄羅斯方塊法識別結(jié)果的連線圖等，畢竟這種項目，查問題時靠日志是沒用的，還得靠這些中間圖才能更快查到問題。
四、總結(jié)
本文提到的方案不能完全解決所有訂單類圖片解析問題，但可以做到新手快速入門快速開發(fā)，如果您有更好思路歡迎交流。
【本文是51CTO專欄機構(gòu)宜信技術學院的原創(chuàng)文章，微信公眾號“宜信技術學院( id: CE_TECH)”】
