摘要： 為解決YOLO算法由于其端到端的網絡結構導致某些尺度上的特征被淡化或丟失使識別率較低的問題，本文以葡萄為例，對可訓練變換器和RdNet在果實識別網絡中的應用進行研究。提出基于可訓練變換器和多尺度特征圖融合的改進YOLO算法，以自主設計的基于堆疊殘差塊和降采樣塊的RdNet作為特征提取網絡，采用converter變換器結構進行不同尺度的特征變換融合，從采集并篩選的葡萄果園照片中，隨機選取120張作為測試集，將其余照片進行數據增強，得到480張圖片作為訓練集，并分別對提出的模型、YOLOv3和快速區域提出卷積神經網絡(faster region-convolutional neural networks，Faster R-CNN)三種算法進行訓練，使用其在測試集上的F1值與AP值評估各模型的性能差異。實驗結果表明，模型在測試集上的F1值可達9258%，AP值可達9233%，而在Nvidia Jetson TX2平臺上，檢測速度達到19 f/s，單張640×480圖片的推理時間為526 ms，達到了較理想的識別準確率，且能滿足采摘機器人的實時性要求。該研究在果園等場景中可以得到更好的應用效果。

　　關鍵詞： 卷積神經網絡; 葡萄; 目標檢測; 多尺度特征; YOLO

　　作者簡介： 崔翔宇

　　通信作者： 趙紅

　　我國是農業大國，有著上百萬平方公里的農業土地，但農場與果園卻面臨日益嚴重的勞動力短缺[1]。近年來，隨著農業信息化與機械化的不斷發展[2]，果實采摘機器人[35]成為未來農業發展的一項很重要的課題。我國的葡萄果園環境較復雜，葡萄密集程度高，葡萄采摘機器人對葡萄串做出精確識別與定位的算法提出了較高的要求。針對自然環境下的葡萄串識別問題，國內外學者陸續提出基于傳統機器視覺的識別方法。田銳等人[6]通過提取基于RGB空間的人工特征方法進行葡萄串識別;劉平等人[7]使用顏色空間中H分量提取輪廓與重疊邊界輪廓相融合的方法，這兩種方法對環境變化敏感，魯棒性較差;羅陸峰等人[8]通過對H分量模糊聚類，提取最大連通區域的方法進行葡萄識別。此外，大多數基于傳統視覺[913]的果實識別算法都存在對環境變化敏感、魯棒性差的問題。隨著計算機硬件算力的提升，傳統的視覺算法由于魯棒性差，精度低逐漸被基于深度學習算法所替代。R. Girshick等人[14]在CVPR2014上提出了R-CNN算法，并取得了較高的檢測精度，但由于其候選區的生成和對每個候選區的推理，導致其訓練復雜和運行緩慢，無法滿足實時應用的需求。而基于R-CNN提出的一系列改進算法[1516]，通過區域生成網絡(region proposal network，RPN)代替傳統的候選框生成方法，在速度上有了大幅提升，但在追求實時性場景下，有時仍無法滿足需求;2015年提出的YOLO算法[17]及其后來改進的算法[1819]，在保證較高精度的情況下，大幅提升檢測速度，但由于單階段算法結構的限制，仍不能很好的對不同尺度的特征進行提取融合。隨著基于深度學習目標檢測算法的興起，越來越多的學者將其應用到果園果實識別場景中，趙德安等人[20]直接使用YOLOv3算法進行復雜背景下的果園蘋果識別，但并未根據應用場景對算法做出具體的修改;王細萍等人[21]采用卷積神經網絡進行蘋果病害圖像的識別，但這種堆疊卷積層的方法不能很好利用多層特征的關聯信息;魏瑋等人[22]采用殘差網絡[23]通過跳躍連接降低冗余特征來提高檢測精度，并提高檢測速度，但這種方法同時也會導致部分特征信息的丟失;肖經緯等人[24]通過壓縮后的殘差網絡結構來提升檢測速度和精度，但仍會使模型的特征表達能力有所損失。因此，本文在YOLOv3算法框架基礎上，采用模塊化網絡結構[25]設計，對葡萄串的特性設計全新的特征提取網絡和損失函數，提出一種改進的葡萄串檢測算法。該算法將特征提取網絡得到的不同尺度的特征圖進行融合，增強模型的特征提取與處理能力，提高了模型的魯棒性，從而提升了對果園中葡萄串的檢測效果。

　　1網絡結構設計

　　本文提出的葡萄檢測算法由特征提取網絡、特征融合網絡及一些常用的后處理部分組成。其中，特征提取網絡RdNet由自主設計的基本殘差模塊和降采樣模塊堆疊組成，負責從輸入圖像中提取不同尺度的特征;特征融合網絡用于將不同尺度的特征圖進行融合，以得到包含更多特征信息的特征圖;后處理部分包括將特征轉換為預測值的預測層以及非極大值抑制等生成預測框的常用算法。

　　1.1特征提取網絡RdNet

　　為提高訓練精度及網絡質量，一般會采用堆疊的卷積層進行特征提取，但由于隨著卷積層層數的增加，會導致網絡訓練時出現梯度消失和梯度爆炸的問題。本文利用殘差網絡中使用跳遠連接來避免梯度爆炸或梯度消失的思想，通過重復堆疊自主設計的殘差模塊與降采樣模塊，設計了特征提取網絡RdNet，其網絡結構如圖1所示。輸入圖像通過殘差塊的卷積層進行特征提取，在幾個特定的位置使用降采樣模塊，對特征圖進行尺度變換，從而提取到不同尺度的特征。在每個殘差塊和降采樣塊輸出時，都使用LeakyReLU激活函數對特征激活。在特征提取網絡的后半部，提取出80×60，40×30，20×15三種尺度的特征圖route0、route1、route2，用于后續特征融合網絡進行多尺度特征圖融合。

　　網絡子模塊結構如圖2所示。由圖2a可以看出，本文以該殘差模塊作為特征提取網絡的基本單元，輸入特征在主路徑經過三層卷積進行特征提取，該過程只改變特征的通道數，而不改變特征的尺度大小。同時，在捷徑對輸入特征進行一次卷積，將其變換為與主路徑相同維度的輸出，從而將兩條路徑的輸出疊加再進行激活，得到殘差模塊的輸出。

　　推薦閱讀：機電工程技術征稿方向