采摘機器人分割與識別算法的研究現(xiàn)狀

　　摘要：針對人工采摘效率低、成本高且勞動力缺乏的問題，利用采摘機器人實現(xiàn)果實的自動化采摘日益成為研究的熱點。視覺識別作為采摘機器人的關(guān)鍵技術(shù)之一，其發(fā)展對實現(xiàn)自動化采摘具有重要意義。采摘環(huán)境的復(fù)雜性為機器人正確識別目標(biāo)帶來了困難，使得目前的識別算法研究仍面臨著較大的挑戰(zhàn)。本文闡述了常見的幾種目標(biāo)分割識別算法，并將其歸納為基于特征、像素和深度學(xué)習(xí)的三類識別方法，綜述了國內(nèi)外學(xué)者在采摘機器人識別目標(biāo)時應(yīng)用到的分割和識別算法，并對目前存在的問題進行總結(jié)，同時對今后的研究趨勢進行展望，以期為采摘機器人的研究設(shè)計提供參考。

　　李天華; 孫萌; 婁偉; 張觀山; 李玉華; 李欽正， 山東農(nóng)業(yè)科學(xué) 發(fā)表時間：2021-10-15

　　關(guān)鍵詞：采摘機器人;分割算法;識別算法

　　采摘是果蔬生產(chǎn)的重要環(huán)節(jié)之一，需要消耗大量的人力、物力。隨著生活水平的提高，人們對果蔬的需求量逐年上升，而與之相對的是勞動力嚴(yán)重缺乏的問題。根據(jù)測算，我國自 2000 年開始逐漸進入人口老齡化階段，老齡化趨勢日益嚴(yán)重，預(yù)計到 2025 年人口老齡化率達到 14%，進入深度老齡化社會階段，到 2035 年達到 21%，進入超級老齡化社會階段[1];另外，隨著農(nóng)村人口逐漸向城市流動等問題，農(nóng)村勞動力流失嚴(yán)重，勞動成本不斷提高。因此，實現(xiàn)智能化采摘對于我國果蔬產(chǎn)業(yè)可持續(xù)發(fā)展尤為迫切，采摘機器人的研發(fā)成為當(dāng)前研究的熱點。對于采摘機器人來說，要準(zhǔn)確高效地完成目標(biāo)果實的采摘，識別是關(guān)鍵，直接影響采摘的效率和精度。

　　人類對于采摘機器人識別技術(shù)的研究從很早就已經(jīng)開始了，1968 年 Schertz 和 Brown[2]就將機器視覺引入到了果實的識別中，1977 年 Parrish 等[3]建立了第一個用于識別蘋果的視覺系統(tǒng)。近年來有關(guān)分割識別算法的研究也有很多，這對于提升采摘機器人的識別準(zhǔn)確性具有重要意義。但實際生產(chǎn)應(yīng)用的采摘環(huán)境復(fù)雜，影響識別準(zhǔn)確性的因素較多，如何精準(zhǔn)識別目標(biāo)果實仍是目前亟待解決的問題，這使得采摘機器人仍難以廣泛應(yīng)用到實際采摘中。本文綜述了近年來用于采摘機器人的識別分割算法，分析了目前仍面臨的問題與挑戰(zhàn)，并對未來分割識別算法的發(fā)展趨勢進行了展望。

　　1 基于特征的識別

　　通常我們在分辨一個物體是不是需要的目標(biāo)時，先會利用其顏色、形狀以及紋理等特征進行直觀判斷。因此，在設(shè)計采摘機器人對目標(biāo)進行識別時，最直接的方式就是對目標(biāo)特征進行匹配，其中最常用的是基于顏色和形狀特征的分割識別算法。

　　1.1 基于顏色特征的分割識別算法

　　如果目標(biāo)果實自身的顏色與背景相差較大，顏色就是區(qū)分目標(biāo)與復(fù)雜自然背景最突出的特征之一，利用該特征，選用合適的顏色空間，就可從圖像中提取出目標(biāo)果實區(qū)域。

　　常用的基礎(chǔ)顏色空間有 RGB、HIS、Lab、YIQ、YUV、HSV 等，選擇或構(gòu)造能使目標(biāo)果實與背景顏色差異明顯的顏色通道，就可以有效地分割出圖像中的目標(biāo)果實區(qū)域[4]。如 Thendral 等[5]基于 YIQ、Lab 等顏色空間對目標(biāo)果實進行了分割與識別;Feng 等[6]基于 HIS 顏色空間對圖像進行了識別;王曉楠等[7]基于 HIS 色彩模型對圖像進行了分割識別;Malik 等[8]基于改進的 HSV 將紅色番茄從背景中識別出來;Ling 等[9]通過對 RGB 圖像進行顏色分析，結(jié)合分類器實現(xiàn)了番茄的檢測識別。

　　由于基礎(chǔ)的顏色空間對某些目標(biāo)的識別效果會受到光照環(huán)境的影響，為了降低這種影響，改善識別效果，有些學(xué)者通過對顏色通道進行加權(quán)運算或組合等處理，突出需要識別的目標(biāo)，從而提高識別精度。如 Zhou 等[10] 提出了一種基于色差 R-B 和 G-R 的蘋果識別算法，用 R-B>40 識別偏綠的蘋果，R-G>0 識別紅色的蘋果;麥春艷等[11]利用色差 R-G 將目標(biāo)蘋果圖像從背景中識別出來;董建民等[12]通過融合 HSI 顏色空間和 Lab 顏色空間的分割結(jié)果完成對番茄的識別。

　　通過顏色特征直接分割識別自身顏色與背景差異較大的目標(biāo)果實，只需按照基礎(chǔ)顏色空間中的顏色通道進行分割，不需要經(jīng)過建模等過程就可以達到較好識別效果，具有運行速度快、準(zhǔn)確度較高、實時性較高等特點。而對于一些在單一基礎(chǔ)顏色空間中無法達到較好識別效果的目標(biāo)，可以通過對顏色通道進行組合等處理獲得較好地識別效果，但不同顏色通道的組合過程比較困難，且適用的目標(biāo)有限。

　　1.2 基于形狀特征的分割識別算法

　　形狀也是識別分割果實的重要特征性狀，因此利用形狀特征對采摘目標(biāo)進行識別分割可行。常用的分割識別算法有三種：基于曲率的算法、基于邊緣信息的邊緣檢測、基于任意規(guī)則幾何形狀的霍夫變換。

　　對于輪廓為弧形的果實，如柑橘、番茄等，可以通過曲率信息或直接利用圓形特征對目標(biāo)進行識別。Xiang 等[13]基于邊緣曲率分析與圓回歸相結(jié)合的方法實現(xiàn)了對相互粘附的番茄的識別。Si 等[14]基于隨機環(huán)法(RRM)從輪廓圖像中提取果形特征。孫建桐等[15]以串收番茄為研究對象，在圖像預(yù)處理的基礎(chǔ)上，提出一種基于幾何形態(tài)學(xué)和迭代隨機圓相結(jié)合的目標(biāo)提取算法。劉妤等[16]通過一種基于輪廓曲率和距離分析的分割方法，實現(xiàn)了重疊柑橘的識別。

　　當(dāng)目標(biāo)與背景的亮度差異較明顯時，邊緣信息也可作為圖像分割識別的基本特征之一。常用的邊緣檢測算子主要有 Canny 算子、Prewitt 算子等[4]。Fu 等[17]采用 Canny 算子等傳統(tǒng)的圖像處理方法實現(xiàn)了目標(biāo)果實的檢測。劉現(xiàn)等[18]基于 Canny 邊緣算子對福橘進行檢測，提升了福橘智能分選的效率。陳禮鵬等[19]通過對去除了小面積區(qū)域后的圖像進行 Prewitt 算子邊緣檢測，完成了對多目標(biāo)獼猴桃果實的識別分割。

　　此外，對于規(guī)則幾何形狀果實還有一種常用的算法——霍夫變換檢測，其通過線條特征來判別形狀的種類，可檢測任意給定的幾何形狀，通常與邊緣檢測算子一起使用。周文靜等[20]利用圓形 Hough 變換(CHT)對葡萄果粒進行了識別;Gongal 等[21]使用圓形 Hough 變換對圖像中的蘋果目標(biāo)進行了分割識別。當(dāng)采摘點為果實的果梗部分時，霍夫變換也可用來定位采摘點。如熊俊濤等[22]利用霍夫直線擬合結(jié)合角度約束法找到主穗梗所對應(yīng)的直線，并將直線的中點確認(rèn)為采摘點，實現(xiàn)了擾動葡萄采摘點的定位。

　　基于果實形狀特征的分割識別算法應(yīng)用廣泛，此處比較了三類常用算法的優(yōu)缺點，如表 1 所示。

　　2 基于像素的識別

　　基于像素對圖像進行處理也可以實現(xiàn)對目標(biāo)物的分割識別。一般需將采集的原始圖轉(zhuǎn)換成灰度圖，即對像素值進行 0 或 1 轉(zhuǎn)換形成二值化圖像，此時的灰度值即為像素值。常用的基于像素的分割識別方法有閾值分割法、區(qū)域生長法以及歸一化識別算法。

　　2.1 基于閾值的分割識別算法

　　對于目標(biāo)和背景占據(jù)不同灰度級范圍的圖像，可以使用閾值分割算法，包括固定閾值分割和動態(tài)閾值分割兩種方法。閾值分割只適用于灰度圖，因此需要先對采集的圖像進行灰度處理。Xu 等[23]利用 HSV 顏色信息識別目標(biāo)草莓，并通過固定閾值實現(xiàn)了草莓圖像的分割。

　　動態(tài)閾值分割法中最常用的是最大類間方差算法(Otsu)，其通過計算方差尋找灰度級，將圖像分成兩個部分，使得同部分間的灰度值差異最小，而不同部分間的灰度值差異最大，從而實現(xiàn)目標(biāo)的分割。Lü 等[24]利用 Otsu 對蘋果圖像進行了分割識別。Dai 等[25]在進行了 2R-GB 色差法灰度值變換后，采用自適應(yīng)閾值 Otsu 算法對圖像進行了分割。梁喜鳳等[26]通過對 R-G 直方圖采用 Otsu 進行動態(tài)閾值分割，實現(xiàn)了對目標(biāo)果實串的分割。王冰心等[27]通過Otsu動態(tài)閾值分割法對果實簇區(qū)域進行了分割識別。齊銳麗等[28]通過HSV空間的H分量與改進的Otsu 算法相結(jié)合的方式，實現(xiàn)了花椒圖像的分割。

　　固定閾值分割算法的處理速度快，實時性較好，但其對于光照變化的適應(yīng)能力有限，而大多數(shù)采摘機器人的工作環(huán)境較為復(fù)雜，外界光照條件變化較多，因此固定閾值算法的分割效果往往欠佳。而動態(tài)閾值分割法的閾值是通過計算得出的，會隨著光照的變換而動態(tài)計算合適的閾值，受亮度等的影響較小，適用范圍更加廣泛。張日升等[29]在利用閾值分割法對滸苔進行識別時發(fā)現(xiàn)，固定閾值法的分割精度較低，而 Otsu 的分割效果較好(圖 1)。

　　2.2 基于歸一化法的識別算法

　　歸一化互相關(guān)匹配(NCC)是基于灰度特征的匹配方法中比較經(jīng)典的算法，其基本原理是將模板圖像與待搜索圖像的灰度矩陣進行比較，得到相關(guān)性最高的匹配位置。歸一化互相關(guān)匹配算法具有較好的魯棒性和很高的匹配精度，但是計算量很大，不能滿足實時性要求較高的系統(tǒng)[30]。因此在實際應(yīng)用于采摘機器人時，通常要根據(jù)采摘需求對 NCC 進行改進。趙德安等[31]通過對圖像進行快速歸一化匹配，實現(xiàn)了對重疊果實的跟蹤識別。 Li 等[32]利用基于快速歸一化互相關(guān)的方法，利用室外采集的彩色圖像對未成熟的綠色柑橘進行了識別。李寒等 [33]利用快速歸一化互相關(guān)函數(shù)算法對綠熟番茄果實的潛在區(qū)域進行檢測，實現(xiàn)了對目標(biāo)果實的識別。呂繼東等 [34-35]采用 Fast Inverse Square Root 算法和快速哈特萊變換對去均值的歸一化相關(guān)匹配算法進行加速優(yōu)化，并用于識別目標(biāo)果實，減少了振蕩果實動態(tài)識別的匹配識別時間。

　　改進后的歸一化算法運行速度有所提高，而且對于采集目標(biāo)發(fā)生的較小的移動或旋轉(zhuǎn)，以及光照變化帶來的色差等問題適應(yīng)能力較強，通常用于振蕩幅度較小時的目標(biāo)果實識別。

　　2.3 基于區(qū)域生長的分割識別算法

　　區(qū)域生長法是基于像素進行處理的方法，通過將具有相似屬性如強度、灰度級、紋理顏色等的相鄰像素合并到同一區(qū)域，實現(xiàn)成組像素或區(qū)域的增長，從而完成目標(biāo)的識別。Tao 等[36]將區(qū)域生長方法與 RGB 顏色相結(jié)合，實現(xiàn)了目標(biāo)蘋果從背景中的識別。滕大偉等[37]把圖像用 G-B 顏色因子處理后，結(jié)合區(qū)域生長算法實現(xiàn)了圖像的分割。盧夏衍等[38]通過多算法混合的區(qū)域生長算法實現(xiàn)了溫室幼苗圖像的分割。Sun 等[39]使用區(qū)域生長法對葉子病變的區(qū)域進行了分割。

　　區(qū)域生長法能將具有相同特征的聯(lián)通區(qū)域分割出來，可以提供很好的邊界信息和分割結(jié)果。但計算較為復(fù)雜，實時性較差，而且對于陰影、光斑處的分割識別效果不是很好。因此，基于區(qū)域生長法的不足，有的學(xué)者對其進行了改進，以改善分割識別的效果。韓紀(jì)普等[40]基于超像素對區(qū)域生長算法進行了改進，使其能夠在一定程度上解決分割空洞等問題。

　　3 基于機器學(xué)習(xí)的識別

　　機器學(xué)習(xí)作為實現(xiàn)智能化的關(guān)鍵技術(shù)之一，近年來被廣泛應(yīng)用于采摘機器人的視覺識別中，可分為無監(jiān)督學(xué)習(xí)和有監(jiān)督學(xué)習(xí)。機器學(xué)習(xí)在采摘機器人中較常應(yīng)用的方法是聚類和深度學(xué)習(xí)。

　　3.1 基于聚類的分割識別算法

　　聚類是一種無監(jiān)督學(xué)習(xí)方式，只需要通過計算相似度把相似的東西分為一類，而不需要具體分析這一類是什么，通常不需要使用訓(xùn)練數(shù)據(jù)進行學(xué)習(xí)。根據(jù)聚類方式的不同，產(chǎn)生了許多聚類算法，本文對較常用的 K 均值聚類(K-means)和模糊 C 均值聚類(FCM)進行闡述。

　　K-means 是基于劃分的聚類方式，通過選擇 K 個點作為初始中心點，然后對其他點進行迭代重置，最后劃分成幾類，使得類內(nèi)的點都足夠近，類間的點都足夠遠，最終實現(xiàn)識別。Jiao[41]與吳雪梅[42]等通過對 Lab 顏色空間處理后的圖像進行 K-means 聚類，分別實現(xiàn)了目標(biāo)蘋果與茶葉嫩芽的分割識別。羅陸鋒等[43]利用 HSV 顏色空間和改進的 K-means 聚類方法，對葡萄圖像進行了分割。楊帆等[44]將 K-means 聚類算法與 Canny 邊緣檢測算法相結(jié)合，實現(xiàn)了遮擋或重疊橘子的分割識別。Niu 等[45]將 K-means 聚類算法與凸殼理論相結(jié)合，實現(xiàn)了對目標(biāo)蘋果的分割識別。

　　FCM 是一種基于模糊的聚類方式，通過判斷每個點的隸屬度來進行聚類。王富春等[46]提出了一種基于模糊 C 均值聚類算法(FCM)的識別目標(biāo)的方法，通過利用 FCM 對圖像進行模糊聚類，并對聚類后的果實圖像與丟失的部分目標(biāo)圖像進行相加，完成了番茄的識別分割。熊俊濤等利用 FCM 算法分別與一維隨機信號直方圖分析法 [47]、Hough 變化直線擬合[48]以及 Otsu[49-50]相結(jié)合，實現(xiàn)了荔枝果實的分割與識別。Yang 等[51]基于 HSV 色彩空間結(jié)合基于 S 分量的快速模糊 C 均值(FCM)算法，將白菊花從背景中分割識別出來。

　　分別用 K-means 與 FCM 算法對同一張圖片進行處理，其顯示的二值化圖像如圖 2 所示，同時發(fā)現(xiàn) K-means 處理時間相較于 FCM 更快一些。通過對兩種聚類方法優(yōu)缺點的比較(表 2)，可以看出 K-means 聚類處理數(shù)據(jù)的速度快，在圖像識別過程中有較好的實時性，但其抗干擾能力較差，且對于 K 值的選取較為困難;而 FCM 識別的結(jié)果更加合理，但計算量較大，識別速度不如 K-means 聚類快。

　　3.2 基于深度學(xué)習(xí)的分割識別算法

　　深度學(xué)習(xí)作為近些年快速發(fā)展的技術(shù)，逐漸被廣泛應(yīng)用于采摘機器人識別分割圖像，其主要通過神經(jīng)網(wǎng)絡(luò)對大量目標(biāo)圖像的數(shù)據(jù)集進行訓(xùn)練，從而實現(xiàn)目標(biāo)果實的識別分割。用于圖像識別的神經(jīng)網(wǎng)絡(luò)有很多，其中最常用的是 YOLO 系列和 R-CNN 及其衍生網(wǎng)絡(luò)。閆建偉等[52]提出了一種基于 Faster RCNN 改進的網(wǎng)絡(luò)，實現(xiàn)了自然環(huán)境下刺梨果實的識別。張袁熙[53]利用 Mask-RCNN 與 Kinect V2 相機實現(xiàn)了果園中蘋果的分割識別。趙德安等[54]用 YOLO v3 神經(jīng)網(wǎng)絡(luò)實現(xiàn)了復(fù)雜環(huán)境下蘋果的識別。熊俊濤等[55]基于改進的 YOLO v3 網(wǎng)絡(luò)對夜間自然環(huán)境下成熟的柑橘進行了識別。閆建偉等[56]采用帶有殘差模塊的 YOLO v3 神經(jīng)網(wǎng)絡(luò)對刺梨果實進行了識別。

　　基于深度學(xué)習(xí)的分割識別算法具有較好的識別效果，但為了提升其識別的性能，大多數(shù)網(wǎng)絡(luò)的結(jié)構(gòu)都比較復(fù)雜，且不同的網(wǎng)絡(luò)在速度或精度上都有不同的優(yōu)勢和不足。本文對果實采摘中最常用的兩種網(wǎng)絡(luò)及其部分衍生網(wǎng)絡(luò)進行對比發(fā)現(xiàn)(表 3)，識別精度較好的網(wǎng)絡(luò)，如 R-CNN 系列的 two-stage 網(wǎng)絡(luò)，檢測速度通常較低，在實際應(yīng)用中的實時性有所欠缺;而對于 YOLO 系列的 one-stage 網(wǎng)絡(luò)，其識別速度較快，實時性較好，但在識別精度方面相較于前者還有所不足。

　　4 存在問題及展望

　　4.1 存在問題

　　4.1.1 光照影響 光照的變化可能會引起果實表面顏色產(chǎn)生色差，而對于生長周期相近的果實，其顏色本就比較相近，若僅通過顏色進行分割識別，容易產(chǎn)生誤差。番茄完全成熟時，其表面呈正紅色，而在半成熟尚未達到完全成熟時，其表面為橘色，如圖 3a;而在光照條件的影響下，部分完全成熟的番茄也會呈現(xiàn)出橘色，如圖 3b，從而引起識別錯誤。

　　當(dāng)順光或者夜間加光源采摘時表面具有果臘的果實，如蘋果、柑橘等，由于光照的影響，易在果實表面形成光斑，如圖 4 所示，使其在進行圖像分割時會出現(xiàn)孔洞等干擾，進而產(chǎn)生識別誤差。

　　雖然目前針對這些問題都有相應(yīng)的算法改進，但其識別分割的效果仍需進一步提高。

　　4.1.2 遮擋或重疊 在自然條件下，果實的生長不會全部顯露在最明顯的外部，因此，識別果實還面臨著果實遮擋或重疊的問題。目標(biāo)果實可能會面臨枝蔓、樹葉和其他果實的遮擋，而且大多數(shù)情況下是多種遮擋共同存在的情況，如圖 5，這些都會給識別帶來一定困難。這種情況下，無論是基于顏色還是基于形狀對果實進行識別，可能都無法達到理想的效果。目前對被遮擋或者重疊的果實進行識別，采用的大多是多種算法相結(jié)合的方式，可在一定程度上解決遮擋或重疊面積較小的果實的識別，但對于遮擋或重疊面積較大的果實仍未找到有效的識別算法。

　　4.1.3 振蕩 在自然采摘條件下，果實一般不會處于完全靜止的狀態(tài)，風(fēng)力、鳥類或進行采摘動作時，都會使果實發(fā)生或大或小的振蕩。這時采摘機器人若采集圖像，就可能會出現(xiàn)圖像模糊、噪聲大等情況，從而影響進一步的分割識別。對于振蕩果實的識別，除了對算法進行優(yōu)化外，對相機性能的要求也較高，今后仍需進行改進。

　　4.2 趨勢展望

　　由于田間環(huán)境的復(fù)雜多樣性，單種分割識別算法的識別效果大多遠遠達不到實際需求，如：只基于顏色特征的識別方法容易受到光照影響，僅通過形狀進行識別會因遮擋或重疊而產(chǎn)生錯誤等，因此基于多種物體特征或者采用多種分割識別算法組合對圖像進行處理，可在一定程度上改善識別效果，提高識別準(zhǔn)確度。但采用組合算法時，需要進行多方面考慮，以減少方法組合可能帶來的識別效率低等問題。

　　對于被遮擋的果實，一方面隨著深度學(xué)習(xí)在采摘識別中的應(yīng)用逐漸增加，經(jīng)過大量的數(shù)據(jù)訓(xùn)練后，深度神經(jīng)網(wǎng)絡(luò)對于被遮擋果實的識別準(zhǔn)確度已有所提高。隨著深度神經(jīng)網(wǎng)絡(luò)的不斷改進和算法的進一步優(yōu)化，其識別效果將會進一步提高。另一方面還可以通過運行設(shè)備從多角度采集圖像，使得被擋住的果實能夠在其他角度下遮擋減少或完整呈現(xiàn)，從而達到識別的目的。

　　5 總結(jié)

　　分割和識別算法作為識別過程中不可或缺的一部分，其優(yōu)化情況直接關(guān)系到識別的效果。隨著學(xué)者們研究時考慮到的影響因素愈發(fā)全面以及對多種算法進行組合嘗試，識別特定目標(biāo)的效果也在逐漸提升，尤其是基于特征和像素識別方式的組合，在一定程度上提高了重疊或光照影響下的目標(biāo)識別精度。而且隨著智能化技術(shù)的飛速發(fā)展，具有學(xué)習(xí)能力的神經(jīng)網(wǎng)絡(luò)越來越多地被應(yīng)用于識別采摘，由一開始的 CNN 網(wǎng)絡(luò)發(fā)展到如今的 YOLO 等，基于深度學(xué)習(xí)的分割識別算法逐漸趨于成熟。雖然到目前為止，對于基礎(chǔ)神經(jīng)網(wǎng)絡(luò)的識別還無法兼顧精度和速度，但對網(wǎng)絡(luò)的改進或者新網(wǎng)絡(luò)的推出都將使識別性能在某方面有進一步的提升。

　　分割和識別算法還有很多，本文僅針對采摘機器人最常用的幾種方式進行分類匯總，而且目前關(guān)于光照影響、遮擋重疊以及振蕩果實的識別效果仍待提高，相信隨著已有算法的不斷改進和新算法的提出，這些問題將會逐漸被解決，識別效果將會越來越好，采摘機器人在田間的廣泛應(yīng)用將指日可待。