超市對提供準確的重量、尺寸、形狀和質(zhì)量的產(chǎn)品需求正日益增長。為滿足這些需求，自動收割系統(tǒng)必須檢查如土豆、胡蘿卜和西蘭花等產(chǎn)品以上的特征，以及任何缺陷和疾病的表征。

　　目前，許多收割方法都是人工完成的。然而，因為超市可能只需要特定重量的產(chǎn)品，收集大量農(nóng)作物再分類區(qū)分出哪些是適合銷售的產(chǎn)品，可能會造成浪費。

　　為克服這個問題，分類任務可以在田間進行，以便在收割之前對產(chǎn)品進行分級，從而提高良率。


　　利用3D激光掃描儀、機器人、圖像處理技術和深度學習軟件的結合，Capture Automation公司正在開發(fā)西蘭花球的自動收割系統(tǒng)

　　開發(fā)用于檢測、識別和測量此類產(chǎn)品的算法是復雜的。通常，使用基于邊緣的檢測方法時，產(chǎn)品必須位于圖像中。在不同的環(huán)境照明條件下，陰影效應會導致2D方法的失敗。然而，通過3D成像，產(chǎn)品的邊緣是在體積表示中定義的，這樣就不需要照明，可以根據(jù)形狀和大小挑選如生菜或西蘭花球等蔬菜。

　　由于2D系統(tǒng)被校準到一個特定的平面上，產(chǎn)品的高度不同使得用于這樣的任務的2D圖像處理系統(tǒng)更加復雜。然而，通過預先校準的3D成像系統(tǒng)，可以對產(chǎn)品的角度和傾斜進行分析，以便在產(chǎn)品被拾取之前，機器人可以被輸入正確的角坐標，這樣產(chǎn)品不會受到損壞。

　　從Gocator高度圖形式生成的數(shù)據(jù)產(chǎn)生的灰度圖像（左）在像素數(shù)據(jù)越小的情況下，西蘭花球就越靠近攝像頭，反之亦然

　　目前，該3D自動收割系統(tǒng)正被Capture Automation公司（位于英國東薩塞克斯郡赫福市）開發(fā)。該公司利用3D激光掃描儀、機器人、圖像處理技術和深度學習軟件，正在開發(fā)一個西蘭花球的自動收割系統(tǒng)。

　　3D激光掃描儀的優(yōu)點之一是它們可以被連續(xù)地用來捕捉可以在傳輸過程中的圖像。使用安裝在拖拉機上的編碼器，位置坐標可以發(fā)送給機器人，追蹤在機器人頭下移動的產(chǎn)品，然后拾取它們。為了從移動系統(tǒng)獲得如此精確的信息，必須使用精確的編碼器。在該系統(tǒng)的第一個原型機中，一個旋轉(zhuǎn)編碼器輪被裝在拖拉機的前部。

　　不幸的是，這種旋轉(zhuǎn)編碼器輪在雨天可能打滑，使系統(tǒng)的校準失效。為克服這個問題，一種基于防滑釘?shù)木幋a器被開發(fā)用來提供更精確的位置信息。

　　然后，收割機可以根據(jù)不同的重量和大小選擇不同類型的西蘭花球，并將不同的花球放在不同的箱子里。該系統(tǒng)還可以報告哪些花球可能還留在地上，或可能適合后來采摘。雖然種植西蘭花要花費好幾個月的時間，但有一個成熟或過熟的大約3天的時間窗口，所以收集這樣的數(shù)據(jù)是很重要的。

　　機器收割機進行3D掃描，是將LMI Technologies公司（位于加拿大哥倫比亞省本那比市）的Gocator掃描儀安裝在拖拉機前面，并連接到PC主機。這種掃描儀的一個優(yōu)點是多個掃描儀可以同時使用，用于覆蓋廣闊的視野。

　　與定制激光/相機三角系統(tǒng)需要校準以確保正確的測量相比，Gocator掃描儀的預校準允許系統(tǒng)立即提供毫米級精度的測量。Gocator掃描儀在拖拉機上以毫米/秒的速度快速運行，使用來自編碼器提供的信息數(shù)據(jù)，允許捕捉的成像數(shù)據(jù)用于測量農(nóng)作物的大小，并向機器人提供正確的位置和深度信息，以跟蹤每一個西蘭花球，并在正確的時間采摘。

　　使用如Genicam傳輸層等標準的軟件圖像流是有益的，因為它提供了選擇軟件進行圖像分析的靈活性。在圖像被捕捉后，Teledyne DALSA公司（位于加拿大滑鐵盧市）的Sherlock軟件進行2D和3D圖像處理。為檢測西蘭花球，自定義算法被用作Sherlock軟件的插件。

　　從Gocator高度圖生成的數(shù)據(jù)產(chǎn)成的灰度圖像，像素數(shù)據(jù)越小，西蘭花球越接近攝像頭，反之亦然。使用2D算法減少一些縮放會導致西蘭花球的大小類似。因此，為了分類的目的，沒有必要使用過大或過小的西蘭花球進行修正，因為在這種情況下，樹葉或雜草可能被檢測到，錯誤率會增加。

　　有了這樣的收割系統(tǒng)，由于分類需要快速執(zhí)行，需要快速的圖像處理。例如，在一個拖拉機上，如果操作者不完全直線行駛，攝像機會在某一位置識別西蘭花頭，但當機器人頭部到達西蘭花球時，采摘臂就會不在適當?shù)奈恢谩?br />
　　利用2D圖像處理算法，可以識別西蘭花球，然后3D算法可以識別西蘭花球的中心。要辨識出這些西蘭花球，深度學習技術使用Polimago模式匹配工具進行應用，是來自Stemmer Imaging（位于德國普赫海姆市）的Common VisionBlox（CVB）軟件的一部分。

　　通常，自動收割如西蘭花等有機產(chǎn)品是困難的。有了計算機視覺，許多不同的變量必須被修正并加入到系統(tǒng)中，例如形狀和口感不同的特大或特小西蘭花球。

　　由于每一個西蘭花球看起來稍有不同，系統(tǒng)需要經(jīng)過修正，以確定它們到底是完美的圓形還是形狀稍許不完美的。這種圖像識別的最大挑戰(zhàn)之一是將西蘭花球與葉子分開，因為葉子通常會與西蘭花的頭部混合在一起。因此，必須使用許多不同的圖像來修正該系統(tǒng)，這一過程包括基于系統(tǒng)的拖拉機在田間識別不同類型的西蘭花球的生長過程。

　　一旦系統(tǒng)確定了西蘭花球，它需要按大小分級。不幸的是，這不是一件容易的事，因為西蘭花球可能部分被葉子覆蓋，因此葉子需要從西蘭花球分離出來。利用3D成像，紋理分割可以將葉子與西蘭花球分離開來，其結果是僅包含西蘭花球數(shù)據(jù)的圖像，以便可以測量其直徑。

　　使用PC上的圖形用戶界面（GUI），操作者可以選擇哪個尺寸的西蘭花球被挑選出來。在西蘭花球被正確辨識出后，他們的位置信息被從拖拉機上的PC發(fā)送到安裝有定制采摘頭的Fanuc機器人（位于日本忍野市）。那些未被選中的西蘭花球可以被識別和標記，以便今后分析。