基金項(xiàng)目：本項(xiàng)目由遼寧省大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練項(xiàng)目基金支持

新一代信息技術(shù)的發(fā)展加速了農(nóng)業(yè)生產(chǎn)的數(shù)字化、智能化發(fā)展，同時(shí)智慧農(nóng)業(yè)是中國(guó)“十四五”時(shí)期的重要發(fā)展方向。隨著人們對(duì)高品質(zhì)水果的需求越來(lái)越大，對(duì)于水果的分級(jí)也將成為水果產(chǎn)業(yè)中最重要的一環(huán)，而人工檢測(cè)常常存在效率低下且結(jié)果不準(zhǔn)確的現(xiàn)象，所以自動(dòng)檢測(cè)技術(shù)將得到大力發(fā)展。而無(wú)損檢測(cè)技術(shù)即可在不破壞農(nóng)產(chǎn)品本身的情況下對(duì)其質(zhì)量實(shí)現(xiàn)高效快速的檢測(cè)，因而無(wú)損檢測(cè)技術(shù)發(fā)展前景極為可觀^[1]。

本文基于RGB 彩色空間的圖像分割技術(shù)對(duì)圖像進(jìn)行二值化，通過(guò)閾值分割，確定香蕉表面需要被提取的像素的閾值后得到處理后的圖像，最后通過(guò)YOLOv5搭建模型計(jì)算出香蕉表面破損、發(fā)黑、腐爛的面積占比從而實(shí)現(xiàn)分級(jí)。

該技術(shù)可廣泛應(yīng)用于鮮果分級(jí)和水果加工中，將大大降低人力成本、提高生產(chǎn)效率，促進(jìn)我國(guó)水果產(chǎn)業(yè)工業(yè)化的發(fā)展，并帶動(dòng)香蕉加工企業(yè)的共同發(fā)展。

1 現(xiàn)狀分析

計(jì)算機(jī)視覺(jué)技術(shù)是近年高速發(fā)展的一種新型技術(shù)，其中包括圖像采集、識(shí)別、分析等功能，因其處理信息的綜合能力強(qiáng)和速度快，同時(shí)還能避免人為主觀因素對(duì)檢測(cè)結(jié)果產(chǎn)生偏差，所以目前在水果自動(dòng)分級(jí)中已被廣泛應(yīng)用^[2]。目前國(guó)外的普遍方法為通過(guò)HIS 彩色模型來(lái)實(shí)現(xiàn)分類檢測(cè)，成功率最高可達(dá)85.8%，目前我國(guó)水果的品質(zhì)檢測(cè)很大一部分依然是憑借分揀員直覺(jué)進(jìn)行，導(dǎo)致部分劣質(zhì)果流進(jìn)市場(chǎng)，直接影響了賣家的收入和買家的滿意度。雖然我國(guó)該技術(shù)起步較晚，但發(fā)展迅速，通過(guò)一種適當(dāng)?shù)念伾娣e累積百分比進(jìn)行分類，其準(zhǔn)確度最高可達(dá)88%。

雖然國(guó)內(nèi)外對(duì)該技術(shù)取得了一定的創(chuàng)新與進(jìn)步，但是該技術(shù)距離實(shí)現(xiàn)廣泛推廣還需要大量的技術(shù)積累，目前部分投入生產(chǎn)的大多是通過(guò)邊緣檢測(cè)和一些重力傳感器組成的系統(tǒng)，該系統(tǒng)大多只具備果實(shí)大小、質(zhì)量的識(shí)別，該方法并不能有效地實(shí)現(xiàn)準(zhǔn)確的分類。

2 系統(tǒng)設(shè)計(jì)

本文設(shè)計(jì)的識(shí)別方法基于香蕉表皮顏色特征，其核心為將新鮮區(qū)域與缺陷區(qū)域的顏色進(jìn)行對(duì)比，根據(jù)閾值分割出新鮮區(qū)域，其步驟如圖1 所示。

圖1 圖像分級(jí)步驟

2.1 圖像降噪

在實(shí)際檢測(cè)中，由于相機(jī)等硬件問(wèn)題和環(huán)境因素常常導(dǎo)致拍攝到的香蕉圖像包含大量的噪聲。所以在圖像分割前需要消除圖像中的無(wú)關(guān)噪聲，本文中采取均值濾波法，即將圖像區(qū)域中的像素點(diǎn)求平均值以達(dá)到降噪的效果，其數(shù)學(xué)表達(dá)式如式(1)所示，M 為所選取的橫坐標(biāo)數(shù)，N 為所選取的縱坐標(biāo)數(shù)，所選取的像素點(diǎn)必須包含于圖像面積內(nèi)，經(jīng)測(cè)試當(dāng)M 和N 選取3 時(shí)降噪效果最好，即選取3*3的濾波器。

   (1)

2.2 圖像分割

香蕉會(huì)隨著新鮮度的降低而導(dǎo)致顏色由黃色轉(zhuǎn)為黑色，所以在香蕉圖像中其新鮮區(qū)域與不新鮮區(qū)域顏色差別很大，所以可以通過(guò)提取香蕉圖像的顏色特征來(lái)區(qū)分新鮮區(qū)域和不新鮮區(qū)域，本文所用到的顏色模型為RGB模型，模型如圖2 所示。

圖2 RGB模型圖

圖像的閾值分割即通過(guò)設(shè)定閾值劃分不同的區(qū)域，設(shè)f (x, y)為圖像中坐標(biāo)為(x, y)的像素點(diǎn)的灰度級(jí)，閾值為j ，經(jīng)分割后圖像僅包含“0”和“1“兩個(gè)灰度級(jí)，稱為二值化圖像，其數(shù)學(xué)表達(dá)式滿足式（2）。

   (2)

常見(jiàn)的閾值分割方法中最小誤差法和最大熵法常常出現(xiàn)錯(cuò)誤的坐標(biāo)點(diǎn)，而Otsu 法則沒(méi)有^[3]，所以本文選用Otsu法。如圖3 所示，預(yù)處理分別對(duì)背景、新鮮區(qū)域、缺陷區(qū)域進(jìn)行了分割，二值化圖像中香蕉新鮮區(qū)域表現(xiàn)為白色，背景區(qū)域和缺陷區(qū)域表現(xiàn)為黑色。

圖3 圖像處理后對(duì)照?qǐng)D

2.3 視覺(jué)分級(jí)系統(tǒng)設(shè)計(jì)

本文最終設(shè)計(jì)了視覺(jué)分級(jí)系統(tǒng)用來(lái)驗(yàn)證結(jié)果，該系統(tǒng)以Jetson Nano 為GPU，并搭載一個(gè)可支持Linux操作系統(tǒng)深度相機(jī)作為圖像輸入設(shè)備，經(jīng)實(shí)際測(cè)試其彩色圖分辨率可達(dá)到1 280×720@30FPS、精度為(±1? 3)mm/m，可以達(dá)到實(shí)驗(yàn)所需標(biāo)準(zhǔn)，最后將結(jié)果顯示在顯示屏上，本實(shí)驗(yàn)硬件配置如表1 所示。

表1 系統(tǒng)硬件配置圖

YOLOv5是一種單階段目標(biāo)檢測(cè)算法，其相對(duì)與YOLOv4增加了自適應(yīng)錨框計(jì)算、自適應(yīng)圖片等縮放操作，從而使其速度和精度均得到了極大的提升。同時(shí)YOLOv5是·完全開(kāi)源的，首先將系統(tǒng)的Python更新到3.8 版本以上后配置Anaconda、Pytorch 的環(huán)境后即可安裝YOLOv5環(huán)境。視覺(jué)識(shí)別效果如圖4所示。

圖4 視覺(jué)識(shí)別效果圖

通過(guò)視覺(jué)識(shí)別后即可計(jì)算香蕉的等級(jí)，本文的分級(jí)方法為通過(guò)新鮮區(qū)域面積占比來(lái)劃分不同等級(jí)，即首先將圖片縮放到512?12來(lái)確定總面積 S，預(yù)處理后可計(jì)算出背景面積s1、新鮮面積s2、缺陷面積s3，二值化圖像中取出更為準(zhǔn)確的新鮮區(qū)域面積s′ ，其數(shù)學(xué)表達(dá)式如式（3）所示，分級(jí)標(biāo)準(zhǔn)如表2 所示。

             (3)

表2 香蕉分級(jí)標(biāo)準(zhǔn)

3 實(shí)驗(yàn)結(jié)果與分析

隨機(jī)選取100份樣品，每份樣品為三根香蕉，由于樣本獲取時(shí)基本都是新鮮的，為了使實(shí)驗(yàn)結(jié)果更加準(zhǔn)確將樣本靜置在常溫室內(nèi)不同天數(shù)后進(jìn)行測(cè)試，分別在第1、5、9 d進(jìn)行測(cè)試，總計(jì)測(cè)試300 次。測(cè)試時(shí)分別對(duì)樣本進(jìn)行人工分級(jí)和機(jī)器視覺(jué)分級(jí)并計(jì)算吻合度^[4]，其結(jié)果如表3所示。

表3 香蕉樣本分級(jí)結(jié)果

吻合度計(jì)算公式為：

         (4)

根據(jù)實(shí)驗(yàn)結(jié)果分析誤差主要來(lái)自于人工挑選可以在多位置進(jìn)行觀察并且手動(dòng)調(diào)整遮蓋區(qū)，而機(jī)器視覺(jué)分級(jí)時(shí)視角單一且無(wú)法檢測(cè)到香蕉之間互相遮蓋的部分，將雙方視角統(tǒng)一且禁止人工觸碰改變檢測(cè)目標(biāo)形態(tài)后重新測(cè)試，吻合度可達(dá)到97.35%。

4 結(jié)束語(yǔ)

本文提出了一種通過(guò)閾值分割對(duì)香蕉分級(jí)的方法，通過(guò)實(shí)驗(yàn)測(cè)試該方法與人工分級(jí)吻合度最高可達(dá)97.35%，且該系統(tǒng)效率遠(yuǎn)遠(yuǎn)高于人工，在成本方面同樣具有優(yōu)勢(shì)。但是由于香蕉之間不可避免地存在互相遮擋的現(xiàn)象，其對(duì)實(shí)驗(yàn)效果將產(chǎn)生巨大影響，為了彌補(bǔ)該不足需要對(duì)系統(tǒng)增加遮擋目標(biāo)檢測(cè)算法，目前主要采取的方法就是將區(qū)域卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到目標(biāo)檢測(cè)，但是當(dāng)前的檢測(cè)模型大多是針對(duì)特定場(chǎng)景或者特定目標(biāo)進(jìn)行訓(xùn)練，通用的目標(biāo)遮擋檢測(cè)研究還較少，但是通用目標(biāo)的檢測(cè)是真實(shí)環(huán)境中不可避免的，因此需要投入大量的研究^[5]。

基于視覺(jué)分級(jí)的系統(tǒng)具有識(shí)別速度快、精度高等優(yōu)點(diǎn)，是未來(lái)水果無(wú)傷識(shí)別的發(fā)展趨勢(shì)。該分級(jí)系統(tǒng)未來(lái)可廣泛適用于水果產(chǎn)業(yè)，不同水果只需要改變其閾值即可實(shí)現(xiàn)識(shí)別與分級(jí)，如水果分揀系統(tǒng)，通過(guò)傳送帶運(yùn)輸水果后進(jìn)行拍攝分級(jí)以此提高消費(fèi)者滿意度并實(shí)現(xiàn)水果價(jià)值最大化。

目前國(guó)內(nèi)機(jī)器視覺(jué)的研究依然處于起步階段，發(fā)展中的最大問(wèn)題就是像CCD、CMOS 等核心硬件都依賴于發(fā)達(dá)國(guó)家研發(fā)，國(guó)內(nèi)制造商處于代工環(huán)節(jié)。目前在已經(jīng)實(shí)現(xiàn)使用機(jī)器視覺(jué)分類甜椒^[6]和彩色制圖系統(tǒng)來(lái)評(píng)估西紅柿和棗的品質(zhì)^[7]，但大多仍處于實(shí)驗(yàn)室階段而未能投入到實(shí)際生產(chǎn)中，相信隨著中國(guó)電子工業(yè)的發(fā)展和人工智能算法的研究，未來(lái)在果實(shí)分級(jí)方面中國(guó)將實(shí)現(xiàn)重大突破。

參考文獻(xiàn)：

[1] 羅印斌,蔡艷麗,蘭菡,等.農(nóng)產(chǎn)品無(wú)損檢測(cè)方法應(yīng)用現(xiàn)狀[J].食品工業(yè)科技,2018,39(15):340-344.

[2] 楊再雄,吳戀,左建,等.基于人工智能的農(nóng)產(chǎn)水果分級(jí)檢測(cè)技術(shù)綜述[J].科技創(chuàng)新與應(yīng)用,2021,11(22):41-43.

[3] 邵志明,王懷彬,董志城,等.基于近紅外相機(jī)成像和閾值分割的蘋果早期損傷檢測(cè)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2021,52(S1):134-139.

[4] 安愛(ài)琴,余澤通,王宏強(qiáng).基于機(jī)器視覺(jué)的蘋果大小自動(dòng)分級(jí)方法[J].農(nóng)機(jī)化研究,2008,156(4):163-166.

[5] 孫方偉,李承陽(yáng),謝永強(qiáng),等.深度學(xué)習(xí)應(yīng)用于遮擋目標(biāo)檢測(cè)算法綜述[J].計(jì)算機(jī)科學(xué)與探索,2022,16(6):1243-1259.

[6] S.A.SHEARER, F.A.PAYNE. Color and defect sorting of bell peppers using machine vision.Transactions of theASAE,1990,33(6):2045-2050.

[7] D.J.LEE, J.K.ARCHIBALD, XIONG G M[J].Rapid color grading for fruit quality evaluation using direct color mapping. IEEE Trans.Autom.Sci.Eng,2011,8(2):292-302.

（本文來(lái)源于《電子產(chǎn)品世界》雜志2023年7月期）