面向真實世界的番茄植株葉片健康和果實監(jiān)測輕量算法研究

溫室內(nèi)果蔬生長過程的在線監(jiān)測是設(shè)施智能化生產(chǎn)的重要組成部分。然而，受設(shè)施環(huán)境下種植密度高、基礎(chǔ)設(shè)施遮擋和光線變化等復(fù)雜影響，以機器視覺為代表的AI技術(shù)無法對種植植株實現(xiàn)快速有效的評估，成為落地應(yīng)用難點。

2024年4月，Plant Phenomics在線發(fā)表了加拿大麥吉爾大學(xué)和江蘇省農(nóng)科院合作完成的題為Toward Real Scenery: A Lightweight Tomato Growth Inspection Algorithm for Leaf Disease Detection and Fruit Counting的研究論文。

本研究提出了一種可以同時集成番茄葉片監(jiān)測和果實跟蹤計數(shù)的算法，能夠部署在巡檢機器人實現(xiàn)植株生長的連續(xù)監(jiān)測。在這項研究中，研究人員首先采用帶有智能手機攝像頭的自主運動機器人來收集現(xiàn)實世界中溫室中葉病和果實的圖像。然后，通過整合 Ghost 和 CBAM 模塊改進了深度學(xué)習(xí)網(wǎng)絡(luò) YOLO-TGI，該模塊與 YOLOX 和 NanoDet 等頂級輕量級檢測模型一起進行了訓(xùn)練和測試，用于評估葉子健康狀況。
 

Fig. 1. The image acquisition process in a tomato field.

為了解決實時檢測時葉片對于果實的遮擋和果實追蹤的遺漏問題，論文改進了目標(biāo)檢測和重新追蹤識別的策略。具體的是，添加CBAM模塊賦予YOLO-TGI網(wǎng)絡(luò)自主聚焦和放大相關(guān)特征的能力。這種注意力驅(qū)動的方法提高了網(wǎng)絡(luò)識別和優(yōu)先考慮目標(biāo)關(guān)鍵方面的能力，即使在有障礙物的復(fù)雜視覺環(huán)境中也是如此。自適應(yīng)機制使YOLO-TGI能夠突出部分遮擋物體的關(guān)鍵特征，從而有效解決部分被樹葉遮擋的場景下的果實檢測問題。另外，為了與各種基礎(chǔ)檢測器級聯(lián)，作者集成了最先進的跟蹤器，例如 Byte-Track、Motpy 和 FairMot，以實現(xiàn)視頻流中的水果計數(shù)。
 

Fig. 6. Scattering plot of predictions and ground truth for various detector-trackers and instances of tracking failures.

本研究展示了最新的基礎(chǔ)檢測算法和追蹤算法集成后在真實世界的溫室種植場景的應(yīng)用潛力。作者提供了部分源碼，使得該類集成框架能夠推廣到廣泛種植的水果和蔬菜（如蘋果、橙子、葡萄和草莓）的類似監(jiān)測任務(wù)中。

論文鏈接：

https://doi.org/10.34133/plantphenomics.0174

——推薦閱讀——

A multi-target regression method to predict element concentrations in tomato leaves using hyperspectral imaging 

https://doi.org/10.34133/plantphenomics.0146‍

Plant Phenomics | 東京大學(xué)利用高光譜圖像預(yù)測番茄葉片中元素含量的多目標(biāo)回歸方法

Mitigating Illumination-, Leaf-, and View-Angle Dependencies in Hyperspectral Imaging Using Polarimetry 

https://doi.org/10.34133/plantphenomics.0157

Plant Phenomics | 利用偏振測量法減輕高光譜成像中的光照、葉片和視角依賴性

加入作者交流群

掃碼添加小編微信，拉您進入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開展作者分享會、�？�發(fā)布會等高質(zhì)量活動。

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics

《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國科學(xué)促進會（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點領(lǐng)域具有突破性科研進展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫收錄。科睿唯安JCR2022影響因子為6.5，位于農(nóng)藝學(xué)、植物科學(xué)、遙感一區(qū)。2023年中科院期刊分區(qū)位于農(nóng)林科學(xué)大類一區(qū)。2020年入選中國科技期刊卓越行動計劃高起點新刊項目、2024年入選江蘇科技期刊卓越行動計劃領(lǐng)軍期刊項目。

說明：本文由《植物表型組學(xué)》編輯部負責(zé)組稿。
中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。
排版：陳思潔（昆山杜克大學(xué)）
審核：孔敏、王平