基于密度互斥的田間葡萄果實(shí)半監(jiān)督計(jì)數(shù)研究

Plant Phenomics | 武漢工程大學(xué)基于密度互斥的田間葡萄果實(shí)半監(jiān)督計(jì)數(shù)

葡萄是一種重要的農(nóng)產(chǎn)品，葡萄漿果的計(jì)數(shù)對(duì)于葡萄種植和農(nóng)業(yè)管理具有重要意義。傳統(tǒng)的計(jì)數(shù)方法通常需要大量的人力和時(shí)間，而且容易受到主觀因素的影響。因此，研究人員傾向于使用計(jì)算機(jī)視覺和圖像處理技術(shù)來解決這個(gè)問題。半監(jiān)督學(xué)習(xí)方法可以更好地利用有標(biāo)簽和無標(biāo)簽的圖像數(shù)據(jù)，降低了數(shù)據(jù)標(biāo)注的成本。本研究旨在開發(fā)一種半監(jiān)督學(xué)習(xí)方法，用于從野外葡萄圖像中精確計(jì)數(shù)葡萄果實(shí)。
 

2023年11月，Plant Phenomics在線發(fā)表了武漢工程大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院、人工智能學(xué)院題為Semi-supervised Counting of Grape Berries in the Field Based on Density Mutual Exclusion 的研究論文。研究提出了一種基于密度互斥的田間葡萄漿果半監(jiān)督計(jì)數(shù)方法（CDMENet）該算法以VGG 16為主干網(wǎng)絡(luò)，提取圖像特征，并引入了基于密度互斥作為為輔助工具，利用葡萄果實(shí)在密度層次上得空間分布模式，實(shí)現(xiàn)了對(duì)葡萄果實(shí)得分類識(shí)別，該方法充分利用了未標(biāo)記的數(shù)據(jù)，并設(shè)計(jì)了一種密度差損失器，通過放大不同密度水平之間的特征差異，增強(qiáng)了特征的表示能力。
 

為了提高計(jì)數(shù)準(zhǔn)確性并降低數(shù)據(jù)標(biāo)注成本，研究采用了半監(jiān)督學(xué)習(xí)方法。首先，研究使用Embrapa Wine Grape Instance Segmentation Dataset，其中包含300張野外葡萄圖像，每個(gè)圖像中的葡萄漿果都經(jīng)過手動(dòng)標(biāo)記，以創(chuàng)建地面真實(shí)標(biāo)簽（圖1）。這些圖像包括五種不同的葡萄品種，每張圖像中的漿果數(shù)量在200到1500之間不等。
 

圖1 葡萄品種和田間葡萄漿果數(shù)據(jù)集中手動(dòng)標(biāo)記圖像的示例

隨后，研究提出了CDMENet（密度相互排斥網(wǎng)絡(luò)），這是研究的計(jì)數(shù)框架。CDMENet由三個(gè)主要部分組成：特征提取器、密度回歸器和輔助任務(wù)。特征提取器使用了VGG16網(wǎng)絡(luò)，用于從輸入圖像中提取深度特征（圖2）。密度回歸器負(fù)責(zé)預(yù)測(cè)葡萄漿果的密度圖，而輔助任務(wù)則通過多個(gè)密度級(jí)別預(yù)測(cè)器提供了對(duì)象分布信息，以優(yōu)化特征學(xué)習(xí)過程。研究使用密度相互排斥來確保各像素僅歸屬于一個(gè)密度級(jí)別。

圖2 基于密度互斥的田間葡萄漿果半監(jiān)督計(jì)數(shù)框架

此外，在方法效率部分，研究將CDMENet與其他全監(jiān)督和半監(jiān)督計(jì)數(shù)方法進(jìn)行比較，并使用多種指標(biāo)如MAE、RMSE和R2來評(píng)估性能。性能評(píng)估結(jié)果如表1所示。

深入的消融實(shí)驗(yàn)（Ablation study）表明CDMENet在減少標(biāo)注成本方面具有巨大潛力。通過對(duì)模型進(jìn)行詳細(xì)的組成部分和設(shè)計(jì)選擇的分析，研究者發(fā)現(xiàn)，在不同的標(biāo)注數(shù)據(jù)量和標(biāo)簽信息條件下，CDMENet都能保持出色的性能，尤其是在相對(duì)較少的標(biāo)注圖像的情況下。這表明CDMENet充分利用了未標(biāo)注圖像，通過引入基于密度互斥的輔助任務(wù)和密度差異損失，成功地減少了對(duì)標(biāo)注圖像的依賴，從而降低了標(biāo)注成本。這一發(fā)現(xiàn)為在實(shí)際應(yīng)用中更經(jīng)濟(jì)高效地解決葡萄漿果計(jì)數(shù)問題提供了重要的理論和實(shí)證支持。

論文鏈接：

https://doi.org/10.34133/plantphenomics.0115

——推薦閱讀——

Instance Segmentation and Berry Counting of Table Grape before Thinning Based on AS-SwinT

https://spj.science.org/doi/10.34133/plantphenomics.0085

Plant Phenomics | 基于AS-SwinT疏果前單串葡萄果粒的實(shí)例分割與計(jì)數(shù)

Prediction of the Maturity of Greenhouse Grapes Based on Imaging Technology

https://doi.org/10.34133/2022/9753427

Plant Phenomics | 基于表型圖像信息與反向神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)溫室葡萄成熟度

加入作者交流群

掃碼添加小編微信，拉您進(jìn)入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開展作者分享會(huì)、專刊發(fā)布會(huì)等高質(zhì)量活動(dòng)。
 

添加小編微信，備注姓名+單位+PP，加入作者交流群

《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國科學(xué)促進(jìn)會(huì)（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點(diǎn)領(lǐng)域具有突破性科研進(jìn)展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點(diǎn)。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機(jī)器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實(shí)踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計(jì)學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫收錄。科睿唯安JCR2022影響因子為6.5，位于農(nóng)藝學(xué)、植物科學(xué)、遙感一區(qū)。中科院農(nóng)藝學(xué)、植物科學(xué)一區(qū)，遙感二區(qū)，生物大類一區(qū)（TOP期刊）。2020年入選中國科技期刊卓越行動(dòng)計(jì)劃高起點(diǎn)新刊項(xiàng)目。

說明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。

中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。

撰稿：章?lián)P（南京農(nóng)業(yè)大學(xué)）

排版：張婕（上海交通大學(xué)）

審核：孔敏、王平