基于無(wú)人機(jī)多光譜圖像和SRGAN的大白菜單株表型測(cè)定研究

Plant Phenomics | 基于無(wú)人機(jī)多光譜圖像和SRGAN的大白菜單株表型測(cè)定研究

隨著信息化、數(shù)字化技術(shù)的發(fā)展，遙感成像已成為精準(zhǔn)農(nóng)業(yè)中獲取作物信息的重要手段，也是計(jì)算小區(qū)域面積、作物品種鑒定和生長(zhǎng)分析的重要數(shù)據(jù)來(lái)源。大白菜 (Brassica rapa L. ssp.) 是亞洲最重要的蔬菜之一，中國(guó)作為大白菜的產(chǎn)地和遺傳多樣性中心，種質(zhì)資源極為豐富，擁有許多地方品種。傳統(tǒng)的大白菜表型測(cè)定方法嚴(yán)重依賴人工評(píng)價(jià)和測(cè)量，具有主觀性強(qiáng)且耗時(shí)的缺點(diǎn)，故快速無(wú)損的大白菜表型鑒定技術(shù)對(duì)育種具有重要意義。
 

2022年12月，Plant Phenomics在線發(fā)表了河北農(nóng)業(yè)大學(xué)范曉飛教授團(tuán)隊(duì)題為Multispectral Drone Imagery and SRGAN for Rapid Phenotypic Mapping of Individual Chinese Cabbage Plants 的研究論文。
 

本研究利用低成本無(wú)人機(jī)系統(tǒng)采集白菜田的遙感圖像，用于估算白菜的展開(kāi)度和相對(duì)葉綠素含量（SPAD）。選取河北農(nóng)業(yè)大學(xué)位于辛集馬蘭農(nóng)場(chǎng)的大白菜試驗(yàn)基地，此試驗(yàn)基地白菜均為自培育特殊的大白菜品種。采用大疆精靈4 Pro無(wú)人機(jī)搭載具有五通道的多光譜成像設(shè)備獲取露地白菜圖像，經(jīng)過(guò)圖像預(yù)處理、數(shù)據(jù)集劃分、圖像分辨率增強(qiáng)并分割后，計(jì)算或預(yù)測(cè)表型參數(shù)。本研究中圖像預(yù)處理包括遙感圖像的拼接與合成，此部分根據(jù)圖像采集中每一張圖像的POS點(diǎn)進(jìn)行整幅遙感圖像的拼接，并利用ArcMap對(duì)拼接后的圖像進(jìn)行處理，對(duì)每一株白菜進(jìn)行圖像標(biāo)記。
 

為了提高模型分割精度，本研究采用超分辨率生成對(duì)抗網(wǎng)絡(luò)（super-resolution generative adversarial network, SRGAN）提高原始圖像的分辨率，將可見(jiàn)光圖像、多光譜圖像、分辨率提升后的圖像結(jié)合深度學(xué)習(xí)的語(yǔ)義分割網(wǎng)絡(luò)模型（unity networking, UNet）實(shí)現(xiàn)單株白菜的分割。根據(jù)單個(gè)白菜的像素值和地面采樣距離（ground sample distance, GSD）計(jì)算實(shí)際長(zhǎng)度和寬度�；�于去除背景后的單個(gè)白菜RGB圖像，分析了白菜的SPAD值。通過(guò)對(duì)各種模型的比較，采用SRGAN進(jìn)行分辨率提升后的模型預(yù)測(cè)效果最好。對(duì)于SPAD預(yù)測(cè)和展開(kāi)度預(yù)測(cè)，SRGAN分辨率增強(qiáng)后的RGB圖像的UNet模型R2分別大于0.75和0.84，RMSE分別低于2.12和3.72，RMSPE分別低于0.05和0.10。本研究表明引入了SRGAN對(duì)圖像分辨率進(jìn)行增強(qiáng)后模型精度得到提高，利用無(wú)人機(jī)遙感圖像預(yù)測(cè)大白菜的展開(kāi)度和SPAD值的測(cè)量結(jié)果可靠，該方法為大白菜育種研究提供了低成本、易操作的表型性狀定量獲取技術(shù)。
 

圖6 SRGAN分辨率增強(qiáng)效果。以兩株單株大白菜顯示為示例，左邊是實(shí)際圖像，右邊是經(jīng)過(guò)SRGAN分辨率增強(qiáng)的圖像
 

圖9 三種UNet模型的擬合性能。(A)多光譜圖像模型的實(shí)際寬度與預(yù)測(cè)寬度。(B)使用RGB圖像且沒(méi)有分辨率增強(qiáng)的模型的實(shí)際寬度與預(yù)測(cè)寬度。(C) RGB圖像和分辨率增強(qiáng)模型的實(shí)際寬度與預(yù)測(cè)寬度。(D)多光譜圖像模型的實(shí)際長(zhǎng)度與預(yù)測(cè)長(zhǎng)度。(E)使用RGB圖像且沒(méi)有分辨率增強(qiáng)的模型的實(shí)際長(zhǎng)度與預(yù)測(cè)長(zhǎng)度。(F) RGB圖像和分辨率增強(qiáng)后模型的實(shí)際長(zhǎng)度與預(yù)測(cè)長(zhǎng)度。

河北農(nóng)業(yè)大學(xué)博士研究生張君為論文第一作者，河北農(nóng)業(yè)大學(xué)范曉飛教授、申書(shū)興教授和趙建軍教授為論文通訊作者。

作者團(tuán)隊(duì)介紹

第一作者簡(jiǎn)介：

張君，1996年生，河北石家莊人，博士研究生。主要研究方向?yàn)槔�用機(jī)器視覺(jué)及深度學(xué)習(xí)技術(shù)對(duì)作物表型無(wú)損快速測(cè)定等研究。目前負(fù)責(zé)河北省在讀研究生創(chuàng)新能力培養(yǎng)資助項(xiàng)目1項(xiàng)，授權(quán)實(shí)用新型專利6項(xiàng)，以第一作者發(fā)表SCI等學(xué)術(shù)論文4篇。

通訊作者簡(jiǎn)介：

范曉飛，1979年生，河北張家口人，博士，河北農(nóng)業(yè)大學(xué)校聘教授，博導(dǎo)，河北農(nóng)業(yè)大學(xué)國(guó)際教育交流學(xué)院副院長(zhǎng)，享受河北省政府特殊津貼，河北省“百人計(jì)劃”專家。主要從事作物表型組學(xué)、農(nóng)業(yè)人工智能與智能化農(nóng)業(yè)裝備等領(lǐng)域研究。2010-2018年在美國(guó)孟山都公司總部任職中層研發(fā)管理，主持及參與了22個(gè)項(xiàng)目的研發(fā)，其中6項(xiàng)為百萬(wàn)美元以上項(xiàng)目。被今日頭條、科學(xué)日?qǐng)?bào)、密蘇里電視臺(tái)等多家國(guó)內(nèi)外媒體采訪和報(bào)道。目前主持國(guó)家自然科學(xué)基金、河北省重點(diǎn)研發(fā)計(jì)劃等各類科研項(xiàng)目10余項(xiàng)；授權(quán)國(guó)際發(fā)明專利2項(xiàng)，國(guó)家發(fā)明、實(shí)用新型專利10余項(xiàng)，發(fā)表SCI等學(xué)術(shù)論文30余篇。
 

團(tuán)隊(duì)合照

論文鏈接：

‍https://doi.org/10.34133/plantphenomics.0007

——推薦閱讀——

Repeated Multiview Imaging for Estimating Seedling Tiller Counts of Wheat Genotypes Using Drones

https://doi.org/10.34133/2020/3729715

Plant Phenomics | 使用無(wú)人機(jī)多視角成像技術(shù)估算小麥幼苗分蘗數(shù)

The Application of UAV-Based Hyperspectral Imaging to Estimate Crop Traits in Maize Inbred Lines

https://doi.org/10.34133/2021/9890745

Plant Phenomics | 無(wú)人機(jī)高光譜影像在玉米自交系作物性狀估算中的應(yīng)用

Plant Phenomics | 無(wú)人機(jī)表型文章合集

加入作者交流群

掃碼添加小編微信，拉您進(jìn)入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開(kāi)展作者分享會(huì)、�？�發(fā)布會(huì)等高質(zhì)量活動(dòng)。

 

About Plant Phenomics

《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國(guó)科學(xué)促進(jìn)會(huì)（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線發(fā)行。采用開(kāi)放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點(diǎn)領(lǐng)域具有突破性科研進(jìn)展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點(diǎn)。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機(jī)器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實(shí)踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計(jì)學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫(kù)收錄。科睿唯安JCR2021影響因子為6.961，位于農(nóng)藝學(xué)、植物科學(xué)，遙感一區(qū)。中科院農(nóng)藝學(xué)、植物科學(xué)一區(qū)，遙感二區(qū)，生物大類一區(qū)（TOP期刊）。2020年入選中國(guó)科技期刊卓越行動(dòng)計(jì)劃高起點(diǎn)新刊項(xiàng)目。

說(shuō)明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。

中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。

特邀作者：張君、范曉飛

排版：陳新月（實(shí)習(xí)）

審核：孔敏、王平