基于FHTW-Net的水稻葉片病害圖文檢索精確框架助力水稻葉片病害防治

對(duì)水稻葉片病害進(jìn)行跨模態(tài)檢索對(duì)于水稻預(yù)防防治至關(guān)重要，為農(nóng)業(yè)專家提供基于數(shù)據(jù)的決策支持，以應(yīng)對(duì)疾病威脅，保障水稻生產(chǎn)刻不容緩。但當(dāng)前水稻葉片病害跨模態(tài)檢索過(guò)程中存在幾個(gè)問(wèn)題：（1）：復(fù)雜的背景和模糊的主體邊界在圖像處理領(lǐng)域中一直備受關(guān)注。這些因素往往會(huì)導(dǎo)致圖像的主體檢索變得模糊和困難。具體而言，復(fù)雜的背景可能包含大量干擾信息，使得從中準(zhǔn)確提取出主體變得極具挑戰(zhàn)性。同時(shí)，模糊的主體邊界也會(huì)導(dǎo)致特征提取變得困難，甚至可能會(huì)導(dǎo)致錯(cuò)誤的檢索結(jié)果；（2）：如何提升模型對(duì)于多樣文本的理解和關(guān)聯(lián)性建模成為了當(dāng)前研究的關(guān)鍵問(wèn)題之一。在圖像與文本的匹配過(guò)程中，一個(gè)顯著的挑戰(zhàn)在于文本語(yǔ)句的多樣性和種類的繁多性。這使得圖像與文本之間的關(guān)聯(lián)性變得相對(duì)較弱。換言之，由于文本的表達(dá)形式千差萬(wàn)別，模型需要具備強(qiáng)大的語(yǔ)義理解能力以準(zhǔn)確地將圖像與相應(yīng)的文本進(jìn)行匹配；（3）：學(xué)習(xí)率的優(yōu)化策略和訓(xùn)練過(guò)程的監(jiān)控也是需要認(rèn)真考慮和設(shè)計(jì)的關(guān)鍵因素。一個(gè)合適的學(xué)習(xí)率策略能夠有效地引導(dǎo)模型收斂于全局最優(yōu)解，從而提升訓(xùn)練的效率與性能。另外，在訓(xùn)練檢索模型時(shí)，我們也必須關(guān)注其訓(xùn)練的收斂速度以及達(dá)到的精度水平。這直接關(guān)系到模型在實(shí)際應(yīng)用中的可用性與性能表現(xiàn)。
 

2024年4月，Plant Phenomics在線發(fā)表了中南林業(yè)科技大學(xué)周國(guó)雄教授團(tuán)隊(duì)題為A precise framework for rice leaf disease image-text retrieval using FHTW-Net 的研究論文。
 

圖1不同水稻葉片病害類別中圖文檢索問(wèn)題的示例

為克服當(dāng)前水稻葉片病害檢索框架的局限性和相關(guān)問(wèn)題，我們專注于四種常見(jiàn)的水稻葉片病害，并建立了第一個(gè)跨模態(tài)水稻葉片病害檢索數(shù)據(jù)集（CRLDRD）。我們將跨模態(tài)檢索引入水稻葉片病害檢索領(lǐng)域，并提出了FHTW-Net，這是一個(gè)用于水稻葉片病害圖文檢索的框架。為了解決檢索過(guò)程中匹配不同圖像類別和復(fù)雜文本描述的挑戰(zhàn)，我們最初采用了ViT和BERT來(lái)提取富含上下文信息的細(xì)粒度圖像和文本特征序列。隨后，我們提出雙向混合自注意力（TMS）來(lái)增強(qiáng)圖像和文本特征序列，旨在揭示兩種模態(tài)中的重要語(yǔ)義信息。其次，我們提出假陰性消除-硬負(fù)樣本最小化（FNE-HNM）策略，以促進(jìn)對(duì)不同模態(tài)之間的語(yǔ)義連接進(jìn)行深入探索。這一策略有助于選擇具有挑戰(zhàn)性的負(fù)樣本進(jìn)行消除，以約束模型在三元損失函數(shù)內(nèi)。最后，我們提出預(yù)熱蝙蝠優(yōu)化算法（WBA）進(jìn)行學(xué)習(xí)率優(yōu)化，從而提高了模型的收斂速度和準(zhǔn)確性。
 

圖2 提出的FHTW-Net模型及其基準(zhǔn)模型FNE的網(wǎng)絡(luò)結(jié)構(gòu)圖

（1）為了減輕水稻病害對(duì)農(nóng)業(yè)生產(chǎn)的嚴(yán)重影響，我們針對(duì)四種常見(jiàn)且高致病性的水稻葉片病害，利用圖像和文字描述進(jìn)行研究。我們創(chuàng)建了第一個(gè)CRLDRD數(shù)據(jù)集，并將跨模態(tài)檢索引入水稻葉片病害檢索領(lǐng)域，提出了名為FHTW-Net的框架。

（2）目標(biāo)圖像中背景復(fù)雜或主體邊界不清晰可能導(dǎo)致圖文檢索中的歧義和檢索錯(cuò)誤。為了進(jìn)一步利用圖像和文本中的重要語(yǔ)義信息，我們提出TMS自注意力來(lái)增強(qiáng)圖像和文本中的細(xì)粒度特征序列，從而提高了模型的檢索準(zhǔn)確性。

（3）檢索過(guò)程中的多樣性涉及到不同的文本句子和圖像形態(tài)，這給圖文間的跨模態(tài)檢索帶來(lái)了挑戰(zhàn)。我們深入研究了不同模態(tài)之間的語(yǔ)義關(guān)系，并提出了FNE-HNM策略，應(yīng)用于三元損失函數(shù)中，以增強(qiáng)模型的檢索魯棒性和泛化能力。

（4）在模型訓(xùn)練過(guò)程中，學(xué)習(xí)率優(yōu)化不足可能導(dǎo)致最終檢索階段的準(zhǔn)確性降低和收斂速度緩慢。為了解決這一挑戰(zhàn)，我們提出WBA算法來(lái)優(yōu)化學(xué)習(xí)率，加快了模型的訓(xùn)練收斂速度，提高了檢索準(zhǔn)確性。

該研究由中南林業(yè)科技大學(xué)、國(guó)防科技大學(xué)、愛(ài)達(dá)荷大學(xué)、湖南省植物保護(hù)研究所合作完成。中南林業(yè)科技大學(xué)周宏亮為該文第一作者，周國(guó)雄教授為該文通訊作者。相關(guān)工作得到長(zhǎng)沙市自然科學(xué)基金、國(guó)家自然科學(xué)基金等資助。

論文鏈接：

https://doi.org/10.34133/plantphenomics.01‍68

——推薦閱讀——

Dynamic UAV Phenotyping for Rice Disease Resistance Analysis Based on Multisource Data

https://doi.org/10.34133/plantphenomics.0019

Plant Phenomics | 基于多源數(shù)據(jù)的水稻抗病性動(dòng)態(tài)無(wú)人機(jī)表型分析

PDDD-PreTrain: A Series of Commonly Used Pre-Trained Models Support Image-Based Plant Disease Diagnosis

https://doi.org/10.34133/plantphenomics.0054

Plant Phenomics | 貴州大學(xué)提出PDDD-PreTrain：一系列常用的預(yù)訓(xùn)練模型支持基于圖像的植物病害診斷

加入作者交流群

掃碼添加小編微信，拉您進(jìn)入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開(kāi)展作者分享會(huì)、�？�發(fā)布會(huì)等高質(zhì)量活動(dòng)。

添加小編微信，備注姓名+單位+PP，加入作者交流群

《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國(guó)科學(xué)促進(jìn)會(huì)（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線發(fā)行。采用開(kāi)放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點(diǎn)領(lǐng)域具有突破性科研進(jìn)展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點(diǎn)。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機(jī)器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實(shí)踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計(jì)學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫(kù)收錄�？祁Ｎò睯CR2022影響因子為6.5，位于農(nóng)藝學(xué)、植物科學(xué)、遙感一區(qū)。2023年中科院期刊分區(qū)位于農(nóng)林科學(xué)大類一區(qū)。2020年入選中國(guó)科技期刊卓越行動(dòng)計(jì)劃高起點(diǎn)新刊項(xiàng)目。

說(shuō)明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。
中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。
特邀作者：周國(guó)雄
排版：趙慶澤（南京農(nóng)業(yè)大學(xué)）
審核：孔敏、王平