利用三維生長模型與域自適應遷移學習實現無需人工標注的小麥表型算法

Plant Phenomics | 虛擬圖像“以假亂真”，無需人工標注，自監(jiān)督創(chuàng)建小麥表型算法

早期生長勢（Early Vigor）是刻畫作物苗期地上部生長活力的綜合性狀，與品種適應性和產量潛力密切相關。利用現代植物表型高通量檢測裝備和智能化解析技術，監(jiān)測苗期作物葉片數量的動態(tài)變化有助于解析早期生長勢相關性狀�，F階段，人工智能算法極大提高了表型鑒定的準確性和效率。然而，算法嚴重依賴大量人工標注的訓練樣本，尤其在作物苗期，器官纖細，標注成本高、誤差大，成為限制人工智能算法在早期生長監(jiān)測應用中的重要瓶頸。
 

面向早期生長勢高效精準解析難題，文章以小麥為研究對象，結合三維作物模型和域自適應遷移學習，開辟基于虛擬數據集的表型算法研發(fā)新途徑，對于完善小麥表型組研究方法，提升基于早期生長勢的育種效率具有重要價值。
 

2023年3月，Plant Phenomics在線發(fā)表了南京農業(yè)大學聯合多家單位合作完成的題為Self-Supervised Plant Phenotyping by Combining Domain Adaptation with 3D Plant Model Simulations: Application to Wheat Leaf Counting at Seedling Stage 的研究論文。
 

文章利用三維生長模型與域自適應遷移學習，實現無需人工標注的自監(jiān)督表型算法研發(fā)。提出利用內嵌植物生理機理知識的三維作物生長模型開展多品種的虛擬表型試驗，生成不同生育期小麥冠層結構，研究田間小麥虛擬圖像自動生成方法；進而，綜合利用光線跟蹤算法研究田間小麥虛擬圖像中相應的植物器官標簽自動生成方法，構建覆蓋多個關鍵生育期的帶標簽高質量訓練數據集。
 

圖1利用數字植物表型平臺（D3P）模擬田間小麥圖像。從左到右，通過使用D3P在模擬過程中考慮越來越多的因素（上欄），模擬的圖像會變得越來越真實（下欄）

進一步，文章以自動生成的虛擬圖像為源域，田間獲取的真實圖像數據為目標域，進行樣本對抗的域自適應遷移學習；基于遷移學習結果，訓練目標檢測（監(jiān)測葉片數量）深度學習模型，并對監(jiān)測結果進行驗證。
 

圖2域自適應后的圖像數據。在保證模擬圖像結構不變的前提下，生成了更接近真實圖像的“Sim2real”數據集。

此外，文章提出的葉尖檢測模型在來自包括中國、澳大利亞、法國、日本和美國等五個國家的獨立測試集上進行了測試，模型能夠有效監(jiān)測圖像中的小麥葉片數量（R2=0.96），充分體現了該方法的有效性和魯棒性。
 

圖3來自全球范圍內不同國家圖像的獨立測試結果

該研究由南京農業(yè)大學前沿交叉研究院PheniX Lab聯合來自全球范圍內5個國家7個單位的相關學者合作完成，包括華中科技大學、東京大學、昆士蘭大學、內布拉斯加大學林肯分校和法國農業(yè)食品環(huán)境研究院。南京農業(yè)大學鐘山青年研究員李英倫為本文第一作者，南京農業(yè)大學劉守陽教授和華中科技大學陸昊副教授為本文通信作者。相關工作得到了科技部政府間國際科技創(chuàng)新合作重點專項、“十四五”重點研發(fā)計劃、國家自然科學基金和江蘇省卓越博士后計劃等項目的資助。
 

論文鏈接：
https://doi.org/10.34133/plantphenomics.0041

——推薦閱讀——
3dCAP-Wheat: An Open-Source Comprehensive Computational Framework Precisely Quantifies Wheat Foliar, Nonfoliar, and Canopy Photosynthesis
https://doi.org/10.34133/2022/9758148
Plant Phenomics | 基于整合葉片與非葉片組織光合作用的三維冠層模型精確刻畫小麥群體光合
Repeated Multiview Imaging for Estimating Seedling Tiller Counts of Wheat Genotypes Using Drones
https://doi.org/10.34133/2020/3729715
Plant Phenomics | 使用無人機多視角成像技術估算小麥幼苗分蘗數

加入作者交流群
掃碼添加小編微信，拉您進入《植物表型組學》作者交流群，群內不定期開展作者分享會、�？l(fā)布會等高質量活動。
 

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics
《植物表型組學》（Plant Phenomics）是由南京農業(yè)大學和美國科學促進會（AAAS）合作創(chuàng)辦的英文學術期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學交叉學科熱點領域具有突破性科研進展的原創(chuàng)性研究論文、綜述、數據集和觀點。具體范圍涵蓋高通量表型分析的最新技術，基于圖像分析和機器學習的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農業(yè)實踐中的表型組學新應用，與植物表型相結合的分子生物學、植物生理學、統(tǒng)計學、作物模型和其他組學研究，表型組學相關的植物生物學等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數據庫收錄�？祁Ｎò睯CR2021影響因子為6.961，位于農藝學、植物科學、遙感一區(qū)。中科院農藝學、植物科學一區(qū)，遙感二區(qū)，生物大類一區(qū)（TOP期刊）。2020年入選中國科技期刊卓越行動計劃高起點新刊項目。

說明：本文由《植物表型組學》編輯部負責組稿。
中文內容僅供參考，一切內容以英文原版為準。
特邀作者：李英倫（南京農業(yè)大學）
排版：陳新月（南京農業(yè)大學）
審核：孔敏、王平