用于水果三維重建的無(wú)監(jiān)督域自適應(yīng)體積回歸算法在高通量表型中的應(yīng)用

Plant Phenomics | GANana：用于水果三維重建的無(wú)監(jiān)督域自適應(yīng)體積回歸算法

三維重建技術(shù)目前已廣泛應(yīng)用于高通量表型中，能夠從一張或多張圖像中提取出三維形態(tài)信息。以水果的三維模型為例，在三維信息中我們可以同時(shí)測(cè)量果實(shí)體積等多種表型性狀，進(jìn)而為果實(shí)尺寸估計(jì)和質(zhì)量控制乃至作物精確育種提供技術(shù)上的支持。近年來(lái)，研究者一直盡力將不同的重建方法應(yīng)用于水果表型中，但其中許多方法都依賴于昂貴的硬件外設(shè)，如激光掃描儀、激光雷達(dá)等。

近日，Plant Phenomics 在線發(fā)表了題為GANana: Unsupervised Domain Adaptation for Volumetric Regression of Fruit的研究論文。

在該文中，作者致力于實(shí)現(xiàn)單目三維重建，即從單張二維圖像中還原出目標(biāo)的三維結(jié)構(gòu)，從而規(guī)避高昂的硬件成本并降低用戶的使用門檻。與其他的計(jì)算機(jī)視覺(jué)研究一樣，三維重建任務(wù)在大部分領(lǐng)域也依賴于高質(zhì)量的大型數(shù)據(jù)集，且缺乏現(xiàn)成的訓(xùn)練數(shù)據(jù)。因此，該文章提出了一種用于三維重建的無(wú)監(jiān)督域適應(yīng)方法，標(biāo)注圖像僅存在于人工合成域中，并在模型訓(xùn)練時(shí)補(bǔ)充來(lái)自目標(biāo)真實(shí)域的未標(biāo)注數(shù)據(jù)集。

該文章使用體積回歸網(wǎng)絡(luò)(VRN)來(lái)解決三維重建問(wèn)題(Figure 1)，并使用在三維建模工具Blender中人工構(gòu)建的香蕉三維模型生成了包含25000對(duì)數(shù)據(jù)的訓(xùn)練集，之后通過(guò)生成對(duì)抗網(wǎng)絡(luò)增強(qiáng)每張圖像，并引入體積一致性損失來(lái)提高用實(shí)際圖像進(jìn)行三維重建時(shí)的性能(Figure 2)。該文章利用了計(jì)算機(jī)合成的方式降低了構(gòu)建數(shù)據(jù)集所需的人工和時(shí)間成本，同時(shí)保證了在實(shí)際圖像處理中的性能。

盡管該文重點(diǎn)介紹了如何從二維圖像中重建香蕉的三維模型，但理論上來(lái)說(shuō)該方法適用于其他任何植物品種和器官的三維重建任務(wù)。

Figure 1Results of our volumetric regression network. Output volumetric banana models resting on 2D input images.

Figure 2 The proposed volumetrically consistent CycleGAN (VCC) using our real banana dataset as a target.

論文鏈接

https://spj.sciencemag.org/journals/plantphenomics/2021/9874597/

——推薦閱讀——

Robust Surface Reconstruction of Plant Leaves from 3D Point Clouds 

https://spj.sciencemag.org/journals/plantphenomics/2021/3184185/

Plant Phenomics | 基于植物葉片三維點(diǎn)云的穩(wěn)健表面重建

MVS-Pheno: A Portable and Low-Cost Phenotyping Platform for Maize Shoots Using Multiview Stereo 3D Reconstruction 

https://spj.sciencemag.org/journals/plantphenomics/2020/1848437/

Plant Phenomics | 基于多視角三維重建的低成本、便攜式玉米單株表型平臺(tái)—MVS-Pheno

About Plant Phenomics

《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國(guó)科學(xué)促進(jìn)會(huì)（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線發(fā)行，是Science合作出版的第二本期刊。采用開(kāi)放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點(diǎn)領(lǐng)域具有突破性科研進(jìn)展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點(diǎn)。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機(jī)器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實(shí)踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計(jì)學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫(kù)收錄。

說(shuō)明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。

中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。

撰稿人：王棟

編輯：趙瑜涵（實(shí)習(xí)）

審核：卞越、孔敏