近日，國(guó)家精準(zhǔn)農(nóng)業(yè)航空施藥技術(shù)國(guó)際聯(lián)合研究中心在Plant Phenomics（JCR一區(qū)；影響因子6.5）發(fā)表題為Point cloud completion of plant leaves under occlusion conditions based on deep learning的研究論文（論文鏈接：https://doi.org/10.34133/plantphenomics.0117），研究團(tuán)隊(duì)提出了一種基于深度相機(jī)和深度學(xué)習(xí)點(diǎn)云補(bǔ)全的植物三維重建方法。該方法通過(guò)利用深度學(xué)習(xí)點(diǎn)云補(bǔ)全技術(shù)對(duì)RGB-D相機(jī)所獲取的遮擋條件下的不完整葉片點(diǎn)云進(jìn)行補(bǔ)全以完成植物三維重建，不僅解決了訓(xùn)練數(shù)據(jù)不足的問(wèn)題，還使得模型能夠有效地處理使用Azure Kinect捕獲的點(diǎn)云數(shù)據(jù)。
本文的研究流程分為兩個(gè)階段。首先，采用深度相機(jī)獲取了菜心植株的點(diǎn)云數(shù)據(jù)（圖1），并建立了驗(yàn)證集，其中包括不同形狀的葉片，以及模擬的不完整葉片，用于評(píng)估點(diǎn)云補(bǔ)全方法的效果。隨后，使用MeshLab軟件對(duì)這些點(diǎn)云數(shù)據(jù)進(jìn)行了可視化分析（圖2）。實(shí)驗(yàn)結(jié)果表明，點(diǎn)云補(bǔ)全方法能夠成功地將不同形狀、不同彎曲程度以及不同缺失比例的菜心葉片點(diǎn)云補(bǔ)全，無(wú)論這些點(diǎn)云數(shù)據(jù)是通過(guò)MVS-SFM算法獲得還是通過(guò)Azure Kinect采集的。研究方法還表現(xiàn)出對(duì)目標(biāo)點(diǎn)云的結(jié)構(gòu)關(guān)系具有有效學(xué)習(xí)能力，因此在點(diǎn)云補(bǔ)全的完整性方面表現(xiàn)出強(qiáng)大的潛力。此外，還對(duì)不同遮擋情況下的補(bǔ)全效果進(jìn)行了比較，結(jié)果顯示在遮擋區(qū)域集中時(shí)，補(bǔ)全效果更佳，而在遮擋區(qū)域分散時(shí)，補(bǔ)全效果較差。
圖1 補(bǔ)全植物點(diǎn)云的工作流程
圖2 具有不同缺失率的葉點(diǎn)云補(bǔ)全的可視化
在第二階段，針對(duì)完整植株的點(diǎn)云數(shù)據(jù)進(jìn)行了三維重建（圖3），并與MVS-SFM算法的結(jié)果進(jìn)行了對(duì)比。實(shí)驗(yàn)結(jié)果表明，所提出的方法在提高植物點(diǎn)云數(shù)據(jù)的完整性方面取得了顯著的效果，尤其在存在多重遮擋或高缺失比例的情況下，本文的方法表現(xiàn)出更均勻的完整性。進(jìn)一步進(jìn)行了點(diǎn)云數(shù)據(jù)的精度分析，得到了具體的距離分布（圖4），結(jié)果顯示，兩種方法生成的點(diǎn)云具有較高的相似性。
圖3 葉片點(diǎn)云的可視化補(bǔ)全
圖4 距離分布的可視化
最后，研究團(tuán)隊(duì)對(duì)葉子面積提取的效果進(jìn)行了評(píng)估，具體的評(píng)估結(jié)果（圖5），表明研究方法在葉子面積估計(jì)方面的有效性。
圖5 葉面積估算與人工測(cè)量的相關(guān)性評(píng)估
論文第一作者為基礎(chǔ)實(shí)驗(yàn)與實(shí)踐訓(xùn)練中心陳海波正高級(jí)實(shí)驗(yàn)師及電子工程學(xué)院（人工智能學(xué)院）碩士研究生劉圣搏，通訊作者為國(guó)家精準(zhǔn)農(nóng)業(yè)航空施藥技術(shù)國(guó)際聯(lián)合研究中心主任兼首席科學(xué)家蘭玉彬教授及黎源鴻副教授。該研究受到廣東省引進(jìn)領(lǐng)軍人才項(xiàng)目、嶺南現(xiàn)代農(nóng)業(yè)實(shí)驗(yàn)室科研項(xiàng)目、高等學(xué)校學(xué)科創(chuàng)新引智計(jì)劃資助、廣東省重點(diǎn)領(lǐng)域研發(fā)計(jì)劃等項(xiàng)目的支持。
文圖/基礎(chǔ)實(shí)驗(yàn)與實(shí)踐訓(xùn)練中心 國(guó)家精準(zhǔn)農(nóng)業(yè)航空施藥技術(shù)國(guó)際聯(lián)合研究中心
