DB6111_T 175-2021 智慧农业++果实三维数字化数据采集及建模技术规范(高清正版）.pdf

ICS 65.020.99CCS B 07DB6111杨凌农业高新技术产业示范区地方标准DB 6111/T 1752021智慧农业果实三维数字化数据采集及建模技术规范Smart Agriculture-Specification for 3D Digital Data Collection and Modeling ofFruits2021-10-22 发布2021-11-01 实施杨凌示范区市场监督管理局发 布DB6111T/1752021I前言本文件依据GB/T 1.1-2020 标准化工作导则第1部分：标准化文件的结构和起草规则起草。本文件由杨凌示范区农业标准化技术委员会提出并归口。本文件起草单位：西北农林科技大学、陕西贞观实业有限公司、陕西杨凌田上农业科技有限公司、陕西美好家园农业科技发展股份有限公司、杨凌锦田果蔬专业合作社。本文件主要起草人：杨会君、王昕、于启瑞、李劲波、雷鸣、张田龙、李海平本文件首次发布。本文件由西北农林科技大学负责解释。联 系 人：杨会君联系方式：联系地址：陕西省杨凌示范区西农南路3号邮政编码：712100DB6111T/17520211智慧农业果实三维数字化数据采集及建模技术规范1范围本文件规定了果实三维数字化数据采集及建模的术语与定义、缩略语、果实图像数据的采集、果实三维重建和精细度评估及三维模型发布与应用。本文件适用于智慧果园苹果、猕猴桃、桃子等鲜果果实三维数字化的点云数据采集、建模、处理，得到干净、准确的果实模型数据。不适用于干果品质评测过程中的形态特征获取、色泽和水分含量测定。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T 2822-2005标准尺寸GB/T 8170-2008数值修约规则与极限数值的表示和判定GB/T 18784CAD/CAM数据质量GB/T 24734.1-2009技术产品文件 数字化产品定义数据通则第1部分：术语和定义GB/T 26099.1-2010机械产品三维建模通用规则第1部分：通用要求GB/T 31053-2014机械产品逆向工程三维建模技术要求GB/T 38368-2019产品几何技术规范（GPS）基于数字化模型的测量通用要求3术语和定义GB/T 26099.1-2010、GB/T 31053-2014和GB/T 38368-2019界定的以及下列术语和定义适用于本文件。3.1果实三维数字化 Fruit 3D Digitization用三维重建和分析工具获取、创建、修改、完善、分析果实数字模型的系列技术。3.2点云数据采集 Point Cloud Data Collection用三维扫描仪、深度相机、RGB相机等获取果实点云形态的形状（几何构造）和外观信息（如颜色、表面反照率等）过程。3.3场景图 Scene GraphDB6111T/17520212以图像为节点，以几何校验后的匹配图像之间的重叠关系作为边构成的三维场景图。4缩略语下列缩略语适用于本文件:CAD-计算机辅助设计(Computer Aided Design)；SFM-运动恢复结构(Structure From Motion)；SIFT-尺度不变特征变换(Scale Invariant Feature Transform)；RANSAC-随机采样一致性(Random Sample Consensus)。5果实多视角图像数据采集5.1采集设备选用彩色相机、摄像头或手机等普通RGB摄像设备。调试确定设备的分辨率、拍摄距离等具体参数，参见表1。表 1数据采集过程中的拍摄参数要求项目具体要求设备选型单目相机分辨率最低支持19201080角度见图1所示距离范围20 cm100 cm拍摄数量每一方位20张拍摄设备和图像关系限单个设备连续拍摄多视角照片目标占比前景目标物占图像内容50%以上摄像头内部参数由摄像头本身元件所确定。计算方法见公式（1）。.(1)式中：focalpix-焦距(像素)；focalmm-焦距(毫米)；wpix-图像宽度(像素)；hpix-图像高度(像素)；ccdwmm-传感器尺寸(毫米)；参数通常包含于图像EXIF信息中，若缺失，也可通过计算相机元件参数获得。5.2采集环境选择纹理丰富、照明良好，光照变化不强的环境。应避开玻璃、瓷砖等强反光材料，移除拍摄视野中除环境光以外的其它光源。最佳拍摄角度、方位和频次示意图参见图1。DB6111T/17520213图 1图像数据采集路径标定板（红色为俯视图，蓝色为侧视图）5.3拍摄与数据存储方案参照图1所示的位置关系，确定拍摄视角，具体方案如下：a)根据环境和拍摄果实实际尺寸确定标定板的具体大小，并打印图 1 所示数据采集标定方案图。b)将拍摄目标放在标定板的正中心，找到果实中心轴，在距离果实中心轴 30 cm 的斜上方 30角以及斜下方 30角拍摄，每拍摄一次旋转角度小于等于 18，所得图像应连续且有重叠，每一方位拍摄至少 20 张多视角图像。c)建立新文件夹，以存储拍摄的多视角果实图像，具体参照 6.2 中重建执行流程。5.4预处理5.4.1背景预处理按照5.3拍摄得到的多视角图片示例参见图2。用OpenCV库中的K-均值聚类或分水岭算法预处理果实图像背景，最终以离散背景点少、果实边缘完整、基本无阴影、除去速度较快、保留果实特征信息为原则判定处理效果。图 2规范采集的多视角图像示例（部分数据）5.4.2图像预处理DB6111T/17520214对原始图像处理，应避免调整大小、旋转或变换几何形状。以便后续通过数字化建模特征提取，特征匹配，几何验证，增量式重建以及稠密化重建，正确得到点云。6果实三维重建6.1果实表面重建规范6.1.1生成稀疏场景图6.1.1.1生成方法采取具有迭代重构分量的顺序处理管道增量式SFM生成稀疏场景图。6.1.1.2特征提取使用SIFT算法检查每个像素是否代表一个特征，提取同一场景在不同角度下的图像信息。输入对象是拍摄的图像，输出是一系列的特征点，如图3所示。提取方法采用以下三步：a)首先使用高斯滤波技术(Gaussian Blur)来降低图像中的噪点，除去纹理噪点等次要特征，保留给定图像轮廓主要特征。使用高斯差分技术(Difference of Gaussian)，将去噪后图像与原图像进行相减运算；b)过滤特征点并精确定位。利用黑塞(Hessian)矩阵处理并确定某像素点是否为特征点，特征点初步定位后，过滤除去不精确的特征点，完成特征点精确定位；c)计算并分配特征点方向值。统计获得特征点相邻区域内梯度方向直方图，以直方图中最大值作为该特征点的主方向；根据经验值，大于主方向 80%的作为该特征点的辅方向，辅方向能够有效增强匹配的鲁棒性。图 3相邻果实图像特征提取结果示例DB6111T/175202156.1.1.3特征匹配根据6.1.1.2得到相邻两幅图像的显著特征点，利用特征点及其邻域信息计算SIFT描述子，并用基于欧氏距离的K-近邻算法匹配两张相邻图像的特征点，比较两个描述子的相似程度判断是否为同一个特征。特征匹配的输入是提取到的特征点，输出是重叠的图像及其相关联的特征对应关系，如图4所示。6.1.1.4几何验证采用SFM通过估计射影几何映射图像之间的特征点转换来验证可能重叠的图像对。a)选择合适的初始化图像对。本规程对初始化图像对的选择要求是：具有足够多匹配点与足够远摄像头中心的一对图像；b)捆绑调整。使用五点法估计初始化图像对的外参，根据轨迹三角化后提供的三维点，采用稀疏光束平差法进行捆绑调整，最终确定需保留的三维点；a)增量式迭代重建。其余多视角图像序列将被依次输入并生成三维点重复参与捆绑调整过程，直到所有图像输入并优化完成。最终得到如图 4 的摄像头位姿信息与稀疏三维点云场景图，如图4(a)所示。6.1.2果实表面稠密重建6.1.2.1增量式重建输入场景图，估计配准图像和重构场景结构的位姿。a)利用 Harris 和 Dog（Difference-of-Gaussians）算子在多张图片上检测、匹配特征点，生成、初始化一组与突出图像区域相关的稀疏面片 patch 集；b)通过求解 PnP 问题将新图像配准到稀疏模型；c)使用特征对应法对已配准的图像中的点进行三角化(2D-3D 对应)，并利用 2D-3D 对应关系配准新图像；d)使用将场景点投影到图像空间的函数和降低异常值权重的损失函数JT 最小化重投影误差，并将摄像机参数 Pc 和点参数 Xkt 联合非线性细化。(a)稀疏重建的场景图(b)稠密化重建点云图 4果实点云重建结果图6.1.2.2稠密化重建采用Patch-Match方法估计密集点云，恢复果实表面稠密数据，如图4(b)所示。DB6111T/175202166.2果实重建处理流程6.2.1配置及处理要求通过开源库Colmap实现果实稀疏三维点云重建，Patch-Match实现稠密重建。配置和处理过程请参见附录A。6.2.2准备操作6.2.2.1mkdir colmap_data/新建 colmap_data 文件夹,作为重建操作的主文件夹6.2.2.2cd colmap_data/进入 colmap_data 目录6.2.2.3mkdir images/新建子文件夹 images，存储输入的多视角图片。6.2.2.4mkdir database.db/新建子文件夹 database.db,存储输出的特征点信息。6.2.3稀疏重建6.2.3.1colmap feature_extractor-database_path database.db-image_path images/执行特征提取命令6.2.3.2colmap exhaustive_matcher-database_path database.db/执行特征点匹配命令6.2.3.3colmap mapper-image_path images-database_path database.db output_path sparse/在 colmap_data 目录下新建 sparse 文件夹，并存储稀疏重建结果。6.2.3.4在 sparse 文件夹中生成三个 bin 文件，包括相机内参：cameras.bin、相机位姿：images.bin和稀疏 3D 点：points3D.bin。6.2.4信息转换稀疏重建获得相机位置照片，图片信息，以及稀疏点云之后，用OpenVMS和colmap转换得到sence.mvs文件。6.2.5生成稠密点云DensifyPointCloud scene.mvs/执行命令,使用OpenVMS生成深度图从而得到稠密点云。7精细度评估7.1误差来源果实点云获取过程中的误差来源包括：a)设备误差：因采集设备自身性能限制产生；b)环境误差：因拍摄场景复杂多变，光照变化等影响产生；c)系统误差：因不同的软件版本等产生的误差；d)计算误差：因采用的算法不同产生的误差；e)近似误差：因系统计算时得到的近似值产生的误差；f)模型误差：实际问题抽象为数学模型本身含有的误差；g)其它误差：因人为因素或偶然原因引起的其它误差。7.2评估指标选择DB6111T/17520217通常包括整体指标、局部指标、量化指标和非量化指标。评估指标选择应满足GB/T 8170-2008中的下列要求：a)整体指标：评估真实果实和果实数字化三维模型的偏差，如整体几何大小、目标占比、模型点数等；几何特征间的几何约束关系；目标、相机之间的角度、距离、定位关系等；b)局部指标：评估曲面与真实果实对应曲面的偏离程度；c)量化指标：评估点云模型点数值偏差；d)非量化指标：曲面属性评估果实数字化三维模型表面的光顺性，如曲面的高斯曲率分布、光照效果、法向量和主曲率图等。7.3评估要求果实数字化形成的三维模型精度评价应遵循以下原则：a)果实数字化三维模型的数据质量应满足 GB/T 18784 的要求；b)果实数字化三维模型应具备实用性。可根据数字化果实模型，判断果实成熟情况，得到果实详细的表型信息等；c)果实数字化三维模型与真实果实的实际误差不得超过 4%；d)果实数字化三维模型应具有对真实果实细节表达能力，满足真实果实表型生物量计算的精度需求。8三维模型发布和应用三维点云模型的发布与应用应满足GB/T 24734.1-2009中对三维模型的发布、应用要求和GB/T38368-2019中对三维模型的通用要求。DB6111T/17520218AA附录A（规范性附录）环境配置A.1COLMAP的安装配置A.1.1运行环境Ubuntu16.04。A.1.2在GitHub上下载COLMAP源代码git clone https:/ apt-get install gitsudo apt-get install cmakesudo apt-get install build-essentialsudo apt-get install libboost-program-options-devsudo apt-get install libboost-filesystem-devsudo apt-get install libboost-graph-devsudo apt-get install libboost-regex-devsudo apt-get install libboost-system-devsudo apt-get install libboost-test-devsudo apt-get install libeigen3-devsudo apt-get install libsuitesparse-devsudo apt-get install libfreeimage-devsudo apt-get install libgoogle-glog-devsudo apt-get install libgflags-devsudo apt-get install libglew-devsudo apt-get install qtbase5-devsudo apt-get install libqt5opengl5-devsudo apt-get install libcgal-devA.1.4安装CGAL Qt5软件包sudo apt-get install libcgal-qt5-devA.1.5安装Ceres Solversudo apt-get install libatlas-base-dev libsuitesparse-devgit clone https:/ceres- ceres-solvergit checkout$(git describe-tags)#Checkout the latest releaseDB6111T/17520219mkdir buildcd buildcmake.-DBUILD_TESTING=OFF-DBUILD_EXAMPLES=OFFmake-jsudo make installA.1.6配置和编译COLMAPcd colmapgit checkout devmkdir buildcd buildcmakemake-jsudo make installA.1.7运行COLMAPcolmap hcolmap guiA.2OpenMVS的安装配置A.2.1运行环境Ubuntu16.04（参考网站）A.2.2在GitHub上下载OpenMVS源代码git clone https:/ apt-get update-qq&sudo apt-get install-qqsudo apt-get-y install git cmake libpng-dev libjpeg-dev libtiff-dev libglu1-mesa-devmain_path=pwdgit clone https:/ 3.2#Eigen(Required)mkdir eigen_build&cd eigen_buildcmake./eigenmake&sudo make installcd.sudo apt-get-y install libboost-iostreams-dev libboost-program-options-dev ibboost-system-dev libboost-serialization-dev#Boost(Required)sudo apt-get-y install libopencv-dev#OpenCV(Required)sudo apt-get-y install libcgal-dev libcgal-qt5-dev#CGAL(Required)git clone https:/ vcglib#VCGLib(Required)DB6111T/175202110sudo apt-get-y install libatlas-base-dev libsuitesparse-dev#Ceres(Optional)git clone https:/ceres- ceres-solvermkdir ceres_build&cd ceres_buildcmake./ceres-solver/-DMINIGLOG=ON-DBUILD_TESTING=OFF-DBUILD_EXAMPLES=OFFmake-j2&sudo make installcd.sudo apt-get-y install freeglut3-dev libglew-dev libglfw3-devgit clone https:/ openMVSmkdir openMVS_build&cd openMVS_buildcmake./openMVS-DCMAKE_BUILD_TYPE=Release-DVCG_ROOT=$main_path/vcglib-DBUILD_SHARED_LIBS=ONmake-j2&sudo make install_