基于ResNet34模型的大菱鲆鱼苗识别计数方法.pdf

第 51 卷第 1 期渔 业 现 代 化Vol.51 No.12024 年 2 月FISHERY MODERNIZATIONFeb.2024DOI:10.3969/j.issn.1007-9580.2024.01.011收稿日期:2023-08-22基金项目:国家重点研发计划“海水鱼循环水智能育苗设备技术合作研究(2021YFE0108700)”作者简介:涂雪滢(1992),女,硕士,助理研究员,研究方向:机器视觉与图像处理、渔业信息化。E-mail:tuxueying 通信作者:刘世晶(1982),男,硕士,副研究员,研究方向:渔业信息化、图像处理、模式识别和机器视觉。E-mail:liushijing 基于 ResNet34 模型的大菱鲆鱼苗识别计数方法涂雪滢1,钱 程1,刘世晶1,2,刘 晃1,2,李国栋1,2(1 中国水产科学研究院渔业机械仪器研究所,上海 200092;2 农业农村部渔业装备与工程技术重点实验室,上海 200092)摘要:鱼苗数量的精准统计对提升苗种品质评价、养殖密度估算、鱼苗销售等环节的智能化水平具有重要作用。针对大菱鲆鱼苗个体小、透明度高以及体型不规则等影响计数精准度的问题,提出了一种基于 ResNet34的大菱鲆鱼苗识别计数方法。首先,设计了一套适用于微小目标计数需要的图像采样装置,采用图像预处理方法实现鱼苗前景分割和初步定位。为了有效统一样本空间和待识别目标空间,利用最小外接矩规则化初步定位前景图像,构建图像样本集。大菱鲆鱼苗识别阶段,利用相同预处理方法获取待识别目标区域,并引入 ResNet34 模型作为识别模型实现待识别目标区域苗种识别;最后,通过统计所有待识别目标识别数量结果实现大菱鲆苗种计数。结果显示:本方法在微小鱼苗识别计数方面取得了较好的精度,利用 ResNet34 模型的大菱鲆鱼苗的识别平均准确率达到 94.27%,比基于 SVM 方法(识别精度 85.8%)和 AlexNet(识别精度87.04%)方法识别精度分别提高 7.4 个百分点和 8.64 个百分点,优于 ResNet18(识别精度 93.21%)和ResNet50(识别精度 93.83%)等相似结构的识别效果。本模型鱼苗计数的平均准确率达到 96.28%。研究表明,提出的样本集构建和识别方法能够满足微小目标计数需求,可为鱼类苗种计数提供了技术借鉴。关键词:鱼苗计数;图像识别;大菱鲆;ResNet34 模型中图分类号:S951.2 文献标志码:A 文章编号:1007-9580-(2024)01-0090-008 大菱鲆(Psetta maxima),又名多宝鱼,是原产于欧洲的一种优良海水养殖鱼类,于 20 世纪 90年代初引入中国,经过养殖鱼苗技术的突破性发展,大菱鲆已成为中国北方山东半岛、河北和辽东半岛等沿海地区的重要水产养殖品种之一1-2。目前,大部分水产育苗场采用称重的方式对鱼苗进行粗略计数,该方式误差率较大,存在 20%30%的误差,而人工分选计数的方式十分耗费时间与人力,大菱鲆育苗场的熟练工平均每人每小时只能计数 3 300 多条鱼苗,且该方法人为因素影响较大,效率极低3。因此,针对鱼类育苗的产业发展需求,应加强关键技术攻关,攻克苗种识别、鱼苗计数和孵化率计算技术难点,研发鱼苗识别与计数技术。随着水产养殖向机械化、自动化和智能化的方向不断发展进步,鱼苗计数的手段不再局限于传统的人工计数方式4。目前国内自动化鱼苗计数手段主要分为两大类,一类是基于机械结构和电子元器件辅助的鱼苗分级计数装置,杨雨辰5设计了一种基于点钞机结构原理和光线计数器的鱼苗精确检测计数与分级装置;吴丛迪等6设计了一种基于分流、传送、打包装置和红外计数器的全自动点苗分装器。此类方法需要鱼苗的种类规格与机械结构有较高的匹配度,且由于存在聚集鱼苗分离、鱼苗长距离滑动等采样过程,容易对鱼苗造成一定损伤;此外,电子技术原理需要计数对象满足光线反射特性,而刚孵化大菱鲆鱼苗由于其个体微小、身体透光性强等特点,导致上述技术不能满足微小鱼苗自动无损技术要求。另一类是基于计算机视觉和机器学习技术的鱼苗识别计数系统,该系统主要利用相机等视觉采样装置,通过目标识别以及数量统计模型实现苗种计数。例如,朱从容 7利用相机从上方采集背景已知鱼苗全景图像,通过背景差分实现鱼苗第 1 期涂雪滢等:基于 ResNet34 模型的大菱鲆鱼苗识别计数方法的像素点提取,并构建鱼苗像素点与鱼苗数量之间的线性关系,得到鱼苗数量,适用于鱼苗图像纹理清晰、前景和背景差异较大的工作场景;王文静等8通过结合水流流速和拍摄速度,采集鱼道出口处的鱼苗图像,通过阈值法计算样本中鱼苗数量,取得了较好的计数精度。该方法对鱼苗聚集度、个体大小和身体透光性具有较高要求,无法满足微小目标计数需要;王硕等9对鱼苗轮廓进行曲线演化,通过统计最大轮廓曲线数来计算鱼苗数量,适用于较大个体大菱鲆苗种。由于刚孵化大菱鲆鱼苗个体微小、透光性强且孵化池背景成像受外部影响较大,基于背景去除或轮廓提取的方法很难直接应用到变工况场景,因此传统的适用于鱼体个体和背景差异较大以及鱼体轮廓较易获取的计数方法不能满足刚孵化大菱鲆鱼苗计数需要。本研究提出了一种基于深度残差网络(Deep Residual Network,ResNet)10的大菱鲆鱼苗识别计数方法。首先,针对微小目标成像特征不明显的问题,设计了一套由相机、光源、承装容器等组成鱼苗采样装置,通过调整相机和光源位置,实现鱼苗图像的有效获取。为了提升算法识别精度,降低背景干扰,采用背景差分、高斯滤波、全局灰度线性变换以及形态学处理等方法实现鱼苗前景分割和初步定位,并利用最小外接矩规则化初步定位信息形成待识别目标,然后利用 ResNet34 模型作为识别模型实现大菱鲆苗种识别和目标区域数量统计,并统计所有待识别目标识别结果实现大菱鲆苗种计数。最后,通过不同方法比较分析验证本方法的有效性。1 材料与方法1.1 试验装置设计了如图 1 所示的试验装置。A7#,+4JIS0图 1 试验装置Fig.1 Test Equipment 该装置由不锈钢黑箱、置物抽屉、可调节光源和工业相机等组成。装置以铝合金型材为骨架,在骨架外固定黑色不锈钢板,组成密闭黑箱,其尺寸为(400400400)mm,置物抽屉安装在黑箱底部,便 于 更 换 样 本,工 业 相 机 型 号 为 大 恒ME2P-2621-4GC-P,镜头焦距为 8 mm。相机固定在顶部居中位置,保证承装容器中鱼苗有效成像。光源采用 2 个条形光源,固定在黑箱顶部。针对微小透光鱼苗清晰成像的拍摄需求,设计采用光照强度可调光源,用以配合不同光照强度的拍摄需求。此外,为了满足算法运算要求,本研究中模型是基于 Python3.8、Pytorch 框架开发,软件运行在 Windows11 操作系统上,硬件包括:中央处理器为 Intel(R)Xeon(R)W-2245 CPU 3.90 GHz,运行内存为 64 G,图形处理器为 NVIDIA GeForce RTX2080 SUPER。1.2 样本获取由于大菱鲆鱼卵孵化周期短,鱼苗孵化后短期内就具备自由游动能力,因此为了有效获取刚孵化的大菱鲆鱼苗,减少大面积采样对孵化池内19渔 业 现 代 化2024 年鱼苗的影响,根据大菱鲆鱼苗孵化规律,将采样时间设定为鱼卵开始孵化后的第 72 小时,并将采样鱼苗暂养在养殖箱内。采样时,选用 200 mm200 mm60 mm 的亚克力盒作为拍摄容器,从养殖箱内随机选取部分幼苗倒入容器中,置于拍摄箱底部。为增强鱼苗与背景的反差,亚克力容器底部采用白色底板为采样背景,通过调节采样高度和相机焦距,得到清晰的幼苗样本图像。1.3 方法整体框架鱼苗计数方法整体框架如图 2 所示,分为 3个部分:图像预处理、样本库构建和目标识别计数。图 2 大菱鲆苗种计数技术路线图Fig.2 Technology Roadmap 图像预处理部分主要用于降低背景噪声对识别精度的影响,因此根据采样装置成像特点,选用背景差分、图像增强和几何变换的手段抑制背景无用的信息,增强前景图像特征11。样本库构建部分,为了进一步提升方法的实用性,有效统一样本空间和待识别目标空间,利用经过图像预处理的前景信息,通过对目标轮廓做最小外接矩形,实现目标的提取,以此构建待识别目标样本集,并根据提取出的目标图像大菱鲆苗种构建分类标签,按照 82 的比例将其划分为训练集和验证集;目标识别计数阶段,首先是利用 ResNet34 模型实现不同数量目标样本的识别,然后根据识别样本数量统计整张图像大菱鲆鱼苗总数,实现苗种计数。1.4 图像预处理通过试验装置采样得到的图像包含过多背景信息,不利于后续鱼苗目标的识别,因此需要对原始图像中冗余的信息进行预处理。共采用 4 步图像预处理方法获得鱼苗清晰前景图像。首先,对容器的 4 个角点进行定位,采用透视变换法12得到目标区域的图像,然后使用背景差分法13得到背景信息相对较少的鱼苗图像,采用高斯滤波14对图像进行平滑处理并利用全局灰度线性变换方法15对图像进行灰度拉伸。最后,利用膨胀腐蚀等形态学处理去除图像中的噪点、毛刺和微小杂物,填补目标的空洞和断点16-17,去除图像中多余的杂质点。采样原图及预处理后图像如 3所示。BC图 3 图像预处理Fig.3 Image preprocessing1.5 样本库构建1.5.1 目标提取经过形态学处理的鱼苗图像为二值图像,已经能够很好地区分出目标与背景,采用边界跟踪算法18来提取目标的轮廓(图 4a)。对于鱼苗不29第 1 期涂雪滢等:基于 ResNet34 模型的大菱鲆鱼苗识别计数方法重叠,且背景无杂质的图像,直接通过计算轮廓的数量即可得到鱼苗的数量。但当背景较为复杂时,轮廓圈出的可能不仅有鱼苗,还有其他干扰目标。此种情况可以选择先提取出轮廓圈出的所有目标,再对每一个目标进行识别判断,判断其是否为鱼苗,从而计算鱼苗的数量。因此可以通过对轮廓做外接矩形的方法,提取出待识别目标(图4b)。当鱼苗相邻较近时,普通外接矩形容易将其他目标也圈进矩形中,且鱼苗斜向时,其外接矩形圈出的背景面积较大。因此,在外接矩形的基础上,选择轮廓最小外接矩形对轮廓进行目标提取(图 4c)。BDC-D-E图 4 目标提取Fig.4 Target extraction 图 4d 为对原图中鱼苗目标的轮廓做最小外接矩形,可以看出效果相对普通外接矩形要好。但最小外接矩形的四条边并不是平行和垂直正常画面,要提取出每一个目标,需对最小外接矩形提取出的部分做透视变换19,得到每个目标的图像。由表 1 可以看出,提取出的图像包含 4 种类型,其中,0 个目标图像不包含鱼苗,1 个目标图像、2 个目标图像和 3 个目标图像中分别包含 1条、2 条、3 条鱼苗。将提取出的图像做分类标签,形成大菱鲆鱼苗样本集。表 1 目标提取后的图像Tab.1 Images after Target Extraction类型目标图像0 个目标1 个目标2 个目标3 个目标1.5.2 样本分配样本数量分布如图 2 所示。表 2 样本数量分布Tab.2 Distribution of Sample Size样本类别训练集样本数量验证集样本数量每类样本图像总数0 个目标5719761 个目标1 8506162 4662 个目标120401603 个目标9312样本总数2 0366782 714 大菱鲆鱼苗样本集中,包含 76 张 0 个目标图像,2 466 张 1 个目标图像,160 张 2 个目标图像和 12 张 3 个目标图像,共计 2 714 张样本图像。将样本集按约 3 1 的比例划分为训练集和验证集,构成目标样本库。1.6 目标识别1.6.1 ResNet 网络结构网络层的深度和数量增加,引入的激活函数数量增加,有利于提高网络的非线性变换能力,更好地进行数据特征的提取和变换。然而,当其达到一定水平时,网络几乎完全失去了线性转换的能力20。ResNet 在传统的深度学习基础上引入了残差模块,通过多个网络的输入输出,对一个单元模块进行跳跃拼接,在特征提取的同时叠加上一步的39渔 业 现 代 化2024 年信息,该方法很大程度上缓解了因网络深度的增加而出现的梯度消失、网格退化等问题21。ResNet 网络结构因其模型不易退化、特征信息损耗度小等优点20,在图像识别领域有较为优秀的识别速度和精度,其在鱼类识别方面也有较多应用和较好的识别效果,经过对比分析,本研究选用 ResNet34 模型对鱼苗图像进行识别研究。Input 为输入图像,输入尺寸设置为 2242243 像素;Conv1 为预处理卷积层,包含一个 77的卷积层,批标准化处理层、激活层和最大池化层;Conv2_x、Conv3_x、Conv4_x、Conv5_x 代表残差结构,每个残差结构分别包含 3、4、6、3 个参数不同的残差单元;残差层的输出结果经过 AvgPool平均池化层后进入 FC 全连接层进行分类;由Softmax 分类器输出对应的概率值,从而得到识别结果。ResNet34 网络结构如图 5 所示。图 5 ResNet34 网络结构Fig.5 ResNet34 network structure2 结果与分析2.1 模型参数选择参数的选择对模型训练时的收敛效果、速度、识别精度非常重要。综合考虑试验环境系统配置、样本数量和模型训练效果,将批尺寸22的大小设为 8,迭代次数为 30 次,选取 Kaiming 正态分布作为模型初始化权重方式23,ReLU 作为模型的激活函数24,交叉熵损失函数作为模型的损失函数25,初始学习率设为 0.001,并采用 Adam 优化算法优化学习率26,同时添加 Dropout 避免模型训练时出现过拟合风险27。2.2 试验结果 大菱鲆目标样本库中,训练集包含 2 036 张样本图像,验证集包含 678 张样本图像。利用ResNet34 对训练集和验证集进行训练,得到训练模型,其训练效果如图 6 所示。3 313O13 3 图 6 准确率与损失值曲线Fig.6 Accuracy and loss curve 训练时,每批次训练的图像数量为 8 张,一共迭代 30 次,可以看出,训练集和验证集分别在第11 轮和第 17 轮迭代后趋于收敛,训练集经过 30次迭代后,损失值稳定在 0.1 左右。完成训练后,保留准确率最高的一次 ResNet34 训练模型,构建大菱鲆鱼苗识别计数系统,实现对测试样本的识别与计数。识别结果用混淆矩阵28的方式可视化展示,结果如表 3 所示。表 3 中,横向表示目标样本图像中含有鱼苗的真实数量,纵向表示目标样本图像中含有鱼苗的预测数量,矩阵中的数值 xij表示将类别 i 预测为类别 j 的数量,其中,对角线上的数值越49第 1 期涂雪滢等:基于 ResNet34 模型的大菱鲆鱼苗识别计数方法大,代表识别的准确率越高。由表 3 可以看出,对角线上的数值远高于其他位置的数值,这表明ResNet34 对目标样本图像有较高的识别准确率。表 3 混淆矩阵Tab.3 Confusion matrixResNet34真实类别0 个目标 1 个目标 2 个目标 3 个目标预测类别0 个目标72101 个目标4273402 个目标162603 个目标00002.3 不同模型识别结果比较分析为了验证方法的有效性,选取目前常见的SVM29、AlexNet 30、ResNet1831和 ResNet5032等方法与本研究方法进行比较分析,结果如表 4所示。表 4 不同算法的识别准确率对比Tab.4 Comparison of recognition accuracy of different algorithms识别方法参数选择训练模型识别精度/%检测识别精度/%SVM惩罚因子 5,高斯核函数94.2385.80Alex NetResNet18ResNet34ResNet50迭代次数 30 次,批尺寸8,学习 率 0.001,Adam优化算法,交叉熵损失函数,ReLU 激活函数96.1587.0498.9793.2199.4394.4499.3993.83 由表 4 可知,5 种方法识别精度都高于 85%,证明本研究样本数据库构建的有效性;相比于深度学习方法,SVM 方法识别精度较低,识别精度仅为 85.8%,ResNet18、ResNet34 和 ResNet50 等方法识别精度接近,其中 ResNet34 识别精度最高,达到 94.44%。由此可见,ResNet34 更加适用于本研究构造的大菱鲆鱼苗样本图像的识别检测。2.4 平均识别精度分析为了提升大菱鲆鱼苗计数准确率,根据大菱鲆鱼苗采样装置特点,提出一种基于图像预处理的样本集构建方法,将样本集选择和构建过程插入到图像处理过程中。与传统的采用原始图像样本集构建方法相比,通过统一样本空间和待识别目标空间,将全局随机检索问题简化为特定目标识别问题。根据表 3 识别结果和图像预处理后鱼苗初始定位数量 n,以及每个定位 i 中识别出鱼苗数量 ki,采用公式 N=ni=1ki统计全局鱼苗数量,N代表计算出的鱼苗总数。为了估算大菱鲆鱼苗识别计数系统的计数准确率,用亚克力盒从养殖箱内随机选取部分大菱鲆鱼苗进行采样,将该图像传入系统进行识别计数,共采样 50 次,得到每次的识别准确率和计数准确率,统计结果如图 7 所示。F F -(-(DDVSBDZWFSBHF7BMVFDDVSBDZWFSBHF7BMVF图 7 鱼苗识别与计数准确率Fig.7 Fry identification and counting accuracy 由图 7 可知,系统在鱼苗识别方面,识别的准确率最低为 90.07%,最高为 98.11%,平均识别准确率为94.27%,在 50 次识别检测中有26 次的识别准确率在平均线以上。在鱼苗计数方面,计数的准确率最低为 92.78%,最高为 100%,平均计数准确率为 96.28%,在 50 次计数检测中有 27次的计数准确率在平均线以上。相较 ResNet34模型对鱼苗样本图像识别的准确率 94.44%,鱼苗计数准确率较高,这主要是由于模型会将 0 个目标图像识别为 1 或 2 个目标图像,将 1 个目标59渔 业 现 代 化2024 年图像识别为 2 个目标图像,使得检测出的鱼苗数量增加,又将 2 个目标图像识别为 0 或 1 个目标图像,将 1 个目标图像识别为 0 个目标图像,导致检测出的鱼苗数量减少,双方平衡下,导致最终检测出的鱼苗个数与实际鱼苗个数相差不大。3 结论设计了一套针对微小鱼苗计数专用图像采样装置,搭建了基于图像预处理的鱼类苗种数据集,为后续苗种识别和数量统计提供数据支撑。通过图像预处理手段,将全局随机检索问题简化为特定目标识别问题,有效降低了后续识别计数算法应用复杂度。结果证明 ResNet34 识别模型在不同数量大菱鲆鱼苗图像识别的有效性,并通过识别每个初步定位目标大菱鲆鱼苗数量实现整张图像大菱鲆鱼苗的全局计数,大菱鲆鱼苗的平均识别和计数精度分别达到 94.27%和 96.28%,为大菱鲆养殖鱼苗孵化率的精准计算提供坚实的技术支撑。本方法虽然实现了特定场景苗种计数,但不可避免地带来了鱼苗损伤问题,下一步将根据本研究结果,尝试引入相关环境补偿算法,实现原始工况场景鱼苗精准计数。参考文献1 张丽,李文全,张伟.大菱鲆健康养殖技术措施J.河北渔业,2012(10):24-25.2 刘立明.海水鱼类繁殖发育生物学与健康养殖技术M.青岛:中国海洋大学出版社,2014.3 CHATAIN B,DEBAS L,BOURDILLON A.A photographic larval fish counting technique:comparison with other methods,statistical appraisal of the procedure and practical useJ.Aquaculture,1996,141(1/2):83-96.4 王硕,范良忠,刘鹰.基于计算机视觉的大菱鲆鱼苗计数方法研究J.渔业现代化,2015,42(1):16-19.5 杨雨辰.一种渔业生物精确检测计数与分级装置的设计与分析J.科技与创新,2016(21):68-69.6 吴丛迪,姜莺颖,徐灿,等.全自动点苗分装器装置的研究J.装备制造技术,2017(3):169-171.7 朱从容.一种基于机器视觉的鱼苗自动计数方法J.渔业现代化,2009,36(2):24-28.8 王文静,徐建瑜,杜秋菊.基于计算机视觉的鱼苗自动计数系统研究J.渔业现代化,2016,43(3):34-38,73.9 王硕,范良忠,刘鹰.基于计算机视觉的大菱鲆鱼苗计数方法研究J.渔业现代化,2015,42(1):16-19.10HE K,ZHANG X,REN S,et al.Deep residual learning for image recognitionJ.IEEE,2016(9):770-778.11SONKA M,HLAVAC V,BOYLE R.Image processing,analysis,and machine visionM.Stamford:Cengage Learning,2015.12GONZLEZ R C,WOODS,R E,MASTERS B R.Digital umage processing M.Massachusetts:Addison-Wesley Longman Publishing Co,1987.13DUAN Y N,LI D L,STIEN L H,et al.Automatic segmentation method for live fish eggs microscopic image analysis J.Aquacultural Engineering,2019,85:49-55.14冈萨雷斯.数字图像处理M.2 版,北京:电子工业出版社,2007.15陆玲,王蕾,桂颖编.数字图像处理M.北京:中国电力出版社,2007.16王树文,闫成新,张天序,等.数学形态学在图像处理中的应用J.计算机工程与应用,2004,40(32):89-92.17陈虎,周朝辉,王守尊.基于数学形态学的图像去噪方法研究J.工程图学学报,2004,25(2):116-119.18 SUZUKI S.Topological structural analysis of digitized binary images by border followingJ.Computer vision,graphics,and image processing,1985,30(1):32-46.19代勤,王延杰,韩广良.基于改进 Hough 变换和透视变换的透视图像矫正J.液晶与显示,2012(4):552-556.20HE K,ZHANG X,REN S,et al.Identity mappings in deep residual networksC.Europen Conference on Computer Vision-ECCV 2016:Lecture Notes in Computer Science,2016,9908:630-645.21涂雪滢,刘世晶,钱程.基于 ResNet 的典型养殖鱼类识别方法研究J.渔业现代化,2022,49(3):81-88.22LE Q V,NGIAM J,COATES A,et al.On optimization methods for deep learning C.Proceedings of the 28th international conference on international conference on machine learning.United States Madison:Associating for Computing Machinery.2011(6):265-272.23李杰.卷积神经网络的权重初始化研究及应用D.青岛:青岛大学,2020.24田娟,李英祥,李彤岩.激活函数在卷积神经网络中的对比研究J.计算机系统应用,2018,27(7):43-49.25邓建国,张素兰,张继福,等.监督学习中的损失函数及应用研究J.大数据,2020,6(1):60-80.26冯宇旭,李裕梅.深度学习优化器方法及学习率衰减方式综述J.数据挖掘,2018,8(4):7-15.27SKOURT B A,EL HASSANIT A,MAJDA A.Mixed-pooling-dropout for convolutional neural network regularization J.Journal of King Saud University:Computer and Information Sciences,2022,34(8):4756-4762.28BANAN A,NASIRI A,TAHERI-GARAVAND A.Deep learning-based appearance features extraction for automated carp species identificationJ.Aquacultural Engineering,2020,89:102053.29赵方琪,盛凌,牛志勇,等.基于 LBP 和 SVM 的焊缝缺陷识别方法J.焊管,2022,45(6):33-38.30王金祥,付立军,尹鹏滨,等.基于 CNN 与 Transformer 的医学图像分割J.计算机系统应用,2023,32(4):141-148.31赵洋,梁迎春,许军,等.改进 ResNet18 网络模型的花卉识别J.计算机技术与发展,2022,32(7):167-172.32张方言,赵梦,周弈志,等.基于 ResNet50 和迁移学习的红鳍东方鲀病鱼检测方法J.渔业现代化,2021,48(4):51-60.69第 1 期涂雪滢等:基于 ResNet34 模型的大菱鲆鱼苗识别计数方法Research on identification and counting method of turbot fry based on ResNet34 modelTU Xueying1,QIAN Cheng1,LIU Shijing1,2,LIU Huang1,2,LI Guodong1,2(1 Fishery Machinery and Instrument Research Institute,Chinese Academy of Fishery Sciences,Shanghai 200092,China;2 Key Laboratory of Fishery Equipment and Engineering,Ministry of Agriculture and Rural Affairs,Shanghai 200092,China)Abstract:The accurate statistics of the number of fry plays an important role in improving the intelligent level of fry quality evaluation,breeding density estimation and fry sales.At present,the counting of Turbot seedling mainly relies on manual labor,which is of high labor intensity and low precision.Because of the characteristics of turbot fry,such as small individual,high transparency and irregular shape,the traditional method of seed counting cannot be directly applied to Turbot seed counting.To solve the above problems,a method of identifying and counting turbot fry based on ResNet34 was proposed.Firstly,a set of image sampling device was designed,which consisted of camera,light source and container,etc.,and was suitable for small target counting.The clear fry image was obtained by adjusting the Angle of camera and light source,and then image preprocessing methods such as background difference,Gaussian filter,global gray linear transformation and morphological processing were used to achieve the foreground segmentation and preliminary positioning of fry.In order to effectively unify the sample space and the target space to be identified,the minimum external moment is used to regularize the foreground image initially,and the regularized sample is used to build the image sample set.In the identification stage of turbot fry,the same pretreatment method was used to obtain the target region to be identified,and ResNet34 framework was introduced as the identification model to realize the accurate identification of the target region seed.Finally,the number of turbot seedlings was calculated by counting the number of targets to be identified.The experimental results showed that the method achieved good accuracy in the identification and counting of tiny fry.The average accuracy of the recognition of turbot fry using ResNet34 framework reached 94.27%,which was 8.64 percentage points higher than that of SVM method and AlexNet method,and 7.4 percentage points higher than that of SVM method.It is better than ResNet18(identification accuracy 93.21%)and ResNet50(identification accuracy 93.83%)and other similar structures.The average accuracy rate of fry counting of the model in this paper is 96.28%,indicating that the proposed sample set construction and identification method can meet the needs of small target counting,and can provide technical reference for fish fry counting.Key words:fry counting;image recognition;turbot;ResNet34 model79