基于计算机视觉的奶牛体尺、体温和体重监测

站长网2023-05-24 20:11:037阅

本文节选自：

康熙, 刘刚, 初梦苑, 李前, 王彦超. 基于计算机视觉的奶牛生理参数监测与疾病诊断研究进展及挑战[J]. 智慧农业(中英文), 2022, 4(2): 1-18.

KANG Xi, LIU Gang, CHU Mengyuan, LI Qian, WANG Yanchao. Advances and Challenges in Physiological Parameters Monitoring and Diseases Diagnosing of Dairy Cows Based on Computer Vision[J]. Smart Agriculture, 2022, 4(2): 1-18.

知网阅读

官网阅读（全文，免费）

基于计算机视觉的奶牛体尺、体温和体重监测

奶牛生理参数主要包括体尺、体温、呼吸频率和血液生化指标等，奶牛生理参数的监测对于保障奶牛的生产性能、健康状况和经济价值具有十分重要的意义。其中，基于计算机视觉技术的奶牛体温和体尺参数监测已被广泛研究，通过无应激的手段实时监测奶牛生理参数，可为养殖场人员及时提供奶牛生理指标，以确保奶牛的养殖安全和生活福利。奶牛生理参数监测技术示意图如图1所示。本节介绍奶牛体尺、体温和体重三方面的监测研究进展。

图1 奶牛生理参数监测技术示意图

Fig. 1 Sketch map of monitoring technique for cow physiological parameters

奶牛体尺监测

奶牛的体尺参数不仅为畜牧专家选种育种提供参考依据，还是养殖场评估奶牛个体或群体生产性能的重要标准。长期以来，奶牛体尺通常采用测杖、卷尺和皮尺等工具进行手工测量，该方式易受人为主观因素影响，且有损动物福利。随着养殖场向着规模化发展，人工测量不仅更加费时费力，而且数据管理较为困难。

计算机视觉技术可以实现奶牛体尺的无接触、无应激测量。研究者借助可见光相机、深度相机等设备获取奶牛图像数据后，通过图像预处理、计算、预测与度量等操作，实现奶牛体尺参数的自动化测量，并取得了丰硕的研究成果。

奶牛体尺自动测量技术在研究初期多是基于二维图像展开的，研究人员利用可见光相机、热红外相机或深度相机获取奶牛二维图像数据并进行处理分析。但热红外相机成本普遍较高，并且热红外图像分辨率和对比度偏低，不利于奶牛体尺测量技术的应用和推广。后续有研究借助可见光相机采集奶牛彩色图像，但彩色图像中的奶牛目标易受养殖场复杂环境影响，分割效果较为粗糙。深度相机的工作原理通常是根据相机与物体之间的距离进行成像，所以目标分割难度较小，分割效果更加清晰。因此，后续研究多采用深度相机进行数据采集。表1总结了当前较为典型的基于计算机视觉的奶牛体尺检测研究成果。

表 1 基于计算机视觉技术的奶牛体尺测量相关研究

Table 1 Researches on computer vision-based measurement of body size of dairy cows

早期研究多利用传统的数字图像处理方法定位奶牛体尺测点，估测奶牛体尺参数，但该方法易受环境等外界因素影响，导致奶牛体尺估测精度较低。随着人工智能技术的快速发展，深度学习技术应用于奶牛体尺测点定位研究，显著地提高了检测精度。深度学习技术可以筛选质量较好的图像，用于定位体尺测点，在奶牛形态测量评估中具有较大的应用潜力。基于二维图像的奶牛体尺测量研究处理算法较为简单，且计算速度快，基本满足奶牛体尺实时测量的要求。但对于奶牛胸围、腹围、管围等体尺围度的测量，则表现出一定的局限性。

随着三维重建技术的不断发展以及消费级深度相机的普及应用，研究人员将三维点云处理技术应用于奶牛体尺自动测量领域，并且验证了三维点云处理技术在奶牛体尺参数自动测量方面的可行性。有研究采用Kinect、Xtion等消费级深度相机采集奶牛深度图像，并将深度图像转换为三维点云，通过三维点云处理方法定位奶牛体尺测点，进而计算体尺参数。但消费级深度相机通常易受强光照干扰，且当观测对象运动时容易出现图像模糊，影响奶牛体尺测点定位精度。研究人员针对这一问题，利用三维激光扫描仪直接获取奶牛体表点云数据，并重构完整的奶牛点云模型，进而计算奶牛各项体尺数据，精度有了较大提高。但三维扫描仪采集的数据量较大，导致点云处理时间较长，且三维扫描仪成本较高，不利于奶牛体尺测量技术的实时计算与应用推广。因此，大多数研究仍采用消费级深度相机进行奶牛体尺自动测量，通过算法创新与改进，提升奶牛体尺测点定位精度。随着奶牛体尺测量研究的逐步深入，奶牛围度体尺自动测量受到研究者的广泛关注，多目相机的体尺检测以及奶牛体尺对体重、发育程度和健康状况的评估成为目前奶牛体尺自动测量研究的热点。

综上所述，利用消费级深度相机采集奶牛深度信息，并转换为三维点云数据，通过计算机视觉和深度学习等先进技术，自动计算奶牛体尺参数，成为目前奶牛体尺自动测量领域的主要方法与研究热点。但如何提高点云处理速度、体尺测点定位精度、算法普适性与鲁棒性仍是目前研究亟需突破的关键问题。

奶牛体温监测

体温是评价奶牛健康和生理状况的第一指标，及时准确地检测体温变化对奶牛养殖和健康管理具有重要意义。奶牛的正常体温为38.5~39.5 ℃，疾病、发情和热应激等原因均会造成奶牛体温的变化。直肠温被认为是评定动物体热平衡状态的首要生理指标，临床上通常使用直肠温代表奶牛体温，因此传统的奶牛体温检测多采用人工直肠测温方法。然而，这种方法费时费力、创伤性较大，并且由于测温时奶牛需要被控制，极易引起应激反应，导致奶牛体温升高，从而降低体温检测的准确性。热红外相机可以探测物体辐射出的红外线，转化成为人眼可见的二维图像，非接触式地测量物体表面温度。随着热成像技术的发展和热红外相机的广泛应用，这种无损、无接触的测温方式有效地避免了上述传统测温方式所带来的问题，为奶牛体温检测研究提供了新的方向。热红外相机的主要组成结构为：光学镜头、红外探测器和信号采集电路。物体表面辐射出的红外电磁波由光学镜头接收，再传输到红外探测器，红外探测器将红外辐射转换成对应的图像，获取物体的温度分布状况，其工作原理如图2所示。

图2 热红外相机工作原理示意图

Fig. 2 Schematic diagram of working principle of thermal infrared camera

研究人员开展了基于热红外相机的奶牛体温检测相关研究，表2所示为该领域较为典型的研究成果。从方法和技术层面来看，将热成像技术应用于养殖场的奶牛体温检测工作中，主要面临以下三大问题，大部分的研究也是围绕这三项问题开展的。

表 2 基于计算机视觉技术的奶牛体温检测相关研究

Table 2 Researches on computer vision-based temperature detection of dairy cows

首先，动物的体温一般使用其体核温度（动物机体内部器官或深部组织的热量状态）表示，热红外相机获取的是奶牛体表温度。因此，探究体表温度与体核温度间的相关性以及体表温度能否作为体核温度的有效代替指标是需要解决的关键问题。近年来，许多研究人员开展了热红外图像中奶牛不同部位体表温度与体核温度之间相关性的研究。其中，热红外相机所检测的奶牛身体部位主要包括眼睛、耳后、前额、腹部、外阴、乳房和蹄部等。结果表明，奶牛眼睛、前额温度与直肠温之间存在较高的相关性，可用于奶牛体温的检测。

其次，由于热红外相机获取的是奶牛热图像，其中感兴趣区域（Region of interest，ROI）的温度提取需要在图像中对该区域进行定位，眼睛等ROI区域通过专用的软件由人工标定，费时费力且自动化水平较低。因此，研究人员开展了热红外图像中ROI区域自动定位的方法研究。由于热红外图像分辨率较低、ROI区域面积较小、特征不明显并且奶牛姿态多变，导致了直接对ROI区域定位的精度较低。研究人员通过ROI区域与头部、身体的相对位置关系，结合图像处理、骨架树及深度学习等模型实现了热红外图像中ROI区域较为准确的定位，但上述方法仍受奶牛头部姿态变化影响，定位精度仍有待提高。

最后，虽然奶牛作为高等动物具有完善的体温调节机制，能够在外界环境温度改变时，通过调节机体的产热和散热过程，维持体核温度的相对恒定。但体表温度易受环境变化的影响，因此研究人员针对明确影响热红外相机温度检测的养殖场环境因素，以及如何对该影响进行补偿进而提高检测精度的问题开展了研究。研究结果表明，奶牛体表温度会随环境温度的变化而变化，且不同部位表面温度受环境温度影响不同，其中奶牛眼温受环境影响较小，较为适合用于基于热红外视频的奶牛体温监测研究。此外，相机与拍摄目标的距离、大气对红外辐射能量的吸收等因素都会影响其检测精度。因此，在实际应用中，应充分考虑各种影响测量准确性的因素，并加以调节反馈进而保证获取温度的准确性。

总而言之，基于热红外视频的奶牛体温监测技术相较于人工检测方法具有节省人力物力、无损伤和无应激等优点，是智慧畜牧业中畜禽信息智能感知技术的重要组成部分，但该技术对奶牛体温获取的精度仍有待进一步提高，热红外图像中的目标精准检测以及监测系统对环境鲁棒性的提升是基于热红外视频的奶牛体温监测技术普及应用的关键。

奶牛体重监测

奶牛体重监测在饲养繁殖过程中占据着重要地位，奶牛体重参数不仅反映其日增重、产奶量、食物转化率与生产性能等重要指标，还是监测奶牛生长发育状况的主要依据。目前国内大多养殖场仍采用传统的体重秤称重方式，由于奶牛难以长时间保持静止不动姿态站立于体重秤上，因此在实际测量过程中，奶牛称重结果精度不高。并且驱赶奶牛上称时，易对奶牛造成应激，称重结果更加难以控制，且有损动物福利。

随着信息技术的快速发展，有研究提出应用计算机视觉等技术，进行奶牛体重等生理参数的自动测量。该方式不仅可以无应激、无接触式测量奶牛体重，避免造成奶牛应激，而且省时省力，数据管理与存储效率较高。研究者借助可见光相机、深度相机等数据采集设备，实现了基于计算机视觉的奶牛体重自动测量，取得了较多研究成果，如表3所示。

表3 基于计算机视觉技术的奶牛体重测量相关研究

Table 3 Researches on computer vision-based weight measurement of dairy cows

根据体重估测模型中所采用的模型参数不同，基于计算机视觉的奶牛体重测量研究主要分为三类，包括基于体尺、基于面积与基于体积的奶牛体重测量模型。研究初期已有许多研究者提出了采用人工测量的奶牛体尺参数，建立经验公式、多元回归模型等用于估测奶牛体重。因此，基于计算机视觉的奶牛体重自动测量技术在研究初期，多将研究重点集中于奶牛体尺自动测量方面，通过降低体尺测量误差，优化体重估测模型，来提高奶牛体重估测模型精度。基于体尺参数的奶牛体重估测模型，通常选取奶牛体斜长、体高、胸围、腹围与管围等体尺参数构建多元回归模型。其中，多项研究表明，奶牛体重与胸围、体深、腹宽等参数相关性较强。

基于面积的奶牛体重测量模型，又可分为基于投影面积与基于表面积的测量模型。其中，基于投影面积的奶牛体重测量模型，通常是利用可见光相机或深度相机采集奶牛俯视或侧视图像数据，通过图像预处理、奶牛目标分割等操作，计算奶牛身体区域像素点数作为奶牛在图像中的投影面积，并进一步结合奶牛体尺等数据建立体重估测模型。另外，基于表面积的奶牛体重测量模型，通常采用深度相机采集奶牛俯视与侧视等多视角深度数据，并将深度图像转换为三维模型，通过计算奶牛三维模型的表面积，估测奶牛体重。其中，虽然基于投影面积的奶牛体重估测模型的图像处理步骤简洁、构建速度快，但模型精度通常低于基于表面积的奶牛体重估测模型。

基于体积的奶牛体重测量模型与基于表面积的体重模型方法相似，二者都是先利用深度相机构建奶牛三维模型，然后计算模型体积参数，建立奶牛体重估测回归模型。其中，也有研究提出基于奶牛体深与体直长等参数，将躯干近似为圆柱体，基于奶牛头部体尺参数，将头部近似为圆锥体，计算圆柱体与圆锥体体积之和，估测奶牛、猪等家畜体重。但相关研究大多仍采用基于奶牛三维模型体积参数，构建体重估测模型。因此，构建精准的奶牛三维模型、提高多视角数据配准精度，成为该方法的研究重点。

综上所述，利用深度相机构建奶牛三维模型，利用计算机视觉、深度学习与多元回归分析等先进技术，计算奶牛直线体尺、围度体尺、投影面积、表面积与体积等表型参数，优化奶牛体重估测模型，成为目前基于计算机视觉的奶牛体重测量领域的研究热点。但仍需进一步探明各项表型参数与奶牛体重的相关性，提高奶牛体重估测模型普适性与鲁棒性。

小

店

欢迎光临选购

智慧农业微信交流服务群

为方便农业科学领域读者、作者和审稿专家学术交流，促进智慧农业发展，为更好地服务广大读者、作者和审稿人，编辑部建立了微信交流服务群，有关专业领域内的问题讨论、投稿相关的问题均可在群里咨询。入群方法：加小编微信331760296，备注：姓名、单位、研究方向，小编拉您进群，机构营销广告人员勿扰。