在阅读本文前点个关注，每日分享有价值的信息，感谢支持

草莓因其丰富的营养和独特的风味而受到消费者的青睐。精密室内农业系统（PIFS），特别是带有人造光的垂直农场（又称植物工厂），由于高效土地利用和全年种植的优势，长期以来一直是合适的植物生产场景。近年来，包括Bowery Farming、Oishii Farm和4D Bios在内的一些公司在植物工厂成功种植了草莓。农民和研究人员需要了解植物是如何生长的，并提供植物提高果实产量和质量所需的东西。

植物表型和生产管理是促进遗传学、环境和管理（GEM）研究并提供生产指导的新兴领域。精密室内农业系统（PIFS），特别是带人造光的垂直农场（又称植物工厂），由于高效土地利用和全年种植的优势，长期以来一直是合适的生产场景。

在这项研究中，在一家商业植物工厂内开发了一个移动机器人平台（MRP），以动态了解植物生长，并通过定期监测单个草莓植物和水果，为生长模型的构建和生产管理提供数据支持。产量监测，其中产量=检测到的成熟草莓果实总数，是提供植物表型信息的关键任务。

MRP由一个自主移动机器人（AMR）和一个多层感知机器人（MPR）组成，即MRP =安装在AMR顶部的MPR。AMR能够沿着植物生长行之间的过道移动。MPR由一个数据采集模块组成，该模块可以通过提升模块提升到每行任何植物生长层的高度

将AprilTag观测（由单目相机捕获）添加到惯性导航系统中，以形成ATI导航系统，增强了工厂重复和狭窄的物理结构中的MRP导航，以捕获和关联每种草莓植物的生长和位置信息。MRP在各种行驶速度下性能强劲，定位精度为13.0毫米。

整个工厂的时间空间产量监测可以通过MRP的定期检查来指导农民按时收获草莓。当以0.2米/秒的恒定MRP行驶速度检查工厂时，产量监测性能的错误率为6.26%。

一、移动机器人平台

在这项研究中，开发了一个在具有多个植物生长层的PIFS内运行的MRP，以动态监测植物生长，并为支持作物生长模型构建和生产管理提供数据。模块化设计的MRP由AMR（即移动底座）和MPR（即升降模块+感知模块）组成，其中MRP = MPR安装在AMR顶部。

AMR能够沿着植物生长行（即x方向）之间的过道移动，具有高定位精度（PA）和强大的导航能力。MPR有一个感知模块（用于数据采集），该模块可以通过提升模块升高，以达到PIFS内每行所有植物生长层的高度（z方向）。

AMR和MPR的组装可以在整个工厂内自动获取、存储和传输所有单个工厂的表型数据。此外，在MRP中设计并安装了多种故障检测措施。自2022年7月以来，MRP一直在一家商业草莓生产工厂运营，到目前为止一直按预期工作。

二、MRP的两个基本功能

1、多位置数据采集导航

AMR中安装的导航系统包括导航传感器、工业计算机和低级控制系统。ROS是在工业计算机中实施的，用于收集数据并进行导航管道。导航管道中有五个ROS节点，包括一个障碍检测节点、一个本地化节点、一个导航节点、一个状态机节点和一个低级通信节点。

MRP的实时姿势（位置和航向）是从相机、IMU和车轮编码器通过定位节点计算的。导航节点接收姿势，以进行全局路径规划和本地路径跟踪，这反过来又以50赫兹的频率生成MRP的目标角速度和线性速度。

二维激光雷达从障碍物检测节点捕获的障碍物信息和从定位节点的定位状态（成功或失败）被发送到状态机节点。来自状态机节点的系统更新状态和来自导航节点的目标速度被传输到低级通信节点，然后该节点计算两个电机的目标速度，并通过串行通信将它们发送到低级控制板。

2、产量监测

在MRP检查后，可以以视频格式记录植物种植行各层草莓的生长状况。在这项研究中，我们开发了一种草莓产量监测方法。视频计数法包括两个阶段：成熟水果的检测和计数。

水果检测成熟度检测是产量监测管道的第一步。考虑到检测任务对速度和准确性有很高的要求，选择了单级探测器YOLOv5来检测成熟的草莓。

探测器的框架可以分为四个部分：马赛克数据增强输入，CSPDarknet56作为骨干，颈部应用特征金字塔网络（FPN）和路径聚合网络（PAN），以及使用GIoU损失的预测。通过调整网络的深度和宽度，产生了各种变体。YOLOv5l6用于本研究，在NVIDIA® V100 Tensor Core GPU上运行的推断时间为15.1毫秒。

水果计数展示了一个水果计数管道，用于在视频中计数成熟的草莓，包括关键帧提取、水果检测和后处理。最佳模型重量是根据在验证集上计算的成熟草莓0.994的mAP@0.5值来选择的。我们发现，在测试集上可以获得0.945的mAP@0.5值。带有遮挡的草莓生长场景可以通过水果检测模型准确识别。

我们发现，当r的值大于15，v的值为0.2、0.3或0.4 m/s时，它和i几乎没有变化。在这个实验中，r的值从2设置为15，v的值为0.3 m/s。计算了相应的i和e值以及水果计数的相对错误率，errC，并根据e值按升序显示在表4中。errC的价值通常随着e的增加而增加。

当e的值超过0.1时，errC相对较大且波动。当i的值相对较小时，e对errC的影响更加明显。通过观察实验结果，其值设置为4。在这个实验中，r的值被选择为15、10和6。最终的errC计算为3.3%。也存在一些限制。我们假设d的值是恒定的。

然而，草莓和RealSense相机之间的距离差异存在于生产场景中，这影响了算法的准确性。这个问题可以通过动态地将深度相机捕获的d的准确值引入算法来解决。当v高时，两个相邻帧的重叠将更少。这反过来将限制r值的范围，可容忍的错误率将变小。

三、实验程序

在这项研究中，于2022年12月在一家商业草莓工厂进行了实验。Fragaria × ananassa Duch. cv.浙江农业科学院（中国浙江杭州）培育的悦心植物是在四层种植结构上种植的。实验是在墙附近的一排三层四层种植结构上进行的。每个种植结构的每一层都有12个种植盆，每个种植盆都种植了5株草莓。对总共720株草莓植物进行了实验（即5株/盆×12盆/层×4层/种植结构×3株种植结构=720株）。

四、处理方法

关键帧提取 考虑到任何单个草莓水果都可能出现在所捕获视频的多帧中，水果可能被计算的次数不是固定的。因此，无法直接积累水果检测结果来获得计数结果。应用关键帧提取的概念来修复重复计数的次数。像素坐标系dp中两个相邻关键帧的像素距离由方程式计算。

集成了后处理后处理方法，以进一步提高计数精度，包括距离过滤、边缘过滤和多序列平均值。在MRP检查过程中，其他植物种植行上的草莓可能会进入相机的视野。基于检测结果的边界盒（bbox）大小的距离过滤方法被开发出来，以消除位于实验区域外的草莓对计数的干扰。使用了边缘过滤方法来防止图像边缘部分可见的草莓被反复计数。只计算了出现在左边缘的草莓，而出现在右边缘的草莓被忽略了。

五、检查能力

1、运动控制

运动控制系统在0.2、0.3和0.4 m/s的标称MRP行驶速度下稳定工作。数据显示了距离控制器和航向控制器在不同速度下的性能。三个设定速度的检查持续时间分别为113.6、78.6和62.1秒。总平均速度分别为0.189、0.273和0.346米/秒。

蓝线表示导航过程中本地路径规划器中MRP和目标位置之间的距离。一开始，Dislocal的值约为2.4米，这是Tag 5和Tag 7之间的距离。随着机器人向前移动，Dislocal的值线性下降。当MRP达到标签6时，本地目标已更新为标签8。

此时，Dislocal的值恢复到约2.4米，即标签6和标签8之间的距离。当MRP达到Tag 22时，本地目标不再更新。随着机器人向全球目标Tag 23移动，Dislocal的值逐渐减至零。MRP从零加速到设定的行进速度，在检查期间保持速度，并逐渐减速，直到到达全球目标标签23，没有超调。

在图的右侧，红线代表了导航过程中从MRP到本地路径规划器Yawlocal中目标位置的标题。Yawlocal的价值大部分时间都在0.01 rad以内，由于本地路径规划器中目标位置的更新，偶尔会上升到0.03 rad，这对表型数据采集影响不大。控制系统确保在MRP的各种移动速度下平稳和低误差运动，以获得稳定的视频收集质量。

2、产量监测

计算了24个测试视频（每个MRP行驶速度8个视频）的errC和errY，并显示在表5中。我们发现，该系统在各种MRP行驶速度下显示出强大的监测结果，其中errC在2%至3%之间，errY在6%至10%之间。在MRP行驶速度为0.2米/秒时，最佳产量估计性能的错误率为6.26%。实验区植物生长行的四个联系对应于四个草莓生长密度。在处理各种水果密度的场景时，我们的算法具有很高的成熟度。

由于MRP运动过程中射击角度的变化，同样的草莓在不同帧中出现不同。由于红色在水果上的分布，未成熟的草莓可能会从不同角度被检测为成熟或未成熟的草莓，这使得nYGT小于nCGT。拟议的产量监测方法是基于检测的管道，其中错误检测导致更高的错误。为了应对上述挑战并获得更高的产量估计准确性，存在一个潜在的解决方案，即使用原始视频数据进行处理。MRP捕获的视频可以提供空间和时间信息，以便更好地跟踪和检测单个水果。然而，大量必要的计算时间是这个解决方案的局限性。

参考文献：

1、Translating high-throughput phenotyping into genetic gain. Araus J. L., Kefauver S. C., Zaman-Allah M., Olsen M. S., Cairns J. E. (2018).Trends Plant Sci.

2、Field-based robotic phenotyping of sorghum plant architecture using stereo vision. Bao Y., Tang L., Breitzman M. W., Fernandez M. G. S., Schnable P. S. (2019).

3、Yolov4: Optimal speed and accuracy of object detection. Bochkovskiy A., Wang C.-Y., Liao H.-Y. M. (2020).

4、Sloam: Semantic lidar odometry and mapping for forest inventory. Chen S. W., Nardari G. V., Lee E. S., Qu C., Liu X., Romero R. A. F., et al.. (2020). IEEE Robot.

5、Counting apples and oranges with deep learning: A data-driven approach. Chen S. W., Shivakumar S. S., Dcunha S., Das J., Okon E., Qu C., et al.. (2017). IEEE Robot.