计算机视觉中 YOLO 架构的全面回顾：从 YOLOv1 到 YOLOv8 和 YOLO-NAS

1 介绍

除了 YOLO 框架之外，对象检测和图像处理领域还开发了其他几种值得注意的方法。R-CNN（基于区域的卷积神经网络）[1]及其后继技术Fast R-CNN[2]和Faster R-CNN[3]在提高目标检测的准确性方面发挥了关键作用。这些方法依赖于两阶段过程，其中选择性搜索生成区域建议，卷积神经网络对这些区域进行分类和细化。另一种重要的方法是单次多盒检测器（SSD）[4]，它与YOLO类似，通过消除单独的区域建议步骤来专注于速度和效率。此外，Mask R-NN [5]等方法具有实例分割的扩展功能，可实现精确的对象定位和像素级分割。这些发展，以及RetinaNet [6]和EfficientDet [7]等其他发展，共同促进了目标检测算法的多样化。每种方法在速度、准确性和复杂性之间都有独特的权衡，以满足不同的应用需求和计算限制。

2 YOLO 在不同领域的应用

安全系统集成了YOLO模型，用于实时监控和分析视频源，从而可以快速检测可疑活动[34]、保持社交距离和口罩检测[35]。这些模型还应用于表面检测，以检测缺陷和异常，从而加强制造和生产过程中的质量控制[36,37,38]。在交通应用中，YOLO模型已被用于车牌检测[39]和交通标志识别[40]等任务，为智能交通系统和交通管理解决方案的开发做出了贡献。它们已被用于野生动物检测和监测，以识别濒危物种，以保护生物多样性和生态系统管理[41]。最后，YOLO已广泛应用于机器人应用[42,43]和无人机的物体
检测[44,45]。图2显示了在Scopus中找到的所有论文的文献计量网络可视化，标题中带有YOLO一词，并按对象检测关键字进行过滤。然后，我们手动过滤所有与应用程序相关的论文。

3 对象检测指标和非最大抑制 （NMS）

3.1 AP 如何工作？

处理多个对象类别：对象检测模型必须识别和定位图像中的多个对象类别。AP 指标通过单独计算每个类别的平均精度 （AP），然后取这些 AP 在所有类别中的平均值来解决这个问题（这就是为什么它也称为平均平均精度）。这种方法可确保针对每个类别单独评估模型的性能，从而对模型的整体性能进行更全面的评估。交集：对象检测旨在通过预测边界框来准确定位图像中的对象。AP 指标包含并交 （IoU） 度量，以评估预测边界框的质量。IoU 是相交面积与预测边界框和地面实况边界框的并集面积之比（见图 3）。它测量基本实况和预测边界框之间的重叠。COCO 基准测试考虑了多个 IoU 阈值来评估模型在不同定位精度水平下的性能。

3.2 计算AP

VOC数据集

1. 对于每个类别，通过改变模型预测的置信阈值来计算精度-召回率曲线。
2. 使用精确率-召回率曲线的插值 11 点抽样计算每个类别的平均精度 （AP）。
3. 通过取所有 20 个类别的 AP 的平均值来计算最终平均精度 （AP）。

Microsoft COCO 数据集

1. 对于每个类别，通过改变模型预测的置信阈值来计算精度-召回率曲线。
2. 使用 101 次召回阈值计算每个类别的平均精度 （AP）。
3. 计算不同交集跨并集 （IoU） 阈值下的 AP，通常从 0.5 到 0.95，步长为 0.05。更高的 IoU 阈值需要更准确的预测才能被视为真阳性。
4. 对于每个 IoU 阈值，取所有 80 个类别的 AP 的平均值。
5. 最后，通过对在每个 IoU 阈值下计算的 AP 值进行平均来计算整体 AP。

3.3 非最大抑制 （NMS）

Algorithm 1 Non-Maximum Suppression Algorithm
Require: Set of predicted bounding boxes \(B\), confidence scores \(S\), IoU threshold \(\tau\), confidence threshold \(T\)
Ensure: Set of filtered bounding boxes \(F\)
    \(F \leftarrow \emptyset\)
    Filter the boxes: \(B \leftarrow\{b \in B \mid S(b) \geq T\}\)
    Sort the boxes \(B\) by their confidence scores in descending order
    while \(B \neq \emptyset\) do
        Select the box \(b\) with the highest confidence score
        Add \(b\) to the set of final boxes \(F: F \leftarrow F \cup\{b\}\)
        Remove \(b\) from the set of boxes \(B: B \leftarrow B-\{b\}\)
        for all remaining boxes \(r\) in \(B\) do
            Calculate the IoU between \(b\) and \(r: i o u \leftarrow I o U(b, r)\)
            if \(i o u \geq \tau\) then
                Remove \(r\) from the set of boxes \(B: B \leftarrow B-\{r\}\)
            end if
        end for
    end while

4 YOLO：你只看一次

4.1 YOLOv1 是如何工作的？

YOLOv1 在 PASCAL VOC2007 数据集上的平均精度 （AP） 为 63.4。

4.2 YOLOv1 架构

4.3 YOLOv1 训练

作者以$224\times 224$$224\times 224$224 xx224224 \times 224使用ImageNet数据集[52]。然后，他们添加了具有随机初始化权重的最后四层，并使用PASCAL VOC 2007和VOC 2012数据集[46]对模型进行了微调，分辨率$448\times 448$$448\times 448$448 xx448448 \times 448以增加细节以实现更准确的对象检测。对于增强，作者使用随机缩放和最多$20\mathrm{\%}$$20\mathrm{\%}$20%20 \%输入图像大小，以及 HSV 色彩空间中上端系数为 1.5 的随机曝光和饱和度。 YOLOv1 使用了一个由多个和平方误差组成的损失函数，如图 6 所示。在损失函数中，${\lambda }_{\text{coord}}=5$${\lambda }_{\text{coord }}=5$lambda_("coord ")=5\lambda_{\text {coord }}=5是一个比例因子，它更重视边界框预测，并且${\lambda }_{\text{noobj}}=0.5$${\lambda }_{\text{noobj }}=0.5$lambda_("noobj ")=0.5\lambda_{\text {noobj }}=0.5是一个比例因子，可降低不包含对象的框的重要性。损失的前两项表示局部化损失;它计算预测边界框位置 （$x,y$$x,y$x,yx, y） 和尺寸 （$w,h$$w,h$w,hw, h).请注意，这些错误仅在包含对象（由${\mathbb{1}}_{ij}^{obj}$${\mathbb{1}}_{ij}^{obj}$1_(ij)^(obj)\mathbb{1}_{i j}^{o b j}），仅当该网格单元格中存在对象时才会受到惩罚。第三和第四损失项表示置信损失;第三项测量在盒子中检测到物体时的置信度误差（${\mathbb{1}}_{ij}^{obj}$${\mathbb{1}}_{ij}^{obj}$1_(ij)^(obj)\mathbb{1}_{i j}^{o b j}）和第四项测量在盒子中未检测到物体时的置信误差$\left({\mathbb{1}}_{ij}^{\text{noobj}}\right)$$\left({\mathbb{1}}_{ij}^{\text{noobj }}\right)$(1_(ij)^("noobj "))\left(\mathbb{1}_{i j}^{\text {noobj }}\right).由于大多数框都是空的，因此这种损失会被${\lambda }_{\text{noob}j}$${\lambda }_{\text{noob }j}$lambda_("noob "j)\lambda_{\text {noob } j}术语。最后一个损失分量是分类损失，仅当对象出现在单元格中时，它才测量每个类的类条件概率的平方误差$\left({\mathbb{1}}_i^{obj}\right)$$\left({\mathbb{1}}_i^{obj}\right)$(1_(i)^(obj))\left(\mathbb{1}_{i}^{o b j}\right).

4.4 YOLOv1 的优势和局限性

1. 它最多只能检测网格单元中两个同类的物体，限制了它预测附近物体的能力。
2. 它很难预测具有训练数据中未看到的纵横比的物体。
3. 由于下采样层，它从粗糙的物体特征中学习。

5 YOLOv2：更好、更快、更强

1. 所有卷积层的批量归一化改善了收敛性，并充当正则化器以减少过度拟合。
2. 高分辨率分类器。与YOLOv1 一样，他们用 ImageNet 对模型进行了预训练$224\times 224$$224\times 224$224 xx224224 \times 224.然而，这一次，他们在 ImageNet 上对模型进行了十个纪元的微调，分辨率为$448\times 448$$448\times 448$448 xx448448 \times 448，提高了更高分辨率输入的网络性能。
3. 完全卷积。他们去除了致密层并使用了完全卷积的架构。
4. 使用锚框预测边界框。它们使用一组先验的框或锚框，这些框具有预定义形状，用于匹配对象的原型形状，如图 7 所示。为每个网格单元定义多个锚框，系统预测每个锚框的坐标和类。网络输出的大小与每个网格单元的锚框数量成正比。
5. 维度聚类。选择良好的先验框有助于网络学习预测更准确的边界框。作者在训练边界框上运行了k-means聚类，以找到良好的先验。他们选择了五个先前的盒子，在召回率和模型复杂性之间提供了良好的权衡。
6. 直接位置预测。与其他预测偏移量的方法不同[3]，YOLOv2遵循相同的理念，预测相对于网格单元的位置坐标。该网络预测每个像元的五个边界框，每个边界框有五个值$t_x,t_y,t_w,t_h$$t_x,t_y,t_w,t_h$t_(x),t_(y),t_(w),t_(h)t_{x}, t_{y}, t_{w}, t_{h}和$t_o$$t_o$t_(o)t_{o}哪里$t_o$$t_o$t_(o)t_{o}相当于$Pc$$Pc$PcP c从 YOLOv1 得到最终的边界框坐标，如图 8 所示。
7. Finner 颗粒特征。YOLOv2 与 YOLOv1 相比，去除了一个池化层以获得输出特征图或网格$13\times 13$$13\times 13$13 xx1313 \times 13用于输入图像$416\times 416$$416\times 416$416 xx416416 \times 416.YOLOv2 还使用一个直通层，该层将$26\times 26\times 512$$26\times 26\times 512$26 xx26 xx51226 \times 26 \times 512特征图，并通过将相邻特征堆叠到不同的通道中而不是通过空间子采样丢失它们来重新组织它。这会生成$13\times 13\times 2048$$13\times 13\times 2048$13 xx13 xx204813 \times 13 \times 2048在通道维度中以较低分辨率连接的特征图$13\times 13\times 1024$$13\times 13\times 1024$13 xx13 xx102413 \times 13 \times 1024获取的地图$13\times 13\times 3072$$13\times 13\times 3072$13 xx13 xx307213 \times 13 \times 3072特征图。有关架构详细信息，请参见表 2。
8. 多尺度训练。由于 YOLOv2 不使用全连接层，因此输入可以有不同的大小。为了使YOLOv2对不同的输入大小具有鲁棒性，作者随机训练了模型，将输入大小-从中更改为$320\times 320$$320\times 320$320 xx320320 \times 320为止$608\times 608$$608\times 608$608 xx608608 \times 608- 每十批。
   

   

5.1 YOLOv2 架构

YOLOv2 使用的骨干架构称为 Darknet-19，包含 19 个卷积层和 5 个 maxpooling 层。与YOLOv1的架构类似，它的灵感来自网络中的网络[51]，使用。$1\times 1$$1\times 1$1xx11 \times 1

5.2 YOLO9000 是更强的 YOLOv2

6 YOLOv3

1. 边界框预测。与YOLOv2一样，该网络预测每个边界框的四个坐标$t_x,t_y$$t_x,t_y$t_(x),t_(y)t_{x}, t_{y},$t_w$$t_w$t_(w)t_{w}和$t_h$$t_h$t_(h)t_{h};然而，这一次，YOLOv3 使用逻辑回归预测每个边界框的客观性分数。对于与地面实况重叠最高的锚框，此分数为 1，其余锚框为 0。与 Faster R-CNN [3] 相比，YOLOv3 只为每个地面实况对象分配一个锚框。此外，如果未为对象分配锚框，则只会产生分类损失，而不会导致本地化损失或置信度损失。
2. 类预测。他们没有使用softmax进行分类，而是使用二元交叉熵来训练独立的逻辑分类器，并将问题作为多标签分类提出。这一变化允许将多个标签分配给同一个框，这可能发生在一些标签重叠的复杂数据集[55]上。例如，同一个对象可以是 Person 和 Man。
3. 新的骨干。YOLOv3 具有一个更大的特征提取器，由 53 个具有残差连接的卷积层组成。第 6.1 节更详细地描述了该体系结构。

4. 空间金字塔池化（SPP）虽然论文中没有提到，但作者还在主干网中添加了一个修改的SPP块[56]，该块连接了多个最大池化输出，无需子采样（步幅 = 1），每个输出具有不同的内核大小$k\times k$$k\times k$k xx kk \times k哪里$k=1,5,9,13$$k=1,5,9,13$k=1,5,9,13k=1,5,9,13允许更大的感受野。这个版本称为YOLOv3-spp，是性能最好的版本，改进了${\mathrm{AP}}_{50}$${\mathrm{AP}}_{50}$AP_(50)\mathrm{AP}_{50}由$2.7\mathrm{\%}$$2.7\mathrm{\%}$2.7%2.7 \%.
5. 多尺度预测。与特征金字塔网络[57]类似，YOLOv3预测了三种不同尺度的三个盒子。第 6.2 节描述了多尺度预测机制，并提供了更多详细信息。
6. 边界框先验。与YOLOv2一样，作者也使用k-means来确定锚框的边界框先验。不同之处在于，在YOLOv2中，他们每个单元格总共使用了五个先验框，而在YOLOv3中，他们为三个不同的比例使用了三个先验框。

6.1 YOLOv3 架构

层	过滤器大小	重复		输出大小
图像	$416\times 416$$416\times 416$416 xx416416 \times 416
转换	$323\times 3/1$$323\times 3/1$32quad3xx3//132 \quad 3 \times 3 / 1	1		$416\times 416$$416\times 416$416 xx416416 \times 416
转换	$643\times 3/2$$643\times 3/2$64quad3xx3//264 \quad 3 \times 3 / 2	1		$208\times 208$$208\times 208$208 xx208208 \times 208
残余	$321\times 1/1$$321\times 1/1$32quad1xx1//132 \quad 1 \times 1 / 1	Conv Residual	$\times 1$$\times 1$xx1\times 1	$208\times 208$$208\times 208$208 xx208208 \times 208
转换	$1283\times 3/2$$1283\times 3/2$1283 xx3//21283 \times 3 / 2	1		$104\times 104$$104\times 104$104 xx104104 \times 104
转换	$641\times 1/1$$641\times 1/1$641 xx1//1641 \times 1 / 1	转换		$104\times 104$$104\times 104$104 xx104104 \times 104
转换		转换	$\times 2$$\times 2$xx2\times 2	$104\times 104$$104\times 104$104 xx104104 \times 104
残余
转换	$2563\times 3/2$$2563\times 3/2$2563 xx3//22563 \times 3 / 2			$2563\times 3/211152260$$2563\times 3/211152260$2563 xx3//2111522602563 \times 3 / 211152260	残余
转换	$1281\times 1/1$$1281\times 1/1$128quad1xx1//1128 \quad 1 \times 1 / 1	转换		$52\times 52$$52\times 52$52 xx5252 \times 52
转换	$2563\times 3/1$$2563\times 3/1$2563 xx3//12563 \times 3 / 1	转换	$\times 8$$\times 8$xx8\times 8	$52\times 52$$52\times 52$52 xx5252 \times 52
残余	残余 $52\times 52$$52\times 52$52 xx5252 \times 52 Residual 52 xx52| Residual | | :--- | | $52 \times 52$ |
转换
转换	$2561\times 1/1$$2561\times 1/1$2561 xx1//12561 \times 1 / 1	转换		$26\times 26$$26\times 26$26 xx2626 \times 26
转换	$5123\times 3/1$$5123\times 3/1$5123 xx3//15123 \times 3 / 1	转换	$\times 8$$\times 8$xx8\times 8	$26\times 26$$26\times 26$26 xx2626 \times 26
残余	L后 残余 $26\times 26$$26\times 26$26 xx2626 \times 26 $$26\times 26$$$$26\times 26$$26 xx2626 \times 26 LResidual Residual 26 xx26 26 xx26| LResidual | | :--- | | Residual | | $26 \times 26$ $26 \times 26$ |
转换	$10243\times 3/2$$10243\times 3/2$10243 xx3//210243 \times 3 / 2	1		$13\times 13$$13\times 13$13 xx1313 \times 13
转换	$5121\times 1/1$$5121\times 1/1$5121 xx1//15121 \times 1 / 1	转换		$13\times 13$$13\times 13$13 xx1313 \times 13
转换	$10243\times 3/1$$10243\times 3/1$10243 xx3//110243 \times 3 / 1	转换	$\times 4$$\times 4$xx4\times 4	$13\times 13$$13\times 13$13 xx1313 \times 13
残余		残余		$13\times 13$$13\times 13$13 xx1313 \times 13

Layer Filters size Repeat Output size Image 416 xx416 Conv 32quad3xx3//1 1 416 xx416 Conv 64quad3xx3//2 1 208 xx208 https://cdn.mathpix.com/cropped/2025_07_24_3f9b4ffb3101bbc3dae5g-12.jpg?height=155&width=541&top_left_y=430&top_left_x=1238 Residual 32quad1xx1//1 Conv Residual xx1 208 xx208 Conv 1283 xx3//2 1 104 xx104 Conv 641 xx1//1 Conv 104 xx104 Conv Conv xx2 104 xx104 Residual Conv 2563 xx3//2 2563 xx3//211152260 Residual Conv 128quad1xx1//1 Conv 52 xx52 Conv 2563 xx3//1 Conv xx8 52 xx52 Residual "Residual 52 xx52" Conv Conv 2561 xx1//1 Conv 26 xx26 Conv 5123 xx3//1 Conv xx8 26 xx26 Residual "LResidual Residual 26 xx26 26 xx26" Conv 10243 xx3//2 1 13 xx13 Conv 5121 xx1//1 Conv 13 xx13 Conv 10243 xx3//1 Conv xx4 13 xx13 Residual Residual 13 xx13 | Layer | Filters size | Repeat | | Output size | | | :--- | :--- | :--- | :--- | :--- | :--- | | Image | $416 \times 416$ | | | | | | Conv | $32 \quad 3 \times 3 / 1$ | 1 | | $416 \times 416$ | | | Conv | $64 \quad 3 \times 3 / 2$ | 1 | | $208 \times 208$ |  | | Residual | $32 \quad 1 \times 1 / 1$ | Conv Residual | $\times 1$ | $208 \times 208$ | | | Conv | $1283 \times 3 / 2$ | 1 | | $104 \times 104$ | | | Conv | $641 \times 1 / 1$ | Conv | | $104 \times 104$ | | | Conv | | Conv | $\times 2$ | $104 \times 104$ | | | Residual | | | | | | | | Conv | $2563 \times 3 / 2$ | | | $2563 \times 3 / 211152260$ | Residual | | Conv | $128 \quad 1 \times 1 / 1$ | Conv | | $52 \times 52$ | | | Conv | $2563 \times 3 / 1$ | Conv | $\times 8$ | $52 \times 52$ | | | Residual | Residual <br> $52 \times 52$ | | | | | | Conv | | | | | | | Conv | $2561 \times 1 / 1$ | Conv | | $26 \times 26$ | | | Conv | $5123 \times 3 / 1$ | Conv | $\times 8$ | $26 \times 26$ | | | Residual | LResidual <br> Residual <br> $26 \times 26$ $26 \times 26$ | | | | | | Conv | $10243 \times 3 / 2$ | 1 | | $13 \times 13$ | | | Conv | $5121 \times 1 / 1$ | Conv | | $13 \times 13$ | | | Conv | $10243 \times 3 / 1$ | Conv | $\times 4$ | $13 \times 13$ | | | Residual | | Residual | | $13 \times 13$ | |

6.2 YOLOv3 多尺度预测

6.3 YOLOv3 结果

当YOLOv3发布时，对象检测的基准测试已经从PASCAL VOC变为Microsoft COCO [47]。因此，从这里开始，所有YOLO都在MS COCO数据集中进行评估。YOLOv3-spp 实现了$36.2\mathrm{\%}$$36.2\mathrm{\%}$36.2%36.2 \%和${\mathrm{AP}}_{50}$${\mathrm{AP}}_{50}$AP_(50)\mathrm{AP}_{50}之$60.6\mathrm{\%}$$60.6\mathrm{\%}$60.6%60.6 \%在 20 FPS 时，实现了当时最先进的水平和$2\times$$2\times$2xx2 \times更快。

7 脊椎、颈部和头部

8 YOLOv4

两年过去了，YOLO 没有新版本。直到2020年4月，Alexey Bochkovskiy、Chien-Yao Wang和Hong-Yuan Mark Liao在ArXiv上发布了YOLOv4的论文[58]。起初，不同的作者提出了 YOLO 的新“官方”版本，这感觉很奇怪;然而，YOLOv4 保持了相同的 YOLO 理念--实时、开源、单发和暗网框架--而且改进非常令人满意，以至于社区迅速接受了这个版本作为官方 YOLOv4。

• An Enhanced Architecture with Bag-of-Specials (BoS) Integration. The authors tried multiple architectures for the backbone, such as ResNeXt50 [67], EfficientNet-B3 [68], and Darknet-53. The best-performing architecture was a modification of Darknet-53 with cross-stage partial connections (CSPNet) [69], and Mish activation function [65] as the backbone (see Figure 12. For the neck, they used the modified version of spatial pyramid pooling (SPP) [56] from YOLOv3-spp and multi-scale predictions as in YOLOv3, but with a modified version of path aggregation network (PANet) [70] instead of FPN as well as a modified spatial attention module (SAM) [71]. Finally, for the detection head, they use anchors as in YOLOv3. Therefore, the model was called CSPDarknet53-PANet-SPP. The cross-stage partial connections (CSP) added to the Darknet-53 help reduce the computation of the model while keeping the same accuracy. The SPP block, as in YOLOv3-spp increases the receptive field without affecting the inference speed. The modified version of PANet concatenates the features instead of adding them as in the original PANet paper.
• Integrating bag-of-freebies (BoF) for an Advanced Training Approach. Apart from the regular augmentations such as random brightness, contrast, scaling, cropping, flipping, and rotation, the authors implemented mosaic augmentation that combines four images into a single one allowing the detection of objects outside their usual context and also reducing the need for a large mini-batch size for batch normalization. For regularization, they used DropBlock [72] that works as a replacement of Dropout [73] but for convolutional neural networks as well as class label smoothing [74, 75]. For the detector, they added CIoU loss [76] and Cross mini-bath normalization (CmBN) for collecting statistics from the entire batch instead of from single mini-batches as in regular batch normalization [77].
• Self-adversarial Training (SAT). To make the model more robust to perturbations, an adversarial attack is performed on the input image to create a deception that the ground truth object is not in the image but keeps the original label to detect the correct object.
• Hyperparameter Optimization with Genetic Algorithms. To find the optimal hyperparameters used for training, they use genetic algorithms on the first $10\mathrm{\%}$$10\mathrm{\%}$10%10 \% of periods, and a cosine annealing scheduler [78] to alter the learning rate during training. It starts reducing the learning rate slowly, followed by a quick reduction halfway through the training process ending with a slight reduction.