使用深度学习的无监督对象检测和语义分割-无监督聚类热图

Meta AI 发布了 CutLER，这是一款最先进的零镜头无监督对象检测器，可在视频帧、绘画、草图等不同领域的 2 个基准数据集上将检测性能提高 7.11 倍以上。

该模型的简单性允许与不同域的不同对象检测架构（例如掩码R-CNN）兼容。此外，它需要更少的数据来训练，更少的人力来标记数据以进行对象检测。与其他模型相比，对标记较少的数据的要求在数据丰富的时代很重要，这为更好的模型铺平了道路，而无需在数据标记上花费大量精力。

Meta AI 发布了一个用于学习图像表示的初始自监督模型，这意味着以无监督的方式从图像中学习重要对象，在 2021 年称为 DINO。这项初步工作使研究界能够跟踪图像中的物体并生成注意力图。DINO注意力图可以用作图像特征来执行语义分割和对象检测等任务。

使用这些功能，可以创建一个逐个补丁的相似性矩阵，该矩阵将图像中的不同补丁相关联。使用相似性矩阵作为归一化切割和图像分割的输入，将图像分割视为图分区任务，可以获得图像的单个前景对象掩码。当获得一个对象掩码时，与前一个对象关联的矩阵值将被屏蔽。此算法称为 MaskCut，对图像中的多个对象蒙版重复。

下一步是根据用户偏好（如Mask R-CNN）使用检测器，该检测器使用称为DropLoss的丢失函数。该检测器将通过探索其他图像区域进行对象检测来帮助通过 MaskCut 检测丢失的物体。DropLoss 不会惩罚不与基本事实重叠的预测区域，而是忽略每个具有最大重叠的区域的损失（交集超过并集），并鼓励探索不同的图像区域（即探索低重叠区域）。检测器在 ImageNet 数据集上进行训练，使用 DINO 进行神经网络权重初始化。

该模型多次使用相同的数据集进行自我训练，通过使用监督对象检测器改进 MaskCut 检测。每次训练都使用之前的权重进行下一次迭代。CutLER是Cut and Learn的缩写，这就是它的作用。

评估对象检测器性能的最常见测量是平均精度，但由于模型与类无关，因此平均召回率是一个很好的补充指标。考虑到这一点，该模型的性能优于以前的无监督最先进的模型（例如FreeSOLO），是平均精度和平均召回率的两倍以上。此外，在性能方面，它更接近最先进的监督方法，如Mask R-CNN，更接近于像人类一样学习图像表示。

Meta AI在GitHub上发布了CutLER。要训练和评估模型，请尝试以下命令：