想象一下看一会儿繁忙的街道，然后尝试勾画出从记忆中看到的场景。大多数人都可以画出汽车、人和人行横道等主要物体的大致位置，但几乎没有人能够以像素完美的精度画出每个细节。大多数现代计算机视觉算法也是如此：它们非常擅长捕捉场景的高级细节，但在处理信息时会丢失细粒度的细节。
据外媒报道，麻省理工学院（MIT）的研究人员创建出名为“FeatUp”的系统，可以让算法同时捕获场景的所有高级和低级细节——几乎就像计算机视觉的激光近视手术一样。
图片来源：麻省理工学院
当通过查看图像和视频来学习“看”时，计算机会通过称为“特征”的东西建立对场景中内容的“想法”。为了创建这些功能，深度网络和视觉基础模型将图像分解为小方块网格，并将这些方块作为一个组进行处理，以确定照片中发生了什么。每个小方块通常由16到32个像素组成，因此这些算法的分辨率比它们处理的图像要小得多。在尝试总结和理解照片时，算法会损失大量像素清晰度。
FeatUp算法可以阻止这种信息丢失并提高任何深度网络的分辨率，而不会影响速度或质量。这使得研究人员能够快速、轻松地提高新的或现有算法的分辨率。例如，想象一下尝试解释肺癌检测算法的预测，以定位肿瘤。在使用类激活图（CAM）等方法解释算法之前应用FeatUp，可以根据模型产生肿瘤可能所在位置的更加详细的（16-32x）视图。
FeatUp不仅可以帮助从业者理解模型，还可以改进一系列不同的任务，例如对象检测、语义分割（为带有对象标签的图像中的像素分配标签）和深度估计。它通过提供更准确、高分辨率的功能来实现这一目标，这对于构建从自动驾驶到医学成像等视觉应用至关重要。
“所有计算机视觉的本质都在于这些从深度学习架构的深处出现的深层智能特征。现代算法的巨大挑战在于，它们将大图像缩小为非常小的‘智能’特征网格，获得智能见解，但失去了更精细的细节，”麻省理工学院计算机科学和人工智能实验室（CSAIL）附属机构电气工程和计算机科学专业博士生、该论文的共同主要作者Mark Hamilton表示。
“FeatUp有助于实现高度智能的表示与原始图像的分辨率。这些高分辨率功能显著提高了一系列计算机视觉任务的性能，从增强对象检测和改进深度预测到通过高分辨率分析更深入地了解网络的决策过程。”
分辨率复兴
随着这些大型人工智能模型变得越来越普遍，越来越需要解释它们在做什么、在看什么以及在想什么。但FeatUp究竟如何发现这些细粒度的细节呢？秘密就在于摇摆不定的图像。
特别是，FeatUp会应用微小的调整（例如将图像向左或向右移动几个像素），并观察算法如何响应图像的这些轻微移动。这会产生数百个略有不同的深度特征图，而这些图又可以组合成一个清晰的、高分辨率的深度特征集。
“我们想象存在一些高分辨率特征，当我们摆动它们并模糊它们时，它们将与摆动图像中的所有原始低分辨率特征相匹配。我们的目标是学习如何使用这个‘游戏’将低分辨率特征细化为高分辨率特征，”Hamilton表示。
这种方法类似于算法通过确保预测的3D对象与用于创建3D对象的所有2D照片相匹配，从多个2D图像创建3D模型。在FeatUp的例子中，研究人员预测了一个高分辨率特征图，该特征图与通过抖动原始图像形成的所有低分辨率特征图一致。
该团队指出，PyTorch中提供的标准工具不足以满足需求，因此引入了一种新型的深层网络层，以寻求快速高效的解决方案。这种自定义层是一种特殊的联合双边上采样操作，其效率比PyTorch中的简单实现高100倍以上。
该团队还表明，这个新层可以改进各种不同的算法，包括语义分割和深度预测。该层提高了网络处理和理解高分辨率细节的能力，为所有算法（应用该层）带来了显著的性能提升。
“另一个应用是小对象检索，我们的算法可以精确定位对象。例如，即使在杂乱的道路场景中，使用FeatUp丰富的算法也可以看到微小的对象，如交通锥、反光镜、灯光和坑洼，而低分辨率同类产品则看不到这些物体。这表明FeatUp能够将粗糙的特征增强为精细的信号，”加州大学伯克利分校博士生、该论文另一合著者Stephanie Fu表示。
“这对于时间敏感的任务尤其重要，例如在无人驾驶汽车中精确定位杂乱的高速公路上的交通标志。这不仅可以通过将广泛的猜测转化为精确的定位来提高此类任务的准确性，而且还可能使这些系统更加准确可靠且值得信赖。”
