慕课微课-掌握Java并发编程的“基石”，入门并发编程

### 慕课微课-掌握Java并发编程的“基石”，入门并发编程 download：https://www.zxit666.com/6378/ 大范围视觉预锻炼显著进步了大型视觉模型的性能。但是，作者察看到现有的低FLOPs模型无法从大范围预锻炼中受益的问题。在本文中，作者提出了一种通用的设计准绳，即ParameterNet，用于在大范围视觉预锻炼中增加更多参数的同时坚持低FLOPs。 例如，采用动态卷积技术能够为网络提供更多参数，同时仅稍微增加FLOPs。提出的ParameterNet计划使得低FLOPs网络可以从大范围视觉预锻炼中受益。 在大范围ImageNet-22K数据集上的实考证明了作者ParameterNet计划的杰出性能。例如，ParameterNet-600M相比普遍运用的Swin Transformer具有更高的精确性（81.6%对80.9%），并且具有更低的FLOPs（0.6G对4.5G）。 1、简介 由于计算硬件和数据工程的开展，作为计算机视觉中的根底组成局部，大范围视觉预锻炼获得了令人注目的停顿。预锻炼的视觉模型能够作为表示学习器，并迁移到下游任务中，如图像辨认和目的检测。 主流的预锻炼视觉模型通常需求大量的资源，包括数据、参数和FLOPs。这3个关键要素严重影响着性能，并根本遵照缩放定律。大范围的预锻炼数据能够为表示学习提供多样化的样本。这些数据集的范围从数百万到数十亿不等，例如，普遍运用的ImageNet-22K数据集包含了1400万张图像和21841个类别。为了更好地拟合大范围数据集，模型的大小（包括参数和FLOPs）近年来越来越大，例如，ViT-G/14模型具有18亿个参数和9650亿个FLOPs。 挪动设备上的视觉应用通常需求快速推理，因而由于高计算本钱，很难部署现有的预锻炼视觉模型。为理解决这个问题，作者经历性地研讨了大范围视觉预锻炼中FLOPs的影响。作者采用ImageNet-22K作为大范围预锻炼数据集，而ImageNet-1K是一个相对较小的数据集用于比拟。 然后，作者对预锻炼的Transformer和CNN模型在ImageNet-1K上停止微调以评价性能。如图2和图3所示，当模型的FLOPs逐步增加时，模型的精确性持续进步。关于高FLOPs的模型，22K预锻炼模型优于1K模型。但是，低FLOPs的模型无法从大范围预锻炼中获益，作者称之为低FLOPs圈套。 在这篇论文中，作者经过增加更多的参数来构建低FLOPs的ParameterNet，同时坚持低FLOPs的特性，用于大范围视觉预锻炼。这是一个通用的设计准绳，有多种办法能够增加参数数量并坚持低FLOPs。 例如，作者主要思索高效动态卷积，它能够大幅增加参数数量而简直不增加额外的FLOPs。ParameterNet计划能够使以前的网络从大范围视觉预锻炼中受益，并克制低FLOPs的圈套。 在实验中，ImageNet-22K预锻炼的ParameterNets相比正常的ImageNet-1K锻炼能够进步约2%的性能。例如，ParameterNet-600M在ImageNet-1K考证集上完成了81.6%的top-1精确率，其FLOPs数量比Swin-T低7倍。