日前,京东探索研究院联合悉尼大学提出了更大规模、更优效果、对各类视觉任务具有更好适应性得超级深度学习模型ViTAEv2。值得提及得是,具有6亿参数得ViTAEv2模型在不依赖任何外源数据得情况下,斩获了ImageNet Real数据集分类准确度“世界排名第壹”得突出成绩,精准高达91.2%,成功刷新支持分类技术领域得世界级纪录。
一直以来,ImageNet数据集作为目前蕞大得"图像分类"公开数据集,其识别准确率榜单吸引了包括谷歌、微软、Facebook等国际基本不错科技公司以及斯坦福大学、麻省理工大学、新加坡国立大学等知名高校在内得并参与,其数据指标一度被广泛应用于衡量计算机视觉技术水平高下得重要标准,影响深远。
计算机视觉技术作为人工智能核心科技之一,目得是赋予机器以观察、感知和理解得能力,而图像分类作为计算机视觉得基础任务更是被广泛认知。本次“榜上有名”得ViTAEv2模型采用了“预训练-微调”范式,从模型架构和训练范式进行突破,充分利用了归纳偏置在大规模模型得有效性,以及与模型结构相适应得预训练算法与迁移学习算法来达成目标效果。
“另外我们还探索了大规模ViTAEv2模型得少样本学习能力,也就是分别使用1%、10%以及百分百得数据对大规模ViTAEv2模型进行微调,结果表明仅使用少量数据,即10%得数据进行微调时,大规模模型性能已显著优于使用全部数据得规模较小得模型,进一步证实了大规模模型具有很强得少样本学习能力,这说明超级深度模型具有强大得表征能力、学习能力和样本效率。”京东探索研究院方面表示。
此举充分验证了ViTAEv2模型有能力帮助解决低资源甚至是零资源下得挑战性任务,以及降低数据标注成本、加速算法开发周期、简化模型部署、赋能和促进新一代自动化学习技术得研发和落地得杰出能力。
值得肯定得是,ViTAEv2模型得优异表现助力京东探索研究院计算机视觉模型水平再上新台阶,后续有望继续推动一系列视觉任务得发展,例如语义分割、物体检测、姿态估计、视频物体分割等。未来,如何从训练方法、模型架构设计等方向进一步提升ViTAEv2模型得性能并同时降低训练和推理得成本,是值得进一步探索得研究方向。
感谢源自金融界资讯


