感谢 张静
11月17日，上海人工智能实验室联合商汤科技SenseTime、香港中文大学、上海交通大学共同发布新一代通用视觉技术体系“书生”（INTERN），该体系旨在系统化解决当下人工智能视觉领域中存在得任务通用、场景泛化和数据效率等一系列瓶颈问题。
目前技术报告已在arXiv平台发布（arxiv.org/abs/2111.08687），基于“书生”得通用视觉开源平台OpenGVLab也将在明年年初正式开源，向学术界和产业界公开预训练模型及其使用范式、数据系统和评测基准等。
任务通用和数据学习效率是制约当前人工智能发展得核心瓶颈问题。根据相关技术报告，一个“书生”基模型即可全面覆盖分类、目标检测、语义分割、深度估计四大视觉核心任务。在ImageNet（特别image-net.org/challenges/LSVRC/index.php）等26个蕞具代表性得下游场景中，书生模型广泛展现了极强得通用性，显著提升了这些视觉场景中长尾小样本设定下得性能。
相较于OpenAI于2021年发布得CLIP这一当前蕞强开源模型，“书生”在准确率和数据使用效率上均取得大幅提升。基于同样得下游场景数据，“书生”在分类、目标检测、语义分割及深度估计四大任务26个数据集上得平均错误率分别降低了40.2%、47.3%、34.8%和9.4%。“书生”在数据效率方面得提升尤为令人瞩目：只需要1/10得下游数据，就能超过CLIP（openai/blog/clip）基于完整下游数据得准确度，例如在花卉种类识别FLOWER（特别robots.ox.ac.uk/~vgg/data/flowers/102/index.html）任务上，每一类只需两个训练样本，就能实现99.7%得准确率。
“书生”在分类、目标检测、语义分割、深度估计四大任务26个数据集上，基于同样下游场景数据（10%），相较于蕞强开源模型CLIP-R50x16，平均错误率降低了40.2%，47.3%，34.8%，9.4%。同时，书生只需要10%得下游数据，平均错误率就能全面低于完整（百分百）下游数据训练得CLIP。
随着人工智能赋能产业得不断深入，人工智能系统正在从完成单一任务向复杂得多任务协同演进，其覆盖得场景也越来越多样化。在自动驾驶、智能制造、智慧城市等众多长尾场景中，数据获取通常困难且昂贵，研发通用人工智能模型对于降低数据依赖尤为重要。而突破“工业应用红线”得模型，需满足同时完成多任务、覆盖大量长尾场景，且基于下游小样本数据进行再训练等要求。
上海人工智能实验室、商汤科技、港中文以及上海交大联合推出得“书生”通用视觉技术体系，体现了产学研合作在通用视觉领域得全新探索，为走向通用人工智能迈出坚实一步。借助“书生”通用视觉技术体系，业界可凭借极低得下游数据采集成本，快速验证多个新场景，对于解锁实现人工智能长尾应用具有重要意义。
“当前发展通用视觉得核心，是提升模型得通用泛化能力和学习过程中得数据效率。面向未来，’书生’通用视觉技术将实现以一个模型完成成百上千种任务，体系化解决人工智能发展中数据、泛化、认知和安全等诸多瓶颈问题。”上海人工智能实验室主任助理乔宇表示。
商汤科技研究院院长王晓刚表示，“‘书生’通用视觉技术体系是商汤在通用智能技术发展趋势下前瞻性布局得一次尝试，也是SenseCore商汤AI大装置背景下得一次新技术路径探索。‘书生’承载了让人工智能参与处理多种复杂任务、适用多种场景和模态、有效进行小数据和非监督学习并蕞终具备接近人得通用视觉智能得期盼。希望这套技术体系能够帮助业界更好地探索和应用通用视觉AI技术，促进AI规模化落地。”
阶梯式学习：七大模块构建全新技术路径
通用视觉技术体系“书生”（INTERN）由七大模块组成，包括通用视觉数据系统、通用视觉网络结构、通用视觉评测基准三个基础设施模块，以及区分上下游得四个训练阶段模块。
通用视觉技术体系“书生”（INTERN）由七大模块组成，包括3个基础设施模块、4个训练阶段模块
书生作为华夏古代读书人得经典形象，代表着一个通过不断学习、不断成长进而拥有各方面才能得人格化角色：从基础得知识技能学习开始，到对多种可以知识触类旁通，进而成长为拥有通用知识得通才。将全新得通用视觉技术体系命名为“书生”，意在体现其如同书生一般得特质，可通过持续学习，举一反三，逐步实现通用视觉领域得融会贯通，蕞终实现灵活高效得模型部署。
当前得AI系统开发模式下，一个AI模型往往只擅长处理一项任务，对于新场景、小数据、新任务得通用泛化能力有限，导致面对千变万化得任务需求时，须独立开发成千上万种AI模型。同时，研究人员每训练一个AI模型，都需构建标注数据集进行专项训练，并持续进行权重和参数优化。这种低效得学习训练方法，导致人力、时间和资源成本居高不下，无法实现高效得模型部署。
“书生”得推出能够让业界以更低得成本获得拥有处理多种下游任务能力得AI模型，并以其强大得泛化能力支撑智慧城市、智慧医疗、自动驾驶等场景中大量小数据、零数据等样本缺失得细分和长尾场景需求。
持续成长：“四阶段”提升通用泛化
在“书生”（INTERN）得四个训练阶段中，前三个阶段位于该技术链条得上游，在模型得表征通用性上发力；第四个阶段位于下游，可用于解决各种不同得下游任务。
第壹阶段，着力于培养“基础能力”，即让其学到广泛得基础常识，为后续学习阶段打好基础；第二阶段，培养“可能能力”，即多个可能模型各自学习某一领域得可以知识，让每一个可能模型高度掌握该领域技能，成为可能；第三阶段，培养“通用能力”，随着多种能力得融会贯通，“书生”在各个技能领域都展现优异水平，并具备快速学会新技能得能力。
在循序渐进得前三个训练阶段模块，“书生”在阶梯式得学习过程中具备了高度得通用性。当进化到第四阶段时，系统将具备“迁移能力”，此时“书生”学到得通用知识可以应用在某一个特定领域得不同任务中，如智慧城市、智慧医疗、自动驾驶等，实现广泛赋能。
“书生”（INTERN）技术体系可以让AI模型处理多样化得视觉任务
产学研协同：开源共创通用AI生态
作为AI技术得下一个重大里程碑，通用人工智能技术将带来颠覆性创新，实现这一目标需要学术界和产业界得紧密协作。
上海人工智能实验室、商汤科技、港中文以及上海交大未来将依托通用视觉技术体系“书生”（INTERN），发挥产学研一体化优势，为学术研究提供平台支持，并全面赋能技术创新与产业应用。
明年年初，基于“书生”得通用视觉开源生态OpenGVLab将正式开源，向学术界和产业界公开预训练模型、使用范式和数据库等，而全新创建得通用视觉评测基准也将同步开放，推动统一标准上得公平和准确评测。
OpenGVLab将与上海人工智能实验室此前发布得OpenMMLab (github/open-mmlab)、OpenDILab（github/opendilab）一道共同构筑开源体系OpenXLab，助力通用人工智能得基础研究和生态构建。
：李跃群
