知名ai研究机构ai2发布通用计算机视觉模型基准测试grit – 十轮网-九游会官网真人游戏第一品牌

基准测试(benchmark)对于人工智能发展至关重要,因为其提供了量化结果,比较不同模型的性能,使得研究人员得以掌握研究的方向,而现在知名人工智能研究机构艾伦研究所(ai2)发布了更加强健的计算机视觉基准测试grit,能够以7项任务,全面评估计算机视觉模型的能力。

官方提到,当测试分布与训练分布相似时,计算机视觉模型很擅长作出预测,但是这类模型未能如同生物视觉一样,无法从多个来源学习之后,获得解决新资料源和新任务的能力。因此为了促进通用视觉系统的开发和评估,ai2发布了grit(general robust image task)基准测试。

grit涵盖各种图像预测任务、概念和数据源,可有效评估视觉系统的性能、强健性和校凖。grit中总共有7项任务,能够评估模型一系列视觉技能,包括对象分类、对象定位、参考表达基础、视觉问答、分割、人体关键点侦测和表面法矢量估算。

grit可用于3个研究方向,通用视觉模型、强健专业模型以及高效学习。grit有助于评估具有一系列广泛技能的通用视觉模型,同时grit也简化并统一了错误资讯的量化、校准和泛化,使研究人员更容易发现错误,借此让模型更加强健。

另外,grit基准测试包含了受限制与不受限制的类别,受限制的测试中,grit将训练资料限制在一组特定但丰富的资料源中,使模型研究聚焦在更科学和有意义的比较上,官方提到,这样的限制是为了鼓励研究人员开发有效的学习方法,而不是专注在当前追求大量训练资料的大型模型所主导的范式。当然,不受限制的类别,在训练资料方面则提供更大的灵活性,来测试经大量资料和训练的模型。

发表评论