美国NIST启动AI技术评测计划
2026-10-19 15:19 来源:
7月27日,美国国家标准与技术研究院(NIST)正式启动“人工智能技术评测”(AITE)计划,旨在为科研机构和开发人员提供隔离式测试环境,对AI模型开展盲测评估[1]。该计划通过隔离测试数据,防止数据被纳入模型训练,从而确保评估结果的客观性与严谨性,帮助开发者更准确地了解模型性能。
AITE计划由NIST技术与测试评估部门主导,该项目初期将聚焦量子科学、基因组学及公共安全等关键领域,重点评估大型视觉语言模型的表现。与使用公开基准数据的常规评测不同,该计划将采用模型开发者事先无法接触的盲测数据,并在隔离环境中开展测试,以降低训练数据与测试数据重叠或测试题泄露的风险,提高评估结果的严谨性和可信度。
AITE计划将为参与者提供统一的数据、评价指标和评分方法,以提高不同AI模型之间的可比性。参与机制分为两类:一是数据提供方,负责提交本领域未公开的原创数据集及具有实际意义的测试任务,并获得主流模型在相关任务上的测评结果;二是模型提供方,提交AI模型参与测试,了解其模型在不同数据集和任务中的表现,以及在统一指标下与其他模型的相对差距。
目前,该计划面向同意相关协议与规则的组织和个人开放。随着项目推进,未来将持续扩展更多评测任务和应用场景,以推动AI模型标准化测试和可信评估体系建设。
(李晨曦)
[1] Announcing NIST's Artificial Intelligence Technology Evaluation (AITE). https://content.govdelivery.com/accounts/USNIST/bulletins/421fe2d