DARPA资助5家单位联合开发新型处理器和大数据软件

作者: 2017-08-16 19:04 来源:
放大 缩小

美国国防部高级研究计划局(DARPA)于62日宣布,将资助英特尔公司(Intel)、高通公司(Qualcomm)、诺斯罗普格鲁曼公司(Northrup Grumman)、太平洋西北国家实验室(PNNL)和佐治亚理工学院(Georgia Tech)等5家单位联合开展分层识别验证及利用HIVE)项目[1],项目开发周期预计为4年半,总投资额将超1亿美元。英特尔公司与高通公司将负责开发非冯诺依曼架构的新型处理器,太平洋西北国家实验室与佐治亚理工学院负责为该处理器打造软件工具,而诺斯罗普格鲁曼公司则将建立一座巴尔的摩中心,利用这款图形分析处理器来执行国防部的图表分析任务。

DARPA微系统技术办公室(MTO)的项目经理Trung Tran表示,HIVE的目标是开发一个专门用于分析和解释大数据的新型数据处理和计算平台,该平台将会具有前所未有的灵活性和强大的性能。与机器学习等新兴技术结合后,该处理器能更好地发现数据元素中的隐藏信息。

1HIVE项目之图形分析处理器的研发

DARPA将投入8000万美元研发HIVE高性能图形分析处理器,其中大部分硬件开发工作将由英特尔公司完成。图形分析主要用于解决从大型数据库中分析因果关系问题,适用于诸如运输路线、基因组学处理、金融交易优化和消费者购买分析等应用。而DARPA和国防部将更多地把图形分析应用在通信、情报工作、监视和侦察等领域。普通的计算机集群并不适用于解决这些问题,因为图形分析一般需要超高带宽来保证处理效率,并且随着问题规模的增大,聚类网络也会变成一项瓶颈。

DARPA文档规定HIVE项目的主要工作是研究和重新设计新的芯片架构,具体包括:创建一个加速器架构和处理器流水线,支持以本机稀疏矩阵格式处理识别的图形原语。开发一种基于识别数据流模型的芯片架构,支持从存储器或I/O快速高效地将数据移动到加速器的芯片架构。重点是重新定义基于缓存的架构,以便解决稀疏和密集两种数据集。开发一种外部存储器控制器,以有效使用所识别的数据映射工具。该控制器应能够有效地处理存储器传输中精确到832字节的随机和顺序存储器访问。

2HIVE项目之大数据分析软件的开发

DARPA将在未来5年为太平洋西北国家实验室提供700万美元的研究资金,以资助他们开发大数据分析软件开发包。该实验室的计算机科学家John Feo指出,此款软件开发包将会为不同水平的程序员提供一种易于使用的编程环境,并能将现有的数据处理效率提升一千倍。

传统的处理器能有效完成针对结构化数据的分析工作,但是来自与网络安全、疫情追踪、电网分析有关的数据,由于数据来源众多,因此很难结构化表示,只能用节点-连边的图结构表示,因此需要设计新型软硬件来处理这种数据。为了设计一款新软件,John Feo等将与太平洋西北国家实验室高性能计算组的研究人员一起,开展一项名为混合归类通用图表库环境HAGGLE)的项目。该项目将会设计一种包括层级图形原语、可扩展应用程序接口、混合数据模型、数据流模型和代码转换规则、数据映射机制,以及为HIVE项目设计抽象运行系统软件的开发包。(田倩飞)



[1] DARPA taps Intel for graph analytics chip project. https://www.top500.org/news/darpa-taps-intel-for-graph-analytics-chip-project/

附件: