加州大学Merced分校李栋助理教授分享《Efficient Neural Network Training on a Dataflow Framework》
时间:2019-08-23 点击:876

2019年8月20日上午,鹏城实验室“创新沙龙”学术活动于1614报告厅顺利举行。此次学术活动是由网络空间安全研究中心举办,网络空间安全研究中心主任张伟哲教授特邀美国加州大学Merced分校李栋助理教授做主题报告分享,报告由张伟哲主任主持,中心副主任张宾及中心科研技术人员和学生参加活动。

▲ 李栋助理教授分享报告

2.jpg

▲ 张伟哲主任主持

李栋助理教授现任教于加州大学Merced分校,是加州大学Merced分校NVIDIA CUDA研究中心的主要负责人,专注于研究超算的系统设计。他在佛吉尼亚理工大学获取计算机博士学位,曾在美国橡树岭国家实验室担任研究科学家。他是2016年美国国家自然科学基金CAREER Award获得者,于2013年获得橡树岭国家实验室杰出贡献奖,获得2016年Berkeley Lab University Faculty Fellowship , SC’14会议Best Student Paper Finalist,SC’16获得最佳poster提名。论文常年发表于MICRO, SC, ICS, HPDC, PACT等重要会议上。

李栋助理教授首先简要介绍了加州大学Merced分校的基本情况,以及他的研究团队在大规模并行架构、系统、算法等方面的研究工作。

李栋助理教授此次分享的报告主题为“Efficient Neural Network Training on a Dataflow Framework”,主要讲述在dataflow框架下关于神经网络训练负载能耗和性能改进方面的工作。Dataflow框架通常将神经网络的训练负载分解为一系列细粒度的基本运算,从而受益于灵活的运算调度和并行。由于细粒度的运算存在不同的内存访问模式和计算速度,负载存在异质性。为适应负载的异质性和避免数据频繁移动,提出了一种异质的内存处理架构。硬件设计方面,在3D堆叠记忆体的逻辑层整合了数百个固定函数算数单元和可编程内核来构成异质的内存处理架构。软件设计方面,提供了一种编程模型和运行时系统以便在CPU和异质内存处理架构中的计算资源上编程、卸载和调度训练运算。通过扩展OpenCL编程模型和采用基于硬件的异质先知的运行时系统,在不同异质硬件上实现了计算可移植性和维护性,并且优化了系统能耗和提高了硬件利用率。此外,李栋助理教授还分享了其在高性能神经网络训练运行时并发控制和运算调度方面的工作。

▲ 分享报告现场

报告结束后,李栋助理教授就现场听众提出的OpenCL runtime实现、线程并行和GPU之间关系等问题一一进行了解答,并与现场听众进行了讨论交流。

▲ 科研人员与李栋助理教授合影

撰稿:网络空间安全研究中心 束建钢 、范维

摄影:石俊