通过算法和硬件架构挖掘深度学习
Brad McDanel教授的研究重点是设计专门的算法和硬件架构,以使深度学习更加节能。更广泛地说,他的工作涉及深度学习、计算机视觉、硬件架构和计算机网络等领域。
这位计算机科学家说:“像许多研究人员一样,我最初被这个领域的工作所吸引,因为在过去的十年里,由于深度学习的发展,我们看到了所有有趣的成就。“然而,这些系统在计算上非常昂贵,导致大量的能量运行。鉴于最近的趋势,随着更大的深度学习系统被开发和部署用于解决各种新问题,这种能源效率问题似乎会随着时间的推移而变得越来越严重。”
McDanel教授的主要目标是发现在不影响模型性能(系统解决问题的程度)的情况下提高神经网络计算效率的新技术。在过去的五年里,他一直在积极地研究这个领域的几条研究路线(量化、修剪、自适应计算、硬件设计)。最近,教授开始更多地关注提高培训阶段的效率,因为与提高已部署模型的性能相比,社区对培训阶段的研究较少。“从长远来看,”教授评论道,“我有兴趣研究不依赖于当前标准方法的训练神经网络的替代方法,例如,基于梯度的方法,如SGD。”
那位计算机科学家对让学生参与他的研究很感兴趣。他说:“深度学习研究的一个有趣之处在于,任何人都可以在一个小时内在个人电脑上训练小型模型,开始进行实验。”“这种实验是最初吸引我在这个领域工作的原因。我正在构建一个具有多个gpu的大型先进系统,以执行更大的训练任务。学生们也将有机会操作这个系统。”
这位计算机科学家与合作者Surat Teerapittayanon和HT Kung共同撰写的一个研究项目引起了人们的关注,该项目是在有条件的基础上在dnn中执行计算。其核心思想是,一些样品可以快速处理,而另一些则比较困难,需要额外的注意。这个普遍的想法并不是一个新现象,它与21世纪初的维奥拉-琼斯物体检测有一定的关系。他们的主要创新是提供跨多个决策点的联合训练框架,以提高这种系统的性能。
“我计划继续与我在哈佛大学的博士导师合作,设计高效的深度学习硬件。此外,我将很快开始与巴西一所研究型大学的一个小组合作,即北里奥格兰德联邦大学。这个小组专注于提高嵌入式微控制器的深度学习系统的效率,”教授评论他的未来计划。
他在哈佛大学获得计算机科学博士学位,在维克森林大学获得计算机科学硕士和学士学位。他喜欢下棋,在学校参加过国际象棋比赛。如今,他主要在网上玩游戏,如果有学生感兴趣,他愿意接受挑战。这位教授的大部分空闲时间“都花在了在公寓里追逐我18个月大的女儿上”。