首页 > 足球资讯 > > > 正文

训练的神经网络排放的碳是开车的五倍。麻省理工学院的新系统可以减少到三位

2020-05-15 15:08:08  

 

随着人工智能的不断普及和发展,暴露出的问题越来越多,其中一些问题已成为社会关注的焦点。然而,最近发现它也存在着严重的可持续发展问题。

去年6月,马萨诸塞大学阿默斯特大学的研究人员发布了一份令人惊讶的报告。他们预计,训练和寻找某种神经网络结构所需的能量将导致大约626000磅的二氧化碳排放,几乎是美国汽车平均预期寿命的五倍。

随着模型进入部署阶段,问题变得更加严重。在这个阶段,需要在不同的硬件平台上部署深度神经网络,每个硬件平台具有不同的属性和计算资源。

麻省理工学院的研究人员开发了一种新的自动人工智能系统,用于训练和运行某些神经网络。研究结果表明,通过提高系统在某些关键领域的计算效率--在某些情况下,可以将3位数的低数--来减少碳排放。

神经网络将自动搜索大量的设计空间,为网络体系结构寻找一个特定的硬件平台。然而,培训效率仍然存在一个问题:必须从零开始选择每个模型,然后对其平台架构进行训练。

在物联网即将到来的时代,数十亿台设备可能连接到一个网络,智能手机的价格从10美元到600美元不等。如果你想培训所有这些网络的体系结构,消费将是惊人的。

研究人员在人工智能最新发展的基础上构建了一个新系统,即自动化系统。在这个一劳永逸的网络系统中,他们只训练一个大型父网络,其中嵌入大量子网络,很少从母网络激活。父网络与所有子网络共享它们所有的学习权重--这意味着它们基本上是经过预先培训的。因此,每个子网可以在推理时独立运行,无需再培训。

研究小组还训练了具有不同结构的卷积神经网络,包括不同的层数和神经元、不同的滤波器大小和不同的输入图像分辨率。给定特定的平台,该系统使用a作为搜索空间,根据与平台的功率和速度限制相关的精度和延迟折衷来寻找最佳的子网。

从本质上讲,ofa将模型培训与结构搜索分开,并将一次性培训的成本分配给多个推理硬件平台和资源约束。

这取决于渐进收缩算法,该算法有效地训练网络以同时支持所有子网。它首先对最大的完整网络进行训练,然后逐渐缩小网络的规模,将较小的子网络包括在内。较小的子网在大型子网的帮助下被训练成一起成长。最后,支持所有大小不同的子网,允许根据平台的功率和速度限制进行快速专业化。它支持许多硬件设备,增加新设备时培训成本为零。

此外,ofa不影响准确性或推理效率。相反,它在移动设备上提供了最先进的ImageNet精度。此外,与业界领先的最先进的卷积神经网络模型相比,研究人员说OVA提供了1.5到2.6倍的加速,并且具有更高的精度。

我们的目标是建立一个更小、更绿色的神经网络,电气工程和计算机科学系助理教授宋根(Songhan)说。到目前为止,探索高效的神经网络已经产生了巨大的碳足迹,但我们的新方法可以将足迹减少几个数量级。

这项工作是在IBM捐赠给MIT的高效计算集群卫星上完成的,每秒可以执行2万亿次计算。

这篇论文将于下周在国际学习大会上发表。韩寒还与EECS、麻省理工学院-IBM沃森人工智能实验室和上海交通大学的四名本科生和研究生一起发表了论文。

汇编/预期经济学家应用信息小组

参考:

Https://www.eurekalert.org/pub_releases/2020-04/miot-rtc042320.php

上一篇: 前希腊国际:2004年欧洲联盟的希腊神话与马竞相同
下一篇:最后一页

本周排行 本月排行 总排行榜  
篮坛巨星 足球资讯 健康饮食  
资讯热线: 广告热线:  在线客服:QQ:2820-8476-56 信箱:2820-8476-56@qq.com
© 1998-2021 中国济南网 版权所有