人工智能变得无处不在,世界上最快的计算机也在运行人工智能负载,这也在改变HPC(高性能计算,High Performance Computing)。然而,人工智能将如何影响编程、软硬件和培训需求?
AI可能是HPC至于为什么,他给出了历史上最大的变革推动者AI在2019年对HPC影响最大的十大原因
10、 Tensors(张量):人工智能计算的一般语言
向量代数的使用催生了为矢量计算设计的计算机。来自Cray早期的超级计算机是矢量超级计算机,它驱动应用程序以矢量和矩阵代数的形式表示,这反过来又促进了计算机的设计,以确保矢量计算运行得更快。多年来,这种循环被定义了HPC。
张量代数可视为广义矩阵代数,因此它是超级计算机能力的自然演变,而不是革命。任何支持矩阵运算的机器都可以张量运算。今天,CPU通过通用编译器加速Pythons,支持增强库和优化框架可以支持矢量和张量的高性能计算。
正如向量之前对HPC在硬件、软件和想法的影响下,张量也在深刻地改变着我们。
语言:高级编程语言
Fortran编程语言在HPC加上C和领域的主导地位C 语言几乎是统治性的HPC市场。加速器通常通过C语言接口扩展来支持。试图使用新语言来打破现有的模式已经失败了,因为现有的语言已经形成了包括HPC应用程序、用户、代码等。
AI它带来了新的需求,这将扩展和扩展HPC相关语言。它们不会改变使用Fortran大多数物理学家使用活动MATLAB和Python的数据科学家需要根据他们的需求量身定制解决方案。
Python其他框架和编程语言似乎正在成为HPC越来越重要的部分。但他们实际操作的程序仍将使用C/C /Fortran编写,但AI程序员既不知道也不在乎。
8.以不同的方式思考:通过重新思考替换遗留代码
HPC人工智能,人工智能是新的。目前,当两者相互作用时,它将重新提到实现遗留代码的问题。在某些情况下,这些代码可能已经实现了。说法可能是“让我们为这个代码添加一些人工智能功能”,但现实是,努力可能是浪费时间。还记得Java许多早期的热潮“转换为Java”的努力吗?
就像那些早期疯狂的人一样Java就像时代一样,渴望重写代码的人既成功又失败。投资回报率(ROI)这将是关键,但预测创新的结果往往是错误的。
7.可移植性和安全性:虚拟化和容器
具体的安全性和可移植性问题是,“我能在我的机器上安全运行吗?”和“它能在我的机器上运行吗?”,这是虚拟化和容器试图解决的问题。当然,安全来自于良好的硬件和软件特性。对许多人来说,虚拟化和容器似乎可以建立这种组合。
容器比虚拟机更灵活、部署、升级、云多功能,比虚拟机更灵活、更可升级,可以节省虚拟机授权许可成本。
在任何HPC或AI在会议上谈论容器似乎只能站着说。但这正在改变,比如Python和Julia容器以更好地扩展配置,容器可以帮助部署。
容器为用户提供了良好的环境,将于2019年看到HPC这个领域使用的容器越来越多,部分原因是AI用户对此表现出兴趣。毫无疑问,这是对的HPC由于需要优化的生态系统,带来挑战。现在,这一领域正在进行大量的精细工作,HPC社区将有助于实现这一目标,满足每个人对容器的渴望。
6.规模问题:大数据:
只要有人工智能,就会有大数据。人工智能的重点是利用数据模型从大量数据集中找到价值。许多HPC该中心有许多基础设施可以很好地处理大数据问题。
所有HPC中心都将大数据作为新系统的主要需求,AI工作负荷是大数据需求的主要驱动力。
由于存储器的高成本,我们可以看到存储器的大小和FLOP/s比例多年来一直在下降。这不利于大数据的发展。与持久内存相关的新功能带来了一些希望,并支持大型机器(包括HPC)中大数据模型。这些新的内存技术提供了主内存和本地存储(SSD)的扩展。
我今天写的是人工智能是如何影响的HPC,但我还得指出HPC对可视化的热爱将是对的AI影响。将数据放理器的位置是最适合实际数据可视化的处理器HPC影响AI / ML最重要的方法之一。当然,大数据和可视化数据的使用和理解是相互交织的。
5.大量计算:云计算:
人工智能开发人员可能已经比较了HPC开发人员更接受云计算。虽然HPC“在云中”但是AI高性能计算需求的应用将加速“云中的HPC”。
4.硬件:交互式能力,为库和框架提供性能
人工智能的计算量不大。这意味着少数库接口和框架主宰着“AI加速器”作为卖点。
互动能力是长期存在的要求,它一直是HPC系统“搁置”,现在被AI程序员把它放在一边“前端和中心”。这种变化对“HPC”变化的速度还有待观察,但2019年这一领域的创新即使分散,也会引人注目。互动也可以称为“个性化”。
HPC为了支持更多的硬件多样性、交互支持和性能优化的附加库/框架抽象AI工作负载。HPC社区对性能的关注将有助于解释基础设施的更多集成将有利于数据中心的部署。没有人愿意放弃性能,只要他们不必这样做,HPC社区的专业知识将有助于商业化AI / ML推动社区间更多硬件技术融合的性能。
3、人员融合:用户多样性和对HPC兴趣的增加
AI它将吸引许多具有不同背景的新人才。AI以前所未有的规模为例HPC带来民主化。过去几年,“HPC民主化”用于描述HPC(以前只能用大组织的人)如何用于小工程师和科学家。数学和物理问题可能会促进早期超级计算的发展,但最近更多的用户发现HPC性能在医学、天气预报和风险管理领域是不可或缺的。
AI带来了比HPC更广泛的用户群,为HPC民主化带来了新的应用。将AI增加到发展HPC在列表中,我们继续为计算世界上最高性能增加更多理由, HPC专家和AI为了产生我们都能感受到的兴奋,专家们正在结合起来。
新投资:推理
机器学习通常被认为是原因“训练”和 “推理”的“做”阶段组成。我们似乎需要更多的循环来推理,而不是更多的循环来训练,尤其是当我们看到机器学习无处不在地嵌入到我们周围的解决方案中时。市场分析师估计,推理硬件市场是训练硬件规模的5-10倍。
毫不奇怪,每个人都想进入更大的推理市场。推理已在FPGA,GPU,DSP和众多定制ASIC运行在处理器上。功耗、延迟和总成本都是卖点。高性能、低延迟、易于重新编程FPGA现在似乎是补充CPU时间将证明主导推理市场的合理选择。
随着市场的选择,你会看到推理工作负荷将包括在内HPC所有计算都有重大影响。
1.应用程序集成:不是“重新思考”然后更换 ,“融合”两全其美,扩展工作负载多样性并看到不同工作负载的融合
有远见的人已经证明,HPC和AI有很多机会很多。从中立的网络学习到鼓舞人心的研究范围“ 就像模拟蒙特卡罗一样 ”,结果很好,只需要计算需求的一小部分; 将系统集成到可以预测飓风或天气预报系统等极端天气的模式中。产生对抗网络(GAN)很多人都很重视机器学习系统,GAN无疑有助于融合HPC和AI / ML。
虽然现在很少有应用结合HPC算法和AI基于早期的早期结果,我很容易预测这是HPC应用的未来将是因为AI带来HPC最大变化。
了解这十种力量
计算在某种意义上没有改变:它完全取决于整个系统对用户的作用。虽然需求发生了变化,但由硬件和软件组成的完整系统不会改变。事实上,单一技术(硬件或软件)很容易分散注意力; 最好的系统会仔细应用最新技术,我更喜欢称之为“选择性加速” ,强调在重要时使用加速。经常用的时候Python时,我喜欢Python加速(一种依赖)CPU的软件技术)。当我需要低延迟推理时,我喜欢FPGA加速。当我只需要一点加速时,我不使用任何一个。这是建立平衡系统的艺术。前十名并没有打破为多用途机器提供最佳整体效果的平衡。
结论:AI将使用HPC,这将永远改变HPC
显然AI将使用HPC,这将永远改变HPC。事实上,AI可能是HPC历史上最大的变革推动者。HPC随着科学技术的发展,工作负荷也会随着人工智能的发展而变化。我不认为人工智能用户会加入辩论收敛和交叉给予足够信任的概念HPC社区,留下自己的标记。他们也会使用非HPC和其他一样,系统HPC用户一样。
将有专为AI定制的高性能机器和其他机器的工作负荷设计和构建AI工作负荷也可以在更通用的高性能设备上运行。加速需要平衡机器的高性能和灵活性。在所有情况下,人工智能将有助于定义未来什么是超级计算,这将永远改变HPC。
支付宝扫一扫
微信扫一扫