找回密码
 立即注册
科技快报网 首页 科技快报 IT资讯 查看内容
笔误?BYDFi 在圣詹姆斯公园讲述 BUIDL 背后的故事国庆换iPhone 17 Pro Max立省300元?多平台对比看哪家更划算百店开业 千店同庆!联想十一购机福利大放送:打卡门店送贴膜服务、到店购机抽奖必中2025第二十届南昌国际车展10月1日盛大开幕!得力集团就"跛脚员工入职被辞"事件致歉并公布整改措施一群“数贸新生代”即将从义乌搅动全球鲸鸿动能发布“Family Reach”家庭场景化解决方案,撬动营销新增量猜诺奖赢百万京豆!京东图书开启“2025文学预言”狂欢KWL新店继上海后落子重庆,酷特智能“逆周期动力”从何而来?易车研究院洞察报告:自驾游成车市新增长极?旅游复苏带动汽车消费结构性变化东软以“可信、可控、可持续”路径,引领AI医疗进入深水区多筒洗衣机新品9月扎堆首发 京东已成核心销售阵地发布全新太阳能智能杀虫灯,以绿色科技守护农业未来赛意信息以工业AI验证技术价值,向物理AI开启进阶之路高通专家:在“混合AI”的未来,6G 将成为连接云与边缘的核心纽带打响AI价值落地第一枪,天润融通携ZENAVA亮相2025云栖大会首驱发布“智能出行机器人”,三大行业首创技术重塑两轮赛道宜信公益基金会深化帮扶合作,共筑卓资县学子成才之路出海寻增量,东南亚凭什么成商家 “必争之地”?讯飞星火秋招“整活”,呼兰的星火奇妙夜“空降”高校!

打造 “CPU+” 异构计算平台,Arm 灵活应对各类 AI 工作负载

2024-12-19 14:03:31

  【科技快报网】对于人工智能(AI)而言,任何单一硬件或计算组件都无法成为适合各类工作负载的万能解决方案。AI贯穿从云端到边缘侧的整个现代计算领域,为了满足不同的AI用例和需求,一个可以灵活使用CPU、GPU和NPU等不同计算引擎的异构计算平台必不可少。

  依托于Arm CPU的性能、能效、普及性、易于编程性和灵活性,从小型的嵌入式设备到大型的数据中心,Arm CPU已经为各种平台上的AI加速奠定了基础。

  就灵活性而言,这对生态系统大有裨益的三个主要原因是,首先,Arm CPU可以处理广泛的AI推理用例,其中许多用例通常用于数十亿台设备,例如当今的智能手机、云和数据中心。不仅如此,除了推理之外,CPU还经常用于技术栈中的数据预处理和编排等其他任务。其次,开发者能够在更多种类的数据格式中运行更广泛的软件,而无需构建多个版本的代码。最后,CPU的灵活性使之成为加速AI工作负载的理想工具。

  提供多样性和选择,助力行业灵活部署AI计算

  除了CPU产品组合外,Arm计算平台还包括GPU和NPU等AI加速器技术,许多市场都在将这些技术与CPU进行集成。

  在移动端领域,Arm终端计算子系统(CSS)包含Armv9.2 CPU集群,并与Arm Immortalis-G925 GPU集成,可为各种AI用例提供加速功能,包括图像分割、对象检测、自然语言处理和语音转文本等用例。在物联网(IoT)方面,Arm Ethos-U85 NPU可与需要加速AI性能的基于Arm Cortex-A的系统一起设计,例如工厂自动化等场景。

  此外,除了Arm自己的加速器技术外,合作伙伴借助Arm的CPU灵活定制具有差异化的芯片解决方案。例如,NVIDIA用于AI基础设施的Grace Blackwell和Grace Hopper超级芯片均采用了Arm CPU和NVIDIA的AI加速器技术,从而显著提升AI性能。

  NVIDIA Grace Blackwell超级芯片将NVIDIA的Blackwell GPU架构与基于Arm Neoverse的Grace CPU相结合。Arm独特的产品组合使NVIDIA能够进行系统级设计优化,与NVIDIA H100 GPU相比,其能耗降低了25倍,单个GPU性能提高了30倍。具体来说,得益于Arm Neoverse平台的灵活性,NVIDIA能够实现自有的高带宽NVLink互连技术,并提升CPU、GPU和内存之间的数据带宽和延迟。

  Arm致力于通过Arm全面设计生态项目,为整个生态系统注入AI加速的机遇。通过该生态项目,开发者可以更快访问Arm CSS技术,赋能软硬件技术进步,以此驱动AI和芯片创新,并加快开发和部署AI优化的芯片解决方案。

  Arm架构满足AI所需的独特灵活性

  Arm CPU设计所具有灵活性关键在于Arm领先的架构。它提供了一个可以与AI加速器技术紧密集成的基础平台,并支持从128位到2,048位的各种向量长度,可以在许多不同的数据点上轻松执行多个神经网络。

  Arm架构的灵活性为整个芯片生态系统提供了多样化的定制机会,Arm一直致力于帮助合作伙伴更快地构建自己的差异化芯片解决方案。这种独特的灵活性也使Arm能够不断进行架构创新,定期推出关键指令和功能来加速AI计算,进而惠及整个生态系统,其中包括领先的芯片合作伙伴,以及在Arm计算平台上构建应用的2,000多万软件开发者等。

  这一切始于Armv7架构,该架构引入了高级单指令多数据(SIMD)扩展,例如Neon技术,这是Arm首次涉足机器学习(ML)工作负载。在过去几年中,该架构不断增强,Armv8中增加了向量点积和矩阵乘法特性,之后在Armv9中又引入了Arm SVE2和新的Arm SME技术,为广泛的生成式AI工作负载和用例提高了计算性能并降低了功耗。

  与AI加速器技术无缝集成

  Arm是AI时代的计算平台,推动了持续的架构创新,以满足速度更快、互动性更好和沉浸感更强的AI应用的发展。Arm CPU作为灵活处理AI工作负载的异构计算方法中的一部分,可以无缝增强和集成GPU和NPU等AI加速器技术。

  Arm CPU是处理众多AI推理工作负载的实用之选,凭借出色的灵活性,它能够与加速器技术无缝集成,打造更强大、更高性能的AI功能,精准满足特定用例和计算需求。对于Arm的技术合作伙伴而言,出色的灵活性有助于实现丰富的定制选择,使他们能够为AI工作负载构建完整的芯片解决方案。

  免责声明:本网站内容由网友自行在页面发布,上传者应自行负责所上传内容涉及的法律责任,本网站对内容真实性、版权等概不负责,亦不承担任何法律责任。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。

发布者:科技君

相关阅读

微信公众号
意见反馈 科技快报网微信公众号