全新Armv9边缘AI计算平台：在边缘集成效率、安全和智能
在物联网与AI融合的浪潮中，考虑延时、隐私、成本等因素，相比于将数据上传到云，市场对边缘AI计算平台的需求日益迫切。从智慧城市到工业自动化，随着世界的互联和智能化水平的日益提升，在边缘侧处理AI工作负载的必要性已不可或缺。
Arm公司近日发布专为物联网优化的Armv9边缘AI计算平台，该平台以全新的Arm Cortex-A320 CPU和领先的边缘AI加速器Arm Ethos-U85 NPU为核心，覆盖多个应用场景，实现包括视觉和自然语言在内的多模态的环境感知与理解，进而运行智能体AI、自主规划、执行复杂任务。该平台具备强大的计算能力，比去年的基于Cortex-M85搭配Ethos-U85的平台提升了八倍的ML计算性能，带来了显著的AI计算能力突破。该平台可赋能边缘AI设备轻松运行超过10亿参数的大模型，助力大模型与生成式AI在物联网领域的落地。
一、Armv9边缘AI计算平台：CPU和NPU的深度配合助推边缘AI创新
Arm物联网事业部业务拓展副总裁马健表示，此次发布的边缘AI计算平台并非CPU和AI加速器的简单堆叠，而是实现了深度配合，让CPU和NPU相得益彰。
Cortex-A320可以为Ethos-U85提供更高的内存容量与带宽，让大模型在Ethos-U85上的执行如虎添翼。任何开发者们不希望在Ethos-U85上运行的AI操作，可以回退到Cortex-A320，利用其Neon/SVE2引擎更灵活有效地在CPU上执行。这使智能物联网与消费类电子生态系统能够在正确的时间，并在合适的地方运行最适合的工作负载。在Arm看来，这一创新将推动边缘AI领域在未来多年内的持续发展。
目前，全新Armv9边缘AI计算平台已获得亚马逊云科技(AWS)、西门子和瑞萨电子等多家行业领先企业的支持。以AWS为例，AWS IoT Greengrass是一个开源的边缘执行程序和云服务，用于构建、部署和管理设备端软件。目前，该边缘执行程序已经能够在众多基于Arm架构的设备上运行，并支持远程部署、管理和持续优化AI功能。在云边协同服务的场景下，安全性至关重要。因此，Armv9的安全特性成为物联网服务成功落地，以及为终端用户创造价值的关键创新。
二、Cortex-A320：首个专为物联网应用优化，基于Armv9架构的超高能效CPU
聚焦物联网设备的边缘AI能力时，此次全新发布的基于Arm架构的Cortex-A320为物联网带来了先进的AI功能和开发者优势，将Armv9架构的功能扩展到高能效设备，并提供全面的软件支持。
Cortex-A320充分发挥了Armv9架构的优势，如针对ML性能的SVE2。相较于前代产品Cortex-A35，Cortex-A320的ML性能提升了十倍，标量性能提升了30%。
其所采用的Armv9.2架构还为最小的Cortex-A设备带来了高级的安全功能，例如指针验证(PAC)、分支目标识别(BTI)和内存标记扩展(MTE)。这些功能至关重要，因为边缘设备通常在暴露的环境中运行并处理敏感数据。
Cortex-A320支持广泛的边缘AI应用类型，从入门级通用MPU、智能扬声器、软件定义智能摄像头，到工厂车间内的自动驾驶车辆、自动化边缘AI助手、AI人机界面和机器人控制器，Cortex-A320可在广泛的应用中发挥上述优势。除边缘AI应用外，Cortex-A320还可惠及包括智能手表和智能可穿戴设备，以及服务器基板管理控制器(BMC)等基础设施设备在内的众多关键细分市场。
三、强大的软件生态支持
边缘AI普及面临的最主要障碍之一是软件开发和部署的复杂性，为此，Arm将Arm Kleidi扩展到物联网。作为一套面向AI框架开发者的计算库，旨在优化基于Arm CPU的AI和ML工作负载，无需开发者额外操作。KleidiAI已集成到常见的物联网AI框架中，如Llama.cpp和ExecuTorch或LiteRT（通过XNNPACK），加速了Meta Llama 3和Phi-3等关键模型的性能。例如，在Llama.cpp上运行微软的Tiny Stories数据集时，KleidiAI为新的Cortex-A320带来了高达70%的性能提升。
可以说，软件生态一直是Arm的聚焦重点之一。过去几年中，Arm在IoT标准化方面推出了Arm SystemReady，旨在不同的IoT平台上可以支持各种主流软件和操作系统，确保“开机即用”。Arm SystemReady项目在全球的推广非常成功，目前已经累计颁发了超过了160张认证。在中国市场，去年11月Arm携手中科创达成立了中国大陆首个Arm SystemReady Devicetree合规实验室。该实验室融合了中科创达在操作系统和工程方面全方位的专业能力，以及Arm经过全球验证的SystemReady项目，为芯片厂商、OEM/ODM 厂商 、系统集成商提供端到端的测试和技术支持服务，为智能设备启动固件的标准化，加速万物智能互联时代的到来。
小结
展望未来，AI的发展趋势将继续转向边缘侧，而全新Arm边缘AI计算平台将成为新一轮物联网创新的催化剂。Armv9架构的特性、先进的AI功能和全面软件支持的结合，为OEM厂商和开发者创造了新的可能性。随着技术的不断演进，我们也期待Armv9边缘AI计算平台能持续推动边缘AI的广泛应用和创新。
