#308 Christopher Bergey: How Arm Enables AI to Run Directly on Devices
Eye On A.I.免费试用OCI，请访问 本集节目由Oracle赞助。
OCI是专为各类工作负载打造的下一代云平台——你可以在这里更快、更安全、更经济地运行任何应用，包括任何AI项目。
平均而言，OCI的计算成本低50%，存储成本低70%，网络成本低80%。
加入Modal、Skydance Animation以及当今那些升级到OCI并节省了成本的创新AI技术公司……为什么AI正从云端迁移到我们的设备上，又是什么让端侧智能终于能够大规模实用化？
在本期《Eye on AI》中，主持人Craig Smith与Arm边缘AI业务部执行副总裁Christopher Bergey对话，探讨边缘AI如何重塑智能手机、PC、可穿戴设备、汽车和日常设备领域的计算格局。
我们将深入分析Arm v9如何实现边缘端的AI推理，为什么跨CPU、GPU和NPU的异构计算至关重要，以及开发者如何平衡性能、功耗、内存和延迟。
了解为什么内存带宽已成为AI最大的瓶颈，Arm如何推进可扩展矩阵扩展（Scalable Matrix Extensions），以及加速器与基于传统CPU的AI工作负载之间存在哪些权衡。
你还将听到边缘AI的实际应用案例，从智能摄像头和助听器到XR设备、机器人以及车载系统。
本次对话展望了一个智能嵌入到你使用的万物之中的未来，届时AI将成为默认交互界面，以及为什么可靠、低延迟的端侧AI对于打造用户真正信任的体验至关重要。
保持关注：Craig Smith的X账号： 《Eye on A.
I.
》的X账号：
ARM架构：边缘AI革命的幕后推手
概述
ARM客户端业务部高级副总裁Chris Bergey在访谈中深入探讨了ARM架构如何从智能手机革命的基石，演变为当今边缘AI计算的核心驱动力。访谈揭示了ARM通过异构计算、能效优化和开发者生态，正推动AI从云端向设备端迁移，重塑人机交互的未来。
关键话题
1. ARM的演进与v9架构的战略重心
- 历史根基：ARM架构近30年的发展始于苹果等公司的早期投资，任天堂、诺基亚等企业推动其成为移动计算中流砥柱。
- v9架构突破：聚焦安全性、性能与AI三大方向，首次引入SME（可扩展矩阵扩展），将AI能力深度集成到CPU生态。
- 市场渗透：目前多数iOS/Android手机已采用v9 CPU，并正向数据中心、汽车、AIoT等领域加速扩展。
2. 边缘AI的异构计算革命
- “全都要”的解决方案：AI工作负载需要CPU通用计算、GPU并行处理、NPU专用加速及高内存带宽的协同。
- 动态负载调配：通过大小核设计（如门铃摄像头平时低功耗监测，事件触发后启动高性能单元），实现性能与能效的平衡。
- 集成化趋势：手机/PC的SoC（片上系统）将CPU、GPU、NPU封装为一体，以应对AI对内存系统的严苛需求（如苹果M5、英伟达GB200）。
3. 边缘AI的必然性：为何AI必须走向设备端？
- 实时交互需求：云端延迟可能导致体验中断（如驾车经过信号盲区），设备端处理可确保响应“如触控般自然”。
- 隐私与成本：本地处理减少数据上传，同时降低云端计算成本。
- 模型小型化创新：模型正以每年超50%速度缩小，使边缘部署更可行（如助听器降噪、Meta腕带运动识别）。
4. 开发者生态与未来趋势
- 降低开发门槛：ARM通过Clity框架等工具，让开发者能用传统编程语言调用硬件加速功能，无需重复学习新语言。
- 智能化交互变革：AI将超越触控，实现语音直接配置设备（如安防摄像头）、打破数据孤岛（如Windows Copilot自动设置）。
- 物理世界赋能：从特斯拉自动驾驶到医疗影像分析，ARM正推动视觉传感器与AI结合，解决机械执行等长期挑战。
核心洞察与行动指南
技术策略
- 拥抱异构计算：在边缘设备设计中，需综合评估CPU、GPU、NPU及内存带宽的协同，而非单一追求算力峰值。
- 优先能效与集成：对于电池受限设备（如门铃、腕带），采用SoC集成方案，并通过动态功耗管理优化续航。
- 关注模型优化：边缘部署需与模型压缩（如剪枝、量化）及硬件专用扩展（如SME）紧密结合，以平衡性能与成本。
商业与开发建议
- 探索边缘AI场景：从实时翻译、安防配置到工业质检，识别那些受延迟、隐私或网络稳定性制约的应用场景。
- 利用ARM开发者资源：通过developer.arm.com获取工具链，树莓派等平台可作为低成本原型开发入口。
- 预判交互范式转移：为“语音/手势直接控制”设计产品逻辑，减少传统图形界面依赖，适应AI原生交互习惯。
行业展望
- 边缘AI普及化：未来5年，AI能力将如蓝牙般成为设备标配，从手机、PC延伸至汽车、机器人及微型物联网终端。
- 供应链韧性建设：尽管地缘政治影响芯片制造，但ARM的IP授权模式仍支持全球协作，开发者需关注合规与技术本地化。
- 创新周期加速：AI算法与硬件协同迭代，企业需保持架构灵活性，以快速整合Transformer之后的新兴模型（如状态空间模型）。
结语：ARM正以“隐形引擎”之力，推动边缘AI从概念落地为日常体验。其成功关键在于：三十年生态积累、异构计算的务实哲学，以及对“设备智能化”趋势的精准把握。对于开发者和企业，拥抱ARM生态不仅意味着技术兼容，更是参与重塑人机交互未来的入场券。
原始描述
Try OCI for free at This episode is sponsored by Oracle.
OCI is the next-generation cloud designed for every workload – where you can run any application, including any AI projects, faster and more securely for less.
On average, OCI costs 50% less for compute, 70% less for storage, and 80% less for networking.
Join Modal, Skydance Animation, and today's innovative AI tech companies who upgraded to OCI…and saved.
Why is AI moving from the cloud to our devices, and what makes on device intelligence finally practical at scale?
In this episode of Eye on AI, host Craig Smith speaks with Christopher Bergey, Executive Vice President of Arm's Edge AI Business Unit, about how edge AI is reshaping computing across smartphones, PCs, wearables, cars, and everyday devices.
We explore how Arm v9 enables AI inference at the edge, why heterogeneous computing across CPUs, GPUs, and NPUs matters, and how developers can balance performance, power, memory, and latency.
Learn why memory bandwidth has become the biggest bottleneck for AI, how Arm approaches scalable matrix extensions, and what trade offs exist between accelerators and traditional CPU based AI workloads.
You will also hear real world examples of edge AI in action, from smart cameras and hearing aids to XR devices, robotics, and in car systems.
The conversation looks ahead to a future where intelligence is embedded into everything you use, where AI becomes the default interface, and why reliable, low latency, on device AI is essential for creating experiences users actually trust.
Stay Updated: Craig Smith on X: Eye on A.
I.
on X: