混合AI的硬体光谱
摘要
随著推论从云端转移至边缘端,驱动小型语言模型(SLM)与硬体效能架构同步创新,形成混合AI运算模式。由于边缘装置受限于功耗与散热条件,且推论速度取决于记忆体频宽而非单纯NPU算力,促使硬体朝异质整合架构发展,其中NPU以低功耗、高能效特性成为终端AI关键硬体;然而,目前多数AI模型仍以GPU优化,模型与硬体的协同设计将是发挥NPU效能的关键。
随著推论从云端转移至边缘端,驱动小型语言模型(SLM)与硬体效能架构同步创新,形成混合AI运算模式。由于边缘装置受限于功耗与散热条件,且推论速度取决于记忆体频宽而非单纯NPU算力,促使硬体朝异质整合架构发展,其中NPU以低功耗、高能效特性成为终端AI关键硬体;然而,目前多数AI模型仍以GPU优化,模型与硬体的协同设计将是发挥NPU效能的关键。
© 2026 拓墣科技 及/或 集邦科技(集邦咨询顾问(深圳)有限公司) 版权所有