DeepSeek与高通的“双向奔赴”：加速终端侧AI推理创新

  有一个问题摆在面前，你是通过搜索引擎寻找答案？还是打开与大模型对话的聊天框，让AI送上结果？

  现在，尤其是DeepSeek-R1上线后，越来越多的人应该选择了后者。传统搜索引擎就像是一个巨大的图书馆，尽管大门敞开，但想要获得有价值的内容还需要用户筛选。大模型则像是已经学习了馆内各类知识的管理员，用户与其对话就能直接收到整合多源信息的结果。 

  如果没有网，或者不能联网呢？搜索引擎将无法工作，支持终端侧部署的大模型仍能继续运行。

  以智能手机为例，2023年骁龙峰会上亮相的第三代骁龙8移动平台便支持终端侧运行100亿参数的模型，用时不到一秒就可以在终端侧通过Stable Diffusion生成图片。2024年推出的骁龙8至尊版终端侧AI能力进一步加强，支持文本、语音、图像及视频等多模态交互体验，让终端侧AI可以“听懂、看懂”用户需求。 

  不仅是离线可用，终端侧AI还具备低延迟、个性化等优势，同时敏感资料与个人数据的本地化处理也可以免除后顾之忧。但是，受到算力、模型规模等限制，此前终端侧AI在性能方面相较云端仍有明显差距。对于生成式AI而言，高性能、低成本、本地化似乎成为限制其规模化发展、难以同时实现的“不可能三角”。

  直到DeepSeek出现，撬动了这个“不可能三角”。

终端侧推理创新，DeepSeek与高通的“双向奔赴”

  不同于OpenAI、xAI等为代表的“大力飞砖”，DeepSeek利用多项创新技术实现突破，展示了“以小博大”——训练成本仅557.6万美元的DeepSeek-V3模型，在性能方面已经与ChatGPT-4o不相上下。高通最新发布的《AI变革正在推动终端侧推理创新》AI白皮书中介绍道，得益于蒸馏等创新技术，参数更少的小模型性能也正接近前沿大模型。例如基于通义千问模型和Llama模型的DeepSeek蒸馏版本展现了诸多明显优势，尤其是在GPQA基准测试中，与GPT-4o、Claude 3.5 Sonnet和GPT-o1 mini等先进模型相比，取得了相似或更高的分数。 

  模型的规模缩小但性能大幅提升，让可在终端侧运行的小模型具备此前只能在云端运行大模型的能力。也可以说，“小块头大智慧”的AI小模型与终端侧AI的契合度拉满。高通技术公司高级副总裁兼技术规划和边缘解决方案业务总经理马德嘉(Durga Malladi)表示，小模型通过蒸馏技术可实现更多功能、具备出色性能，将有助于开发更多高质量模型，意味着能够实现AI商业应用的规模化扩展。例如最近在发布的终端侧模型参数规模已经降低到20亿以下，未来参数规模也将不再是衡量模型质量的重要指标。 

 高通技术公司高级副总裁兼技术规划和边缘解决方案业务总经理马德嘉(Durga Malladi)

  就当下而言，是DeepSeek给AI发展带来了巨大变革，推动终端侧AI升级与推理创新。如果把视角拉远一些，高通很早就洞察到终端侧AI的潜力，为“DeepSeek们”横空出世做好了准备。

  2007年，高通启动首个AI研究项目，首款Hexagon DSP在骁龙平台亮相;2015年，骁龙820移动平台首次集成高通AI引擎;在过去十年中，高通携手设备厂商、ISV等合作伙伴，围绕影像、游戏、通话、连接等多个领域推动终端侧AI创新及落地应用;进入大模型时代后，高通率先在终端侧支持本地部署，并推出高通AI Hub，为开发者提供全面优化的AI模型库，支持跨不同业务的骁龙和高通平台部署…

  高通不仅率先布局终端侧AI，同时已经从硬件及算力、软件工具、生态建设、应用落地等多个领域“做好准备”，在AI推理时代守住引领者的地位。

  高通AI白皮书中还提到，AI推理时代新变革背后的四大关键趋势——模型参数规模正在快速缩小、最先进的AI小模型已具有卓越性能、开发者能够在边缘侧打造更丰富的应用、AI正在成为新的UI。

  高通将如何释放AI推理时代新趋势带来的价值，如何与DeepSeek“双向奔赴”普惠千行百业及终端用户？

高通引领AI推理时代：稳定剂+催化剂+加速剂

  在迈入AI推理时代这个关键节点，作为行业引领者的高通拥有三项优势——“稳定剂”“催化剂”和“加速剂”。

  “稳定剂”平台级算力：筑牢终端侧AI的基础

  先来思考这样一个问题：DeepSeek降低了算力需求，是不是意味着没必要发展算力了？答案显然是否定的!一方面，无论是DeepSeek还是其他模型都仍然采用云端训练和端侧推理的模式，同时应用场景扩展、多模态端侧AI等创新也将推动算力需求激增。另一方面，对于终端侧AI而言，算力仍是保障“小模型”、AI推理、生成式AI应用高效顺畅体验的基础，并且相比云端，终端侧的底层硬件在增强算力的同时要更重视能效升级，以满足用户对于续航时间的严苛要求。

  在算力层面，高通定制的CPU、GPU、NPU，以及传感器中枢、内存共同组成异构计算架构，在兼顾高性能的同时保证平台级高能效。而且高通旗下芯片产品矩阵完备，满足终端侧AI的广泛部署需求。例如，第二代定制的高通Oryon CPU的移动平台，全大核设计性能提升45%、能效提升44%，支持更好的浮点和整数性能，处理时延敏感型AI任务更高效。 

  另外，高通在芯片架构、设计层面的创新，还可以带来更低时延、更高带宽，进而支持生成式AI等创新应用。例如骁龙8至尊版全新切片架构的GPU除性能与能效提升40%外，还拥有专属12MB图形内存，可以减少对系统内存占用;骁龙8至尊版增强的Hexagon NPU具备更强吞吐能力，更好地支持大语言、大视觉等AI模型，以及超长文本应用。

  高通也率先在搭载骁龙平台的Android手机上终端侧运行多模态大模型以及LoRA模型，并在搭载骁龙X Elite平台的Windows PC上首个在终端侧运行音频推理多模态大模型。

  高通提供的平台级算力不仅可以满足终端部署小模型的需求，也为终端侧AI创新、AI推理创新夯实基础。所以说，作为底层“核芯”的硬件平台，高通AI引擎是保障AI体验持续升级的基础，是终端侧AI发展的“稳定剂”。

  “催化剂”高通AI Hub：一次开发实现跨多平台部署

  将算力转换为终端侧AI创造的价值还需要开发者打造软件应用，为此高通准备了催化剂”套装——高通AI软件栈、高通AI Hub，助力开发者更快地完成应用开发，以及实现跨平台部署，将前沿终端侧AI特性在更短的时间内提供给用户。

  其中高通AI软件栈包括库、SDK和优化工具，支持简化模型部署并提升性能，利用这些资源开发者能够在高通平台快速进行模型和应用开发及部署。至于高通AI Hub集成了超过100个传统AI模型及生成式AI模型，并支持引入自主模型或基于数据创建模型来开发应用。马德嘉表示，高通要做的就是极大简化边缘侧AI开发者的整个开发流程，比如通过高通AI Hub提供大量软件工具、模型库、编译器，开发者可以任意选择runtime和框架，然后编写生成应用并在高通提供的免费云端设备场上进行测试，最终完成部署。 

  马德嘉还提到高通AI Hub支持移动、PC、IoT、汽车，甚至Wi-Fi联网终端平台，并为开发者提供极大的灵活性、易用性，并且只需要一次开发即可实现跨多平台部署。

  得益于这些“催化剂”，高通减轻了开发者的工作量、缩短了应用适配周期，实现最新AI功能快速部署到应用中。

  “加速剂”广泛的开放生态：推动终端侧AI发展

  高通赋能终端AI并不止硬件底层算力、软件开发工具，在构建终端侧AI生态时，凭借多年深耕移动产业的影响力、领导力，还能紧密携手设备厂商、模型厂商、开发者、用户，涵盖终端侧AI从早期雏形到成熟商业应用的全流程。这也是高通敏锐行业洞察力的源头之一，更是加速终端侧AI发展的重要力量。

  在MWC2025展会期间，高通与合作伙伴带来了一系列终端侧AI创新应用，包括在手机端基于骁龙平台的生成式AI、AI智能体最新成果;骁龙X系列PC在NPU上运行的全新AI任务;搭载骁龙8至尊版的高通参考设计配合XR设备展示终端侧AI为特定人群提供运动建议等等。 

  而且高通也通过AI赋能旗下产品创新，例如刚刚发布的高通X85 5G调制解调器及射频系统，不仅带来包括速率、效率、覆盖范围、能效等多项AI驱动的提升，更拥有首个AI赋能的数据流量引擎，对比上代AI推理快30%。 

  如今高通硬件与软件解决方案已经赋能智能手机、汽车、XR头显和眼镜、PC以及工业物联网在内的数十亿终端，既给产业链伙伴展现终端侧AI的商业潜力，又是印证终端侧AI演进路线的最佳“考场”，让开放生态成为终端侧AI发展的“加速剂”。

智能计算无处不在

  “小而优”的AI小模型为终端侧AI迈入推理时代提供了驱动力;算力需求与开发门槛降低则有助于进一步增加小模型的数量，让终端侧AI“遍地开花”;更强的端侧推理等能力，助力用户AI体验升级，扩展使用场景。

  高通之所以能够在这个复杂的体系中持续担当引领者，是因为从平台层、模型层、设备层、应用层均有相应的解决方案。 

  在平台层，高通和骁龙平台提供了灵活、强劲的算力，提升AI性能及能效;在模型层，高通AI Hub等为开发者提供了多样化模型，及易用、低成本的研发部署工具，减少投入并缩短开发用时，延长软件产品的生命周期;在设备层、应用层，高通有广泛合作，挖掘终端侧AI应用场景及商业价值，加速生态演进。

  但正如马拉松，跑在前面也要承受更大的阻力。终端侧AI也面临挑战。例如是否需要爆款应用来“证明”终端侧AI的价值;如何实现成功案例的规模化复制;如何克服AI大模型产业区域发展不均衡对本地化部署的影响… 

  比如，在《AI变革正在推动终端侧推理创新》AI白皮书中，高通提到的“AI正在成为新的UI”。可以预见，这将是必然趋势，但也会有难题要解决。对于用户而言，个性化多模态AI智能体是与AI交互最便捷的“窗口”之一，无论是文本、语音，都能轻松唤醒且支持跨应用操作。然而不同终端AI智能体水平的良莠不齐，正成为影响用户体验的痛点。这是终端侧AI推理创新进程中，行业不得不共同面对的难题。

  让人期待的是，在过去十余年中，高通明确了推动终端侧AI发展的决心与实力。覆盖数十亿终端，让智能计算无处不在的成果就是例证之一。

  迈入AI推理时代，高通将推动终端侧AI站在新起点，带来更多出人意料的新体验。就像十年前无法想象今天即使离开搜索引擎，只需要在对话框中用自然语言和AI聊天就能获得“经过思考、归纳和梳理”的结果。

文章来源：Yesky天极资讯
已注明著作权归属所有及作者，非商业用途。文章素材均来自网络，如有侵权请告知删除。