返回首页

微软宣布为Win11用户优化DeepSeek-R1模型让Copilot+PC实现

时间:2025-02-05 来源:原创/投稿/转载作者:管理员点击:

  IT之家 1 月 30 日消息,人工智能正加速向着边缘计算领域发展,Copilot+ PC 在其中扮演着重要角色。随着 DeepSeek R1 出现,微软也意识到了这一模型可能会带来了一系列变革。

  微软表示,Copilot+ PC 上的 NPU 开启了一种新的范式。在这种范式下,生成式 AI 不仅可以在被调用时执行,还可以支持半连续运行的服务。这使开发者能够利用 AI 推理引擎来构建主动和持续的体验。微软表示:

  通过我们在 Phi Silica 上的工作,我们实现了高效的推理 —— 在首次生成 token 的时间和吞吐率方面表现出色,同时对电池续航和 PC 资源消耗的影响降至最低。针对 NPU 优化的 DeepSeek 模型借鉴了该项目的多项关键经验和技术,包括如何分离模型的各个部分以实现性能与效率的最佳平衡、低比特率量化以及将 Transformer 映射到 NPU。此外,我们还利用 Windows Copilot Runtime(WCR)通过 ONNX QDQ 格式在多样化的 Windows 生态系统中实现扩展。

  用户可以通过点击“下载”按钮将其下载到本地。下载完成后,只需打开 Playground 加载“deepseek_r1_1_5”模型,并给出提示词即可开始实验。

【责任编辑:管理员】
随机推荐 更多>>