微软还强调,他们使用了内部自动量化工具Aqua,将所有DeepSeek模型变体量化为int4权重。不过目前模型的速度仍然较低,14B模型仅为8 tok/sec,而1.5B模型接近40 tok/sec,微软表示正在进一步优化以提高速度。开发者可以通过下载AI Toolkit VS Code扩展,在Copilot+ PC上运行DeepSeek模型的全部蒸馏版本。

页码:上一页
微软还强调,他们使用了内部自动量化工具Aqua,将所有DeepSeek模型变体量化为int4权重。不过目前模型的速度仍然较低,14B模型仅为8 tok/sec,而1.5B模型接近40 tok/sec,微软表示正在进一步优化以提高速度。开发者可以通过下载AI Toolkit VS Code扩展,在Copilot+ PC上运行DeepSeek模型的全部蒸馏版本。

娱乐
阅读15254
娱乐
阅读16714
娱乐
阅读16058
娱乐
阅读15921
娱乐
阅读16145