微软升级Win11 AI框架支持GGUF

发生了什么

据IT之家报道，微软在Windows与Surface十月活动中宣布升级面向Windows 11的本地AI推理框架Windows ML。微软正与llama.cpp及GGUF开源社区合作，实验性原生支持GGUF与ONNX格式模型推理，并推出Windows ML Runtime API。开发者可通过该API从Hugging Face导入GGUF模型并在本地运行，同时新增Text Generation与Speech Recognition API以构建相关应用。微软表示未来优化将优先投向新API，但旧版ONNX Runtime API仍获完整支持。