英特尔推出至强处理器推理微服务自动配置vLLM参数

发生了什么

据IT之家报道，英特尔于10月14日宣布推出Intel Inference Microservices服务。该方案面向第四、五、六代至强处理器，旨在让企业无需手动优化即可在现有硬件上获得调优的模型推理能力。每个微服务为独立容器，通过OpenAI兼容API提供服务，启动时自动检测处理器型号并应用预验证的vLLM参数（支持BF16精度）。此举将调优过程封装在容器内，用户只需选择模型，容器负责选择设置。首批版本可在Docker或Kubernetes环境中运行，建议配置32GB内存。