MarkTechPost详解LLM格式与量化

发生了什么

据MarkTechPost教程，LLM模型需区分容器与量化方法。Safetensors由Hugging Face创建，现为PyTorch Foundation项目，支持内存映射加载。GPTQ、AWQ等量化模型通常存储于.safetensors文件中。GGUF是用于GGML执行器的二进制格式，由Georgi Gerganov于2023年8月21日推出以取代GGML。GPTQ由Elias Frantar等人开发，2022年10月31日首发arXiv，后发表于ICLR 2023。