Unsloth推出Ornith 122B动态量化版

发生了什么

据X平台用户@danielhanchen发布，Unsloth已为Ornith 122B模型推出UD3动态量化版本UD-Q2_K_XL。该版本模型大小为44.5GB，相较于BF16格式的249GB体积缩小了82%。在性能表现方面，该量化版本在wikitext general任务中保留了约84%的top-1%准确率，在聊天任务中保留了约89%的准确率。