Hugging Face发布tokenizers v1

发生了什么

据Hugging Face Blog公告，其发布tokenizers v1版本。该版本通过位流与缓存优化技术，实现了十倍性能提升。此次更新主要涉及编码和解码功能的测量与改进。