Hugging Face 发布 tokenizers v1 性能预览

更新摘要

Hugging Face 介绍 tokenizers v1 的性能重构，涵盖单线程、多线程扩展、编码延迟、解码吞吐、内存占用和可执行文件大小等指标。文章称该版本相较 v0.23 在部分场景快数十倍，并提供基准工具以便在本地复测。

本页仅索引并客观转述公开信息，产品能力、价格与可用范围以官方原文为准。