跳到主要内容
开源

Multiverse Computing 开源低显存模型蒸馏实现

来源:Multiverse Computing · huggingface.co

更新摘要

该团队开源一种分块损失实现,通过离线缓存教师模型输出并分块计算蒸馏损失来减少显存占用。官方测试称,在三万二千词元场景中,峰值显存从约八十五吉字节降至约五点五吉字节。

本页仅索引并客观转述公开信息,产品能力、价格与可用范围以官方原文为准。