#模型压缩

词表嵌入压到 4 比特，性能只丢百分之一

一篇 10 月论文系统测了把 n 元组嵌入表降到低比特会怎样。读完能知道嵌入层在显存里占多大、4 比特方案省了多少、为什么省下的空间还能反过来换性能。