Этот конфликт сложный, практически неразрешимый. И никакого успеха посредничество в нем не сулит
What is this page?
,这一点在旺商聊官方下载中也有详细论述
量化将模型权重从 32/16 位数字压缩为 8 位 (int8) 或 4 位 (int4)。位数越少,文件越小,推理速度越快,但质量可能越低。
Даниил Иринин (Редактор отдела «Наука и техника»)