| 116 |
INT8量化的symmetric和asymmetric区别?… |
116-INT8量化的symmetric和asymmetric区别.md |
| 117 |
SmoothQuant的原理?为什么能同时保持权重和激活的量化精度? |
117-SmoothQuant的原理.md |
| 118 |
AWQ(Activation-aware Weight Quanti… |
118-AWQ(Activation-aware-Weight-Quantizati.md |
| 119 |
GPTQ的one-shot量化流程?OBQ(Optimal … |
119-GPTQ的one-shot量化流程.md |
| 120 |
GGUF格式的量化级别?Q4_K_M适合什么场景? |
120-GGUF格式的量化级别.md |
| 121 |
FP8量化的硬件支持?H100的`Transformer Eng… |
121-FP8量化的硬件支持.md |
| 122 |
量化校准(calibration)的数据集选择?多少样本足够? |
122-量化校准(calibration)的数据集选择.md |
| 123 |
量化后的精度损失如何快速定位?layer-wise的sensitivit… |
123-量化后的精度损失如何快速定位.md |
| 124 |
k-means量化和非均匀量化的应用场景? |
124-k-means量化和非均匀量化的应用场景.md |
| 125 |
二值化网络(BNN)在推理优化中的实际价值? |
125-二值化网络(BNN)在推理优化中的实际价值.md |
| 126 |
知识蒸馏在推理优化中的作用?MiniLLM、DistilBERT… |
126-知识蒸馏在推理优化中的作用.md |
| 127 |
结构化剪枝和非结构化剪枝的硬件友好性? |
127-结构化剪枝和非结构化剪枝的硬件友好性.md |
| 128 |
动态量化(Dynamic Quantization)和静态量化的runt… |
128-动态量化(Dynamic-Quantization)和静态量化的runtim.md |
| 129 |
量化算子的融合?quantize-linear + matmul… |
129-量化算子的融合.md |
| 130 |
混合精度推理的策略?哪些层必须保持FP16? |
130-混合精度推理的策略.md |