ai-infra-interview-305

10-量化与压缩(第 116–130 题)

题号 主题 文章
116 INT8量化的symmetricasymmetric区别?… 116-INT8量化的symmetric和asymmetric区别.md
117 SmoothQuant的原理?为什么能同时保持权重和激活的量化精度? 117-SmoothQuant的原理.md
118 AWQ(Activation-aware Weight Quanti… 118-AWQ(Activation-aware-Weight-Quantizati.md
119 GPTQone-shot量化流程?OBQ(Optimal … 119-GPTQ的one-shot量化流程.md
120 GGUF格式的量化级别?Q4_K_M适合什么场景? 120-GGUF格式的量化级别.md
121 FP8量化的硬件支持?H100的`Transformer Eng… 121-FP8量化的硬件支持.md
122 量化校准(calibration)的数据集选择?多少样本足够? 122-量化校准(calibration)的数据集选择.md
123 量化后的精度损失如何快速定位?layer-wise的sensitivit… 123-量化后的精度损失如何快速定位.md
124 k-means量化和非均匀量化的应用场景? 124-k-means量化和非均匀量化的应用场景.md
125 二值化网络(BNN)在推理优化中的实际价值? 125-二值化网络(BNN)在推理优化中的实际价值.md
126 知识蒸馏在推理优化中的作用?MiniLLMDistilBERT 126-知识蒸馏在推理优化中的作用.md
127 结构化剪枝和非结构化剪枝的硬件友好性? 127-结构化剪枝和非结构化剪枝的硬件友好性.md
128 动态量化(Dynamic Quantization)和静态量化的runt… 128-动态量化(Dynamic-Quantization)和静态量化的runtim.md
129 量化算子的融合?quantize-linear + matmul 129-量化算子的融合.md
130 混合精度推理的策略?哪些层必须保持FP16 130-混合精度推理的策略.md

返回总览