模型量化是一种减少深度学习模型大小的技术，通过减少模型中参数的位数来降低模型的存储需求和计算复杂性。这通常涉及将浮点数参数转换为低位数的整数，例如从32位浮点数到8位整数。
静态量化在模型训练后进行，不涉及重新训练。它通常用于不需要细粒度调优的场景。
动态量化在模型推理时进行，对权重进行量化，但保留中间激活的浮点数表示。它适用于那些需要保持较高推理精度的应用。
PyTorch动态量化入门教程可参考我撰写的另一篇博文：Dynamic Quantization PyTorch官方教程学习笔记
量化感知训练在训练过程中将量化考虑在内，通过模拟低精度的效果来训练模型。这种方法可以最大限度地减少量化对模型精度的影响。
量化可能会导致模型精度的降低。为了缓解这一问题，可以采用更精细的量化策略，如混合精度训练，或者使用量化感知训练来优化模型。
混合精度训练是一种同时使用单精度（32位）和半精度（16位）浮点数进行训练的技术。这种方法可以在减少计算资源需求的同时，保持或仅轻微影响模型的精度。在混合精度训练中，模型的关键部分，如权重更新，使用更高精度的计算来保证训练稳定性和模型质量，而其他部分则使用低精度计算以提高效率。
参考资料：
还没读：大模型基础（20）
并非所有的硬件都支持低精度的计算。因此，在进行量化时需要考虑目标硬件的兼容性。一些专用硬件和加速器被设计来支持低精度运算，从而加速量化模型的推理。
模型量化在许多领域都有应用，例如：
近年来，随着人工智能的迅速发展，模型量化领域也在不断进步。一些最新的研究集中在自动量化技术上，这些技术可以智能地选择最佳的量化策略。此外，一些研究致力于开发新的量化算法，以进一步减少精度损失和提高运行效率。
(2023 微软) FP8-LM: Training FP8 Large Language Models：FP8混合精度训练
在这篇文章中，我们简要介绍了模型量化的基本概念、主要类型、面临的挑战、应用场景和最新进展。这一领域的迅速发展正推动着深度学习模型在更广泛场景的应用，同时也为模型优化提供了新的方向。希望这篇文章能帮助你更好地理解模型量化，并在你的项目中找到合适的应用。
还没读懂：