使用 AutoGPTQ 和 transformers 讓大語言模型更輕量化

大語言模型在理解和生成人類水平的文字方面所展現出的非凡能力，正在許多領域帶來應用上的革新。然而，在消費級硬體上訓練和部署大語言模型的需求也變得越來越難以滿足。