Lit-GPT

一个基于 Lit-LLaMA 和 nanoGPT 实现，支持 LLaMa 2、Mistral 7B、Mixtral 8x7B 等模型的微调。

支持闪存注意力，Int8和GPTQ 4bit量化，LoRA和LLaMA-Adapter微调，预训练等功能。