一个实现了在个人电脑上运行 LLM 模型,并集成了服务接口和在线聊天界面的项目。
LocalAI是一个可替换的REST API,与OpenAI API规范兼容,用于本地推理。它允许你用消费级硬件在本地或内部运行LLM(而不仅仅是),支持与ggml格式兼容的多个模型系列。不需要GPU。