Skip to content
llama.cpp：C/C++ 实现的高性能开源 LLM 推理引擎
github.com | 工具 | #ai-security | #open-source | #llm | #local-ai | #inference | #ggml | #quantization
摘要
llama.cpp：基于 GGML 的无依赖 C/C++ 大模型推理引擎，支持 1.5–8 bit 量化与 Apple Silicon、CUDA、Vulkan、CPU 等后端，是本地大模型工具链的核心底座。
为什么值得关注
作为离线部署与私有化大模型的核心底层架构，为安全研究、内网脱机测试与防止敏感数据出境的 AI 安全实战环境提供了强力支撑。
- 发布时间
- 收录时间