Show HN:Janus——用 Go 单二进制在 AMD/Intel/NVIDIA 上通过 Vulkan 运行 GGUF 模型
中文摘要
Janus 是一个 Go 编写的单二进制本地 LLM 服务器,通过 Vulkan 在多厂商 GPU/CPU 上运行 GGUF 模型,提供 OpenAI 兼容 API 且无需 Python 或 Docker。
English Summary
Janus is a Go-based single-binary local LLM server that runs GGUF models via Vulkan on AMD/Intel/NVIDIA hardware, offering an OpenAI-compatible API without needing Python or Docker.
Original Excerpt
Janus 是一个 Go 单二进制本地 LLM 服务器,通过 Vulkan 在 AMD/Intel/NVIDIA GPU 或 CPU 上运行 .gguf 模型,并暴露 OpenAI 兼容 API,无需 Python、Docker 或 Ollama。