返回首页
RadarAI··论文与技术

Show HN:Janus——用 Go 单二进制在 AMD/Intel/NVIDIA 上通过 Vulkan 运行 GGUF 模型

中文摘要

Janus 是一个 Go 编写的单二进制本地 LLM 服务器,通过 Vulkan 在多厂商 GPU/CPU 上运行 GGUF 模型,提供 OpenAI 兼容 API 且无需 Python 或 Docker。

English Summary

Janus is a Go-based single-binary local LLM server that runs GGUF models via Vulkan on AMD/Intel/NVIDIA hardware, offering an OpenAI-compatible API without needing Python or Docker.

原文节选

Janus 是一个 Go 单二进制本地 LLM 服务器,通过 Vulkan 在 AMD/Intel/NVIDIA GPU 或 CPU 上运行 .gguf 模型,并暴露 OpenAI 兼容 API,无需 Python、Docker 或 Ollama。