Baseten 优化 Qwen3-ASR 1.7B 批量转写,吞吐达原版 vLLM 的 7 倍
中文摘要
Baseten优化Qwen3-ASR 1.7B部署,吞吐量达原版vLLM的7倍,转写成本低至每小时0.0013美元,远低于闭源服务。
English Summary
Baseten optimized Qwen3-ASR 1.7B for batch transcription, achieving 7x higher throughput than vLLM at $0.0013 per hour, significantly outperforming closed-source providers in cost-efficiency.
原文节选
Baseten 优化了 Qwen3-ASR 1.7B 的批量转写部署,在 64 并发下吞吐比原生 vLLM 高 7 倍以上,成本降至每音频小时约 $0.0013,比闭源提供商低约 277 倍。