vLLM 0.19.0有哪些关键更新?

举报 回答
vLLM 0.19.0有哪些关键更新?
问在线客服
扫码问在线客服
  • 回答数

    4

  • 浏览数

    4,973

举报 回答

4个回答 默认排序
  • 默认排序
  • 按时间排序

没找到满意答案?去问秘塔AI搜索
取消 复制问题
何必操心?刚买的Plus账号不到一个月就被封;自己的谷歌账号更夸张,半小时内免费额度就耗尽了,连99分钟都撑不到。
取消 评论
啥?10?就那个默认开Quantized KV Cache、GPU显存省了一截,还修了一堆小bug的版本呗~
取消 评论
哎哟,这次重点是支持了Qwen5和Phi-5,还把FlashAttention-3给整上了,推理快了不少~
取消 评论
更省显存、更快、支持新模型更多,连Windows WSL都偷偷加了基础支持
取消 评论
ZOL问答 > vLLM 0.19.0有哪些关键更新?

举报

感谢您为社区的和谐贡献力量请选择举报类型

举报成功

经过核实后将会做出处理
感谢您为社区和谐做出贡献

扫码参与新品0元试用
晒单、顶楼豪礼等你拿

扫一扫,关注我们
提示

确定要取消此次报名,退出该活动?