GitHub周趋势2026W25 | Headroom 压缩 95% Token、NVIDIA 开源 AI Agent 安全扫描器、…
2026-07-28
2026-07-28 0
节点1和节点2成功使用vllm拉起prefill服务
curl测试能相应。先把Prefill跑起来，没有Decode节点也是能跑的。
今天再次测试发现，这两台实际是按照独立实例在各跑各的，没有形成集群。一步一步来，从简单到复杂。不然就是几千条的报错。
本文参与腾讯云自媒体同步曝光计划，分享自微信公众号。原始发表：2026-06-14，如有侵权请联系[email protected] 删除
Copyright(C) 2020-2026 jiyx.com All Rights Reserved 联系方式：[email protected]