多机多卡推理

[zhudongwork]

大佬，支持同一个集群里面的多机多卡推理不

[Tlntin]

理论可以，我没测试过。

[zhudongwork]

多机多卡的话是不是就不能用docker了，直接在宿主机上装环境

[Tlntin]

不确定，去官方仓库看了一下，暂时没有多机多卡的成功案例，可能还不支持。

[chwma0]

单机多卡可以吗？
我这里单机双卡部署可以成功，但是好像推理结果和单卡并不对齐...