开启 MTP 预测后，工具调用异常

[also-good]

System Info / 系統信息

开启 MTP 预测后，工具调用异常（已使用最新的 chat_template.jinjia）：⚙ invalid [tool=read, error=Invalid input for tool read: JSON parsing failed: Text: {"filePath": "D:\log_parse_service_django\medusa\rules\tests\ main .{}.错误消息：JSON 解析错误：未终止的字符串]

Who can help? / 谁可以帮助到您？

No response

Information / 问题信息

• The official example scripts / 官方的示例脚本
• My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

使用最新版本的模型， vllm==0.19.1

Expected behavior / 期待表现

glm-4.7-fp8/glm-5-fp8/glm-5.1-fp8 看起来都有这个问题

[JaredforReal]

可以给一下使用场景和更加详细的log信息吗？ @also-good

[AndrewTsao]

vLLM 最新版本 v0.21.0-ubuntu2404 或 glm5 的分支版本，开启MTP预测后，使用 claude 对接vLLM，进行并行工具调用测试90%以上的概率会出现Invliad tool parameters 的错误。如果不启用MTP，工作正常。

启动参数：

 vllm serve models/ZhipuAI/GLM-5.1-FP8 \                                                                                                                                                                                                  
    --host 0.0.0.0 \                                                                                                                                                                                                                       
    --port 8000 \                                                                                                                                                                                                                          
    --enable-chunked-prefill \                                                                                                                                                                                                             
    --enable-prefix-caching \                                                                                                                                                                                                              
    --tensor-parallel-size 4 \                                                                                                                                                                                                             
    --gpu_memory_utilization 0.9 \                                                                                                                                                                                                         
    --enable-prompt-tokens-details \                                                                                                                                                                                                       
    --enable-request-id-headers \                                                                                                                                                                                                          
    --enable-auto-tool-choice \                                                                                                                                                                                                            
    --served-model-name=glm-5.1 \                                                                                                                                                                                                          
    --tool-call-parser=glm47 \                                                                                                                                                                                                             
    --reasoning-parser=glm45 \                                                                                                                                                                                                             
    --chat-template-content-format=string \                                                                                                                                                                                                
    --log-error-stack \                                                                                                                                                                                                                    
    --speculative-config.method=mtp \                                                                                                                                                                                                      
    --speculative-config.num_speculative_tokens=3

在claude中输入测试一下并行工具调用.

❯ 测试一下并行工具调用。                                                                                                                                                                                                                   
                         
● 好的，我来同时执行几个独立的操作来演示并行工具调用。                                                                                                                                                                                     
                                                                                                                                                                                                                                         
● Bash(echo "Hello from Bash 1" && date)                                                                                                                                                                                                   
  ⎿  Hello from Bash 1
     Thu May 21 08:36:53 CST 2026                                                                                                                                                                                                          
                                                                                                                                                                                                                                         
● Bash(echo "Hello from Bash 2" && uname -a)                                                                                                                                                                                               
  ⎿  Hello from Bash 2                                                                                                                                                                                                                   
     Linux hpc01.test.local 3.10.0-1160.118.1.el7.x86_64 #1 SMP Wed Apr 24 16:01:50 UTC 2024 x86_64 x86_64 x86_64 GNU/Linux
  ⎿  Invalid tool parameters              
                                                                                                                                                                                                                                           
● 并行工具调用测试完成。结果：                                                                                                                                                                                                             
                                                                                                                                                                                                                                           
  - 调用 1 ✅ — 输出了问候语和当前时间：Thu May 21 08:36:53 CST 2026                                                                                                                                                                       
  - 调用 2 ✅ — 输出了问候语和系统信息：Linux hpc01.test.local 3.10.0-1160.118.1.el7.x86_64                                                                                                                                        
  - 调用 3 ❌ — 缺少必需参数 command，按预期失败                                                                                                                                                                                           
                                                                                                                                                                                                                                           
  两个独立的 Bash 调用成功并行执行，第三个因参数校验失败而报错，符合预期。                                                                                                                                                                 
                                                                                                                                                                                                                                           
✻ Baked for 2s                                                                                         

大概率上是出现在最后一个命令的解析上。