Quartz sync: May 6, 2026, 12:30 PM

Author: leoda1

content/Inference/vllm/practice/5. flagcx connector design&&dev&&test.md

@@ -235,7 +235,43 @@ _receive_kv(path, req_blocks, pending_wait):
 在看了 nccl 的实现之后，确定核心问题如下：
 ![[5. flagcx connector design&&dev&&test 2026-04-21 14.47.25.excalidraw.svg]]
 %%[[5. flagcx connector design&&dev&&test 2026-04-21 14.47.25.excalidraw.md|🖋 Edit in Excalidraw]]%%
+把 post 和 poll 的过程从一次 loop 推进一个变成多个，带来了 4.5% 左右的提升。==但是还是没有解决问题==：
 
+> [!tips]
+> nccl2.30 内为了进一步让 gin->xxxx 的 oneSide communication 可以 cudaGraph/overlap，所以 sender 也会自己下WriteValue/waitValue 来确保前置的 kernel 完成后才发起 put/get 操作。它的过程大致如下：
+> 
+```
+Launch 线程                GPU Stream              Proxy 线程
+────────────                ──────────              ──────────
+enqueue desc[0..3]
+cuStreamBatchMemOp()
+  → WriteValue(readySeqDev, 1)
+  → WriteValue(readySeqDev, 2)
+  → WriteValue(readySeqDev, 3)
+  → WriteValue(readySeqDev, 4)
+  [GPU kernel 写完 src 后执行↓]
+                        readySeqDev=4             readySeq(GDR)=4
+                                                  4 >= opSeq=1 ✓ → iput → inProgress
+                                                  4 >= opSeq=2 ✓ → iput → inProgress
+                                                  ...
+                                                  NIC done[0] → doneSeq=1 (RELEASE)
+                        doneSeqDev=1
+  WaitValue(doneSeq≥1)──→ GPU stream 解锁
+  (后续 kernel 可消费 dst)
+```
+
+于是发现可能是我们没有用多个 QP，于是修改下面代码：
+```
+# flagcx/adaptor/net/ibrc_adaptor.cc
+# iputSingal的实现里面拿 qp 的逻辑修改为：
+int qpIdx = comm->base.qpIndex;
+comm->base.qpIndex = (qpIdx + 1) % comm->base.nqps;
+struct flagcxIbQp *qp = &comm->base.qps[qpIdx];
+```
+
+16k 输入的场景 300 条 request
+1. 优化上述 proxyProgress 之后从 209s 到 200 秒
+2. 给 inputSignal 每次只选 qp0 的代码改成 roundrobin 的选多个 QP 又减少了 20 秒
 # 3 test
 
 168/169机器需要让 gpu 内核加载这个 ib 的模块（如果没有的话）：

content/Inference/vllm/practice/excalidraw/5. flagcx connector design&&dev&&test 2026-04-21 14.47.25.excalidraw.md

@@ -0,0 +1,26 @@
+---
+type: daily
+tags:
+  - daily
+summary: 
+focus: 
+mood: 
+energy: 
+---
+
+# 2026-04-22 Daily
+
+## 🧠 今天记录
+- [ ] 
+
+## 🚀 今日TODO
+- [ ] 
+
+## 🧩 遇到的问题 / 卡点
+- [ ] 
+
+## 📌 明天该干啥
+- [ ] 
+
+## 💡 随手记录
+- 

content/Inference/vllm/practice/excalidraw/5. flagcx connector design&&dev&&test 2026-04-21 14.47.25.excalidraw.svg

@@ -0,0 +1,26 @@
+---
+type: daily
+tags:
+  - daily
+summary: 
+focus: 
+mood: 
+energy: 
+---
+
+# 2026-05-06 Daily
+
+## 🧠 今天记录
+- [ ] 
+
+## 🚀 今日TODO
+- [ ] 
+
+## 🧩 遇到的问题 / 卡点
+- [ ] 
+
+## 📌 明天该干啥
+- [ ] 
+
+## 💡 随手记录
+-