交叉驗證:識別共識、矛盾與獨特洞察
交叉驗證確保結論的可靠性,透過比對多個視角的發現來:
- 確認哪些發現是廣泛認可的(共識)
- 發現哪些觀點存在分歧(矛盾)
- 保留有價值的獨特見解
此為共用模組,各 skill 可配置不同的驗證規則。
交叉驗證過程中同時執行完整性檢查:
在執行交叉驗證時,同時檢查:
必要條件 (L1_mandatory):
- 所有視角報告完整
- 關鍵發現有支撐
- 結論不矛盾
建議條件 (L2_recommended):
- 術語使用一致
- 格式規範統一
→ 完整配置:../quality/completeness-checklist.yaml
┌─────────────────────────────────────────────────────────────────┐
│ Step 1: 提取發現 │
│ 從每個視角報告中提取關鍵發現 │
│ 標準化格式以便比較 │
└─────────────────────────────────────────────────────────────────┘
↓
┌─────────────────────────────────────────────────────────────────┐
│ Step 2: 語義比對 │
│ 識別相似或相關的發現 │
│ 建立發現之間的關聯 │
└─────────────────────────────────────────────────────────────────┘
↓
┌─────────────────────────────────────────────────────────────────┐
│ Step 3: 分類 │
│ • 共識:多視角同意 │
│ • 矛盾:視角衝突 │
│ • 獨特:單一視角發現 │
└─────────────────────────────────────────────────────────────────┘
↓
┌─────────────────────────────────────────────────────────────────┐
│ Step 4: 信心評估 │
│ 基於支持視角數和證據強度 │
│ 給予每個發現信心等級 │
└─────────────────────────────────────────────────────────────────┘
finding:
id: F001
source: perspective_id # 來源視角
category: string # 分類(可配置)
statement: "發現描述"
evidence: "支持證據"
confidence: high | medium | low各 skill 可定義不同的分類:
research skill:
| 類別 | 說明 |
|---|---|
| architecture | 架構相關 |
| methodology | 方法論相關 |
| practice | 實務相關 |
| theory | 理論相關 |
| risk | 風險相關 |
review skill:
| 類別 | 說明 |
|---|---|
| code_quality | 程式碼品質 |
| security | 安全性 |
| performance | 效能 |
| maintainability | 可維護性 |
驗證在所有視角報告中:
- 同一概念使用相同術語
- 縮寫有定義且一致
- 專有名詞拼寫一致
如發現不一致:
- 標記為 MEDIUM 問題
- 在匯總報告中統一術語
相似判定:
- 主題相同 + 結論方向一致 → 可能共識
- 主題相同 + 結論方向相反 → 可能矛盾
- 主題不同 → 無關聯
F001 F002 F003 F004 F005
F001 (A) - ≈ ≠ - -
F002 (B) ≈ - - ≈ -
F003 (C) ≠ - - - ≈
F004 (D) - ≈ - - -
F005 (D) - - ≈ - -
圖例:≈ 相似 ≠ 矛盾 - 無關聯
| 支持視角數 | 總視角數 | 判定 | 信心度 |
|---|---|---|---|
| 4 | 4 | 強共識 | 非常高 |
| 3 | 4 | 強共識 | 高 |
| 2 | 4 | 弱共識 | 中 |
| 2 | 2 (quick) | 共識 | 中 |
直接矛盾:視角 A 說 X,視角 B 說 非X
間接矛盾:視角 A 推薦方案 1,視角 B 推薦方案 2(互斥)
部分矛盾:視角在細節上有分歧,但大方向一致
只有一個視角提出的發現,但:
- 有充分證據支持
- 信心度至少為「中」
- 與其他發現不矛盾
這些洞察仍有價值,應保留在報告中
確保需求追溯的完整性:
需求 → 計劃 → 任務 追溯完整
檢查每個需求項目是否:
- 有對應的計劃章節
- 有對應的任務清單
- 有對應的測試用例
此檢查確保沒有遺漏的需求和孤立的任務。
- 視角支持數:越多視角同意 → 信心越高
- 證據強度:有具體案例/數據 → 信心提升
- 專家度:來自該領域專家視角 → 權重更高
| 等級 | 標準 | 標記 |
|---|---|---|
| 非常高 | 4/4 視角 + 強證據 | ★★★★ |
| 高 | 3/4 視角 或 強證據 | ★★★ |
| 中 | 2/4 視角 或 中等證據 | ★★ |
| 低 | 1/4 視角 或 弱證據 | ★ |
cross_validation:
consensus:
strong_threshold: 0.75 # 強共識閾值(3/4)
weak_threshold: 0.5 # 弱共識閾值(2/4)
categories: # 自定義分類
- name: string
description: string
confidence_weights:
evidence_multiplier: 1.2 # 證據強度加權
expert_multiplier: 1.5 # 專家視角加權## 交叉驗證結果
### 強共識 (★★★★)
1. [F001, F005, F009, F012] 描述...
2. [F003, F007, F011, F015] 描述...
### 弱共識 (★★)
1. [F002, F006] 描述...
### 矛盾
1. [F004 vs F010] 關於...的分歧
- 視角 A:...
- 視角 B:...
### 獨特洞察
1. [F013] (視角 C) 描述...
2. [F016] (視角 D) 描述...矛盾識別後,進入 矛盾解決 流程。