Skip to content

Latest commit

 

History

History
235 lines (177 loc) · 7.22 KB

File metadata and controls

235 lines (177 loc) · 7.22 KB

Cross Validation(共用模組)

交叉驗證:識別共識、矛盾與獨特洞察

目的

交叉驗證確保結論的可靠性,透過比對多個視角的發現來:

  • 確認哪些發現是廣泛認可的(共識)
  • 發現哪些觀點存在分歧(矛盾)
  • 保留有價值的獨特見解

此為共用模組,各 skill 可配置不同的驗證規則。

完整性檢查整合

交叉驗證過程中同時執行完整性檢查:

與 completeness-checklist.yaml 整合

在執行交叉驗證時,同時檢查:

必要條件 (L1_mandatory)

  • 所有視角報告完整
  • 關鍵發現有支撐
  • 結論不矛盾

建議條件 (L2_recommended)

  • 術語使用一致
  • 格式規範統一

→ 完整配置:../quality/completeness-checklist.yaml

驗證流程

┌─────────────────────────────────────────────────────────────────┐
│  Step 1: 提取發現                                                │
│  從每個視角報告中提取關鍵發現                                    │
│  標準化格式以便比較                                              │
└─────────────────────────────────────────────────────────────────┘
         ↓
┌─────────────────────────────────────────────────────────────────┐
│  Step 2: 語義比對                                                │
│  識別相似或相關的發現                                            │
│  建立發現之間的關聯                                              │
└─────────────────────────────────────────────────────────────────┘
         ↓
┌─────────────────────────────────────────────────────────────────┐
│  Step 3: 分類                                                    │
│  • 共識:多視角同意                                              │
│  • 矛盾:視角衝突                                                │
│  • 獨特:單一視角發現                                            │
└─────────────────────────────────────────────────────────────────┘
         ↓
┌─────────────────────────────────────────────────────────────────┐
│  Step 4: 信心評估                                                │
│  基於支持視角數和證據強度                                        │
│  給予每個發現信心等級                                            │
└─────────────────────────────────────────────────────────────────┘

發現提取

標準化格式

finding:
  id: F001
  source: perspective_id       # 來源視角
  category: string             # 分類(可配置)
  statement: "發現描述"
  evidence: "支持證據"
  confidence: high | medium | low

分類系統(可配置)

各 skill 可定義不同的分類:

research skill

類別 說明
architecture 架構相關
methodology 方法論相關
practice 實務相關
theory 理論相關
risk 風險相關

review skill

類別 說明
code_quality 程式碼品質
security 安全性
performance 效能
maintainability 可維護性

語義比對

術語一致性檢查

驗證在所有視角報告中:

  1. 同一概念使用相同術語
  2. 縮寫有定義且一致
  3. 專有名詞拼寫一致

如發現不一致:

  • 標記為 MEDIUM 問題
  • 在匯總報告中統一術語

比對規則

相似判定:
- 主題相同 + 結論方向一致 → 可能共識
- 主題相同 + 結論方向相反 → 可能矛盾
- 主題不同 → 無關聯

比對矩陣範例

            F001  F002  F003  F004  F005
F001 (A)     -    ≈     ≠     -     -
F002 (B)     ≈    -     -     ≈     -
F003 (C)     ≠    -     -     -     ≈
F004 (D)     -    ≈     -     -     -
F005 (D)     -    -     ≈     -     -

圖例:≈ 相似  ≠ 矛盾  - 無關聯

分類規則

共識判定(可配置閾值)

支持視角數 總視角數 判定 信心度
4 4 強共識 非常高
3 4 強共識
2 4 弱共識
2 2 (quick) 共識

矛盾判定

直接矛盾:視角 A 說 X,視角 B 說 非X
間接矛盾:視角 A 推薦方案 1,視角 B 推薦方案 2(互斥)
部分矛盾:視角在細節上有分歧,但大方向一致

獨特洞察

只有一個視角提出的發現,但:
- 有充分證據支持
- 信心度至少為「中」
- 與其他發現不矛盾

這些洞察仍有價值,應保留在報告中

需求追溯驗證

確保需求追溯的完整性:

需求 → 計劃 → 任務 追溯完整

檢查每個需求項目是否:

  1. 有對應的計劃章節
  2. 有對應的任務清單
  3. 有對應的測試用例

此檢查確保沒有遺漏的需求和孤立的任務。

信心評估

評估因素

  1. 視角支持數:越多視角同意 → 信心越高
  2. 證據強度:有具體案例/數據 → 信心提升
  3. 專家度:來自該領域專家視角 → 權重更高

信心等級

等級 標準 標記
非常高 4/4 視角 + 強證據 ★★★★
3/4 視角 或 強證據 ★★★
2/4 視角 或 中等證據 ★★
1/4 視角 或 弱證據

配置參數

cross_validation:
  consensus:
    strong_threshold: 0.75     # 強共識閾值(3/4)
    weak_threshold: 0.5        # 弱共識閾值(2/4)
  categories:                  # 自定義分類
    - name: string
      description: string
  confidence_weights:
    evidence_multiplier: 1.2   # 證據強度加權
    expert_multiplier: 1.5     # 專家視角加權

輸出格式

驗證報告

## 交叉驗證結果

### 強共識 (★★★★)
1. [F001, F005, F009, F012] 描述...
2. [F003, F007, F011, F015] 描述...

### 弱共識 (★★)
1. [F002, F006] 描述...

### 矛盾
1. [F004 vs F010] 關於...的分歧
   - 視角 A:...
   - 視角 B:...

### 獨特洞察
1. [F013] (視角 C) 描述...
2. [F016] (視角 D) 描述...

下一步

矛盾識別後,進入 矛盾解決 流程。