2025.09.10 - #48 - WALL-OSS, ORB-SLAM-Python, Robix, TunedLens, Gemma Scope, Logit Prisms, Manim, TransformerLens, SAELens

[changh95]

Interesting papers

ORB-SLAM-Python

• https://github.com/PRBonn/ORB-SLAM-Python
• Pybind로 ORB-SLAM3 바인드

WALL-OSS

• end-to-end embodied foundation model that leverages large-scale multimodal pretraining to achieve (1) embodiment-aware vision–language understanding, (2) strong language–action association, and (3) robust manipulation capability.
• 기존의 VLA는 pre-trained VLM에 action model만 fine-tuning 해서 사용했는데, 이는 generalization에 취약.
• Mixture-of-Experts(MoE) 아키텍처와 다단계 커리큘럼(Discrete→Continuous)으로, 각 단계별로 다른 전문가와 가중치를 활성화하여 모달리티/목표 간 간극 해소
• Inspiration 단계: 사전학습된 VLM의 FFN을 재사용, 임베디드 VQA와 이산 행동 목표(FAST)를 통해 공간적 추론과 행동 인식 강화 .
• Integration 단계: 연속 행동(flow matching) 학습, 시각-언어-행동 표현이 어텐션으로 상호작용, static router로 각 FFN에 분배 .
• Unified Cross-Level CoT(Chain-of-Thought): 지시 추론, 서브골 계획, 연속 행동을 하나의 체인으로 통합, 고수준 추론에서 저수준 실행까지 매끄럽게 연결 .
• QwenVL2.5-3B를 backbone으로 사용
• https://x2robot.com/en/research/68bc2cde8497d7f238dde690

Robix

• ByteDance Seed 팀의 로봇 논문
• https://robix-seed.github.io/robix/

[james-joobs]

현대 LLM이 동작하는 방법과 뭘 숨기고 있는걸까?

inspiration

https://www.youtube.com/watch?v=WMI32M1No2w

Executive Summary

대규모 언어 모델(LLM)의 블랙박스 특성을 해결하기 위한 세 가지 주요 해석가능성 도구를 분석한다:

• Tuned Lens: Layer별 예측 정제 과정 추적

Eliciting Latent Predictions from Transformers with the Tuned Lens

https://arxiv.org/pdf/2303.08112

• Gemma Scope: Sparse Autoencoder를 통한 잠재 특징 분해

Gemma Scope: Open Sparse Autoencoders Everywhere All At Once on Gemma 2

https://arxiv.org/pdf/2408.05147

• Logit Prisms: 최종 출력에 대한 컴포넌트별 기여도 분석

Logit Prisms: Decomposing Transformer Outputs for Mechanistic Interpretability

https://neuralblog.github.io/logit-prisms/

1. Tuned Lens: 반복적 추론의 계층적 분석

1.1 기술적 배경

기존 logit lens의 한계:

• Representational drift: 각 레이어의 hidden state가 다른 basis로 표현됨
• Bias 문제: 평균 residual이 0이 아님
• 신뢰성 부족: 모델 간 일관성 없는 예측

1.2 핵심 메커니즘

Tuned Lens는 각 블록에 대해 affine transformation $(A_\ell, b_\ell)$을 학습:

$$\text{TunedLens}_\ell(h_\ell) = \text{LogitLens}(A_\ell h_\ell + b_\ell)$$

여기서:

• $A_\ell$: Representational drift 보정을 위한 basis 변환 행렬
• $b_\ell$: 평균 residual 보정을 위한 상수 바이어스
• 학습 목표: 최종 레이어 logits와의 KL divergence 최소화

1.3 기술적 기여

측면	개선 사항	정량적 효과
정확성	Perplexity 감소	Logit lens 대비 ~50% 개선
인과적 충실도	CBE (Causal Basis Extraction) 알고리즘	Feature의 causal relevance 검증 가능
보안 응용	Prompt injection 탐지	95%+ 정확도
난이도 측정	Prediction depth 메트릭	학습 iteration과 높은 상관관계

1.4 구현 세부사항

# Pseudo-code for Tuned Lens training
for layer_idx in range(num_layers):
    translator = AffineProbe(hidden_dim)
    optimizer = Adam(translator.parameters())
    
    for batch in training_data:
        hidden_state = get_hidden_state(batch, layer_idx)
        translated = translator(hidden_state)
        final_logits = model.get_final_logits(batch)
        
        loss = kl_divergence(
            softmax(translated),
            softmax(final_logits)
        )
        loss.backward()
        optimizer.step()

---

2. Gemma Scope: Sparse Autoencoder를 통한 특징 분해

2.1 기술적 아키텍처

JumpReLU SAE의 수학적 구조:

Encoder:
$$f(x) = \sigma(W_{\text{enc}}x + b_{\text{enc}})$$

Decoder:
$$\hat{x}(f) = W_{\text{dec}}f + b_{\text{dec}}$$

Activation Function (JumpReLU):
$$\sigma(z) = z \odot H(z - \theta)$$

여기서:

• $\theta$: 레이턴트별 학습 가능한 threshold
• $H$: Heaviside step function
• $\odot$: Element-wise product

2.2 학습 목표 함수

$$\mathcal{L} = |x - \hat{x}(f(x))|_2^2 + \lambda|f(x)|_0$$

• 첫 번째 항: Reconstruction loss
• 두 번째 항: L0 sparsity penalty

2.3 주요 발견사항

2.3.1 Feature Splitting 현상

넓은 SAE에서 좁은 SAE로 갈수록:

• 일반적 특징 → 전문화된 하위 특징으로 분할
• 계층적 특징 학습의 증거

2.3.2 Base-to-IT Transfer

모델 타입	SAE 훈련	Reconstruction Quality
Base model	✓	High fidelity
IT model (using base SAE)	✗	High fidelity

함의: Fine-tuning은 새로운 특징 생성보다 기존 특징 재조정

2.4 Sparsity-Fidelity Trade-off

# Delta LM Loss 비교
residual_stream_delta = 0.15  # 높음
mlp_delta = 0.08              # 중간
attention_delta = 0.05        # 낮음

해석: Residual stream의 작은 오류도 큰 성능 영향

---

3. Logit Prisms: 컴포넌트별 기여도 분해

3.1 선형화 기법

핵심 아이디어: Non-linear activation을 상수로 취급하여 선형 분해 가능

3.2 세 가지 분해 레벨

3.2.1 Residual Stream Decomposition

$$\text{logits} = W_{\text{unembed}} \cdot \text{diag}(w_{\text{norm}}) \cdot \left[w_{\text{embed}} + \sum_{i=1}^{N}(a_i + m_i)\right] \cdot s$$

여기서 $s$는 normalization factor (상수 취급)

3.2.2 Attention Decomposition

레이어 $\ell$의 attention head $i$의 기여도:

$$\text{Contribution}_{i,\ell} = P_{a_i}^\ell \cdot \alpha_p \cdot V_p$$

• $P_{a_i}^\ell$: Projection matrix
• $\alpha_p$: Attention weight (상수 취급)
• $V_p$: Value vector

3.2.3 MLP Decomposition

MLP neuron $i$의 기여도:

$$\text{Contribution}_{i,\ell}^{\text{MLP}} = P_{m_i}^\ell \cdot g(x_i)$$

$g$: Non-linear activation (상수 취급)

3.3 실증 분석 사례

Case 1: 사실 정보 검색 ("프랑스의 수도")

Input: "The capital of France is ___"
Output: "Paris"

분석 결과:
1. Layer 15 attention이 핵심 기여
2. "France" 토큰이 attention head 6을 통해 영향
3. "France" embedding이 이미 수도 정보 내포

Case 2: 산술 연산 ("7+2")

Input: "7+2=___"
Output: "9"

분석 결과:
1. MLP layer 16이 결정적 역할
2. 특정 뉴런들이 숫자별 선택적 활성화
3. Output template 메커니즘 확인

---

4. 통합적 시사점

4.1 메커니즘 계층

입력 → [Embedding with encoded knowledge]
    ↓
    [Layer-by-layer refinement (Tuned Lens)]
    ↓
    [Sparse feature activation (Gemma Scope)]
    ↓
    [Component-wise contribution (Logit Prisms)]
    ↓
출력

4.2 미해결 과제

과제	설명	난이도
Dark Matter Features	진정한 비선형 특징	High
Cross-layer Feature Tracking	레이어 간 특징 매칭	Medium
Spurious Composition	허위 특징 조합 방지	High
Jailbreak Detection	악성 프롬프트 실시간 탐지	Medium

4.3 실무적 함의

모델 디버깅:

• Tuned Lens로 예측 경로 추적
• 문제 발생 레이어 식별

안전성 향상:

• Prompt injection 탐지 (Tuned Lens)
• 악성 특징 필터링 (Gemma Scope)

성능 최적화:

• 중요 컴포넌트 식별 (Logit Prisms)
• 선택적 pruning 가능

[james-joobs]

1. Manim (3Blue1Brown)

• 설명: Grant Sanderson이 만든 수학 시각화용 애니메이션 엔진. 수학적 개념을 설명하는 동영상 제작에 최적화되어 있으며, 현재는 커뮤니티 버전도 활발히 유지 중입니다.
  “Manim is an engine for precise programmatic animations, designed for creating explanatory math videos.” oai_citation:0‡GitHub
• 관련 링크:
  • GitHub - 3b1b/manim
  • GitHub - ManimCommunity/manim
  • Manim Documentation
  • Example Scenes

---

2. TransformerLens

• 설명: Transformer 기반 언어 모델(GPT-2 스타일)의 내부 활성화를 훅을 통해 추출, 분석, 수정할 수 있는 메커니즘 해석 라이브러리입니다.
  “This is a library for doing mechanistic interpretability of GPT-2 Style language models… load in 50+ models, expose internal activations…” oai_citation:1‡GitHub oai_citation:2‡transformerlensorg.github.io
• 소개 자료:
  • GitHub - TransformerLensOrg/TransformerLens
  • TransformerLens Documentation & Tutorials
  • Quick Reference Cheat Sheet (BorisTheBrave, 2025)
  • TransformerLens Colab Demo

---

3. Intro to Mechanistic Interpretability (Induction Circuits)

• 설명: TransformerLens를 중심으로 메커니즘 해석을 소개하는 튜토리얼 콘텐츠입니다. induction circuits 개념 실습 중심.
  • “ARENA Mechanistic Interpretability Tutorials from Callum McDougall…” oai_citation:3‡transformerlensorg.github.io oai_citation:4‡Medium
• 자료 링크:
  Intro to Mechanistic Interpretability: TransformerLens & induction circuits

---

4. SAELens

• 설명: Sparse Autoencoders를 훈련하고 내부 활성화(feature)를 분석하는 도구입니다. 메커니즘 해석을 위한 기능 시각화에 초점을 둡니다.
  “SAELens exists to help researchers: Train sparse autoencoders. Analyse sparse autoencoders / research mechanistic interpretability…” oai_citation:5‡GitHub oai_citation:6‡PyPI
• 관련 링크:
  • GitHub - SAELens
  • SAELens Documentation & Pretrained SAEs Table
  • Tutorial: Training a Sparse Autoencoder (Colab)
  • Tutorial: Hooked SAE Transformer Demo (Colab)

---

5. Logit Lens (interpreting GPT)

• 설명: Transformer 은닉층의 값을 직접 어휘 공간으로 매핑해, 계층마다 모델의 예측(믿음)이 어떻게 변화하는지 들여다보는 초기 해석 기법입니다.
  “In the logit lens, the early layers sometimes look like nonsense… the model does not "keep the inputs around"…” oai_citation:7‡LessWrong
  Reddit 사용자 표현:

  “The logit lens focuses on what GPT ‘believes’ after each step of processing…” oai_citation:8‡Reddit

• 확장 연구:
  • LogitLens4LLMs: 확장 도구 (2025) oai_citation:9‡arXiv
  • Logit Prisms: 수학적 확장 oai_citation:10‡Neural Blogs

---

6. Transformer Circuits Thread (Dark Matter 등)

• 설명: “회로 추적(circuit tracing)”과 “슈퍼포지션(toy models of superposition)”, “monosemantic features” 등 심층 해석을 다루는 일련의 연구 콘텐츠입니다.
  “...we’ll never resolve the rarest features, leaving us with a kind of neural network dark matter.” oai_citation:11‡transformer-circuits.pub oai_citation:12‡arXiv
• 주요 글들:
  • Dark Matter of Neural Networks? (July 2024)
  • Toy Models of Superposition (2022)
  • Monosemantic Features (2023)
  • Scaling Monosemanticity (2024)
  • Circuit Tracing & Attribution Graphs (2025) oai_citation:13‡transformer-circuits.pub
  • Neuronpedia: 회로 연구 맵 & 향후 방향 oai_citation:14‡Neuronpedia

---

7. Neuronpedia

• 설명: 뉴런 단위의 활성화, 설명, 메타데이터를 모은 공개 데이터베이스이자 API 제공 플랫폼. 연구자가 네트워크를 흰 상자처럼 이해하고 실험을 가속하도록 돕습니다.
  “Neuronpedia is an open platform for mechanistic interpretability research… public database of… activations, explanations, and metadata…” oai_citation:15‡docs.neuronpedia.org oai_citation:16‡Neuronpedia
  “Platform for mechanistic interpretability… pivoted to accelerating… Sparse Autoencoders (SAEs)…” oai_citation:17‡LessWrong

---

8. Comprehensive Mechanistic Interpretability Explainer & Glossary

• 설명: Neel Nanda가 작성한, Transformer 기반 메커니즘 해석용 용어집이자 입문 안내서. 현장의 복잡한 용어들을 정리하고 직관, 함정, 맥락까지 담아두었어요.
  “The goal... is to be a comprehensive glossary and explainer for Mechanistic Interpretability… dig into how to think about a concept.” oai_citation:18‡Neel Nanda oai_citation:19‡Alignment Forum
• 자료 링크:
  A Comprehensive Mechanistic Interpretability Explainer & Glossary (Dynalist)