Repository navigation
Expand file tree
/
Copy pathex02.html
More file actions
24 lines (23 loc) · 69.5 KB
/
Copy pathex02.html
File metadata and controls
24 lines (23 loc) · 69.5 KB
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
<!doctype html>
<html lang="ja">
<head>
<meta charset="utf-8">
<meta name="viewport" content="width=device-width, initial-scale=1, viewport-fit=cover">
<script src="assets/language.js"></script>
<script async src="https://www.googletagmanager.com/gtag/js?id=G-VQHZ99LZFJ"></script>
<script>window.dataLayer=window.dataLayer||[];function gtag(){dataLayer.push(arguments);}gtag('js',new Date());gtag('config','G-VQHZ99LZFJ');</script>
<title>余談 #2 AI半導体なのにメモリ会社が大儲け? メモリウォールとHBM|ずんだもんと学ぶアナログ回路</title>
<link rel="preconnect" href="https://fonts.googleapis.com">
<link rel="preconnect" href="https://fonts.gstatic.com" crossorigin>
<link rel="stylesheet" href="https://fonts.googleapis.com/css2?family=BIZ+UDPGothic:wght@400;700&family=JetBrains+Mono:wght@400;600&family=Zen+Maru+Gothic:wght@500;700&display=swap">
<link rel="stylesheet" href="assets/site.css">
</head>
<body>
<div class="topbar"><a href="index.html">ずんだもんと学ぶアナログ回路</a></div>
<main class="site">
<article class="episode flow" id="ex02" aria-labelledby="ex02-page-title"><header class="ep-head"><p class="kicker">余談 #2</p><h1 id="ex02-page-title">AI半導体なのにメモリ会社が大儲け? メモリウォールとHBM</h1><div class="lead"><p>「マイクロンやサムスンが好業績!株を買って大儲けなのだ!」</p><p>でも、AIの計算が盛り上がると、どうしてメモリメーカーにも需要が来るのでしょうか。</p><p>ずんだもんと四国めたんが、データの供給待ちで演算器が止まるメモリウォールを解説します。</p><p>HBMの積層と広い接続、HBFによる容量拡張、セルを多層化する3D DRAM、モデルに特化するTaalasまでを扱います。</p><p>巨大なKVキャッシュにHBFを使う可能性と、読み書きの遅延・書き込み負荷も考えます。</p></div><div class="meta"><a class="btn" href="https://www.youtube.com/watch?v=H-piuI0rGz4" target="_blank" rel="noopener">YouTube で見る(10:18)</a><ul class="cast"><li class="metan"><span class="face" aria-hidden="true">め</span><span><b>四国めたん</b>(解説)</span></li><li class="zundamon"><span class="face" aria-hidden="true">ず</span><span><b>ずんだもん</b>(質問)</span></li></ul></div><div class="yt wide"><iframe src="https://www.youtube-nocookie.com/embed/H-piuI0rGz4" title="余談 #2 AI半導体なのにメモリ会社が大儲け? メモリウォールとHBM(YouTube)" loading="lazy" referrerpolicy="strict-origin-when-cross-origin" allow="accelerometer; encrypted-media; gyroscope; picture-in-picture; fullscreen" allowfullscreen></iframe></div><nav class="toc" aria-label="この回の目次"><h2 class="toc-h">目次</h2><ol><li><a href="ex02.html#ex02-s1">AI半導体なのにメモリ会社が好業績?</a></li><li><a href="ex02.html#ex02-s2">Micron・Samsungの決算を読む</a></li><li><a href="ex02.html#ex02-s3">メモリウォールとは何か</a></li><li><a href="ex02.html#ex02-s4">メモリが遅いと何が起こる?</a></li><li><a href="ex02.html#ex02-s5">Rooflineモデルと計算律速</a></li><li><a href="ex02.html#ex02-s6">HBMのしくみと広い帯域</a></li><li><a href="ex02.html#ex02-s7">2.5Dと3D、放熱とコスト</a></li><li><a href="ex02.html#ex02-s8">HBFはHBMと何が違う?</a></li><li><a href="ex02.html#ex02-s9">巨大なKVキャッシュとHBFの遅延</a></li><li><a href="ex02.html#ex02-s10">セルを積む3D DRAM研究</a></li><li><a href="ex02.html#ex02-s11">データ移動を減らす方法</a></li><li><a href="ex02.html#ex02-s12">Taalasのモデル特化チップ</a></li><li><a href="ex02.html#ex02-s13">まとめ:計算とデータ供給</a></li></ol></nav></header><section class="sec" id="ex02-s1" aria-labelledby="ex02-s1-h"><h2 id="ex02-s1-h"><span class="no">1</span><span class="ht">AI半導体なのにメモリ会社が好業績?</span></h2><div class="say zundamon right" id="ex02-hook"><span class="face" aria-hidden="true">ず</span><div class="bubble"><p class="who">ずんだもん</p><p class="line">AI半導体がすごいのだ!マイクロンやサムスンも好業績らしいのだ!</p></div></div><figure class="screen fig wide" id="ex02-fig1"><img src="assets/fig/ex02/ex02_000_hook.webp" alt="動画の画面(「AI半導体がすごいのだ!マイクロンやサムスンも好業績らしいのだ!」の場面)" width="1600" height="577" loading="lazy" decoding="async"><figcaption><span class="tc">図 1</span></figcaption></figure><div class="say zundamon right" id="ex02-stock"><span class="face" aria-hidden="true">ず</span><div class="bubble"><p class="who">ずんだもん</p><p class="line">これは株を買って大儲けなのだ!</p></div></div><figure class="screen fig wide" id="ex02-fig2"><img src="assets/fig/ex02/ex02_001_stock.webp" alt="動画の画面(「これは株を買って大儲けなのだ!」の場面)" width="1600" height="577" loading="lazy" decoding="async"><figcaption><span class="tc">図 2</span></figcaption></figure><div class="say metan left" id="ex02-stock_reply"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">気が早いわね。好業績だけで、これから株が上がるとは決まらないわ。</p></div></div><figure class="screen fig wide" id="ex02-fig3"><img src="assets/fig/ex02/ex02_002_stock_reply.webp" alt="動画の画面(「気が早いわね。好業績だけで、これから株が上がるとは決まらないわ。」の場面)" width="1600" height="577" loading="lazy" decoding="async"><figcaption><span class="tc">図 3</span></figcaption></figure><div class="say zundamon right ask" id="ex02-question"><span class="face" aria-hidden="true">ず</span><div class="bubble"><p class="who">ずんだもん<span class="q">質問</span></p><p class="line">でも、AIは計算が得意なチップの話なのに、なんでメモリメーカーなのだ?</p></div></div><div class="say metan left" id="ex02-intro"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">今日はそこが主役よ。計算する速さと、データを運ぶ速さを分けて見ましょう。</p></div></div></section><section class="sec" id="ex02-s2" aria-labelledby="ex02-s2-h"><h2 id="ex02-s2-h"><span class="no">2</span><span class="ht">Micron・Samsungの決算を読む</span></h2><div class="say metan left" id="ex02-micron"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">まず公表された実績ね。マイクロンの2026年度第4四半期、2026年6月から9月初めまでの3か月を見ましょう。</p></div></div><figure class="screen fig wide" id="ex02-fig4"><img src="assets/fig/ex02/ex02_005_micron.webp" alt="動画の画面(「まず公表された実績ね。マイクロンの2026年度第4四半期、2026年6月から9月初めまでの3か月を見ましょう。」の場面)" width="1600" height="576" loading="lazy" decoding="async"><figcaption><span class="tc">図 4</span></figcaption></figure><div class="say metan left" id="ex02-micron_sales"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">売上高は約542億ドル。前年同期の約113億ドルから大きく伸びたわ。</p></div></div><div class="say metan left cont" id="ex02-micron_profit"><span class="face" aria-hidden="true"></span><div class="bubble"><p class="line"><span class="vh">四国めたん:</span>GAAP(米国会計基準)の純利益は約377億ドル。売上高と利益は別の数字だから、混ぜずに読んでね。</p></div></div><div class="say metan left cont" id="ex02-samsung"><span class="face" aria-hidden="true"></span><div class="bubble"><p class="line"><span class="vh">四国めたん:</span>サムスンの2026年4月から6月は、全社売上高が171.5兆ウォンよ。</p></div></div><figure class="screen fig wide" id="ex02-fig5"><img src="assets/fig/ex02/ex02_008_samsung.webp" alt="動画の画面(「サムスンの2026年4月から6月は、全社売上高が171.5兆ウォンよ。」の場面)" width="1600" height="581" loading="lazy" decoding="async"><figcaption><span class="tc">図 5</span></figcaption></figure><div class="say metan left" id="ex02-samsung_profit"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">全社営業利益は89.5兆ウォン。メモリ事業も売上と営業利益が過去最高なの。</p></div></div><div class="say zundamon right" id="ex02-earnings_scope"><span class="face" aria-hidden="true">ず</span><div class="bubble"><p class="who">ずんだもん</p><p class="line">会社全体とメモリ事業、営業利益と純利益も、混ぜないようにするのだ。</p></div></div><figure class="screen fig wide" id="ex02-fig6"><img src="assets/fig/ex02/ex02_010_earnings_scope.webp" alt="動画の画面(「会社全体とメモリ事業、営業利益と純利益も、混ぜないようにするのだ。」の場面)" width="1600" height="581" loading="lazy" decoding="async"><figcaption><span class="tc">図 6</span></figcaption></figure><div class="say metan left" id="ex02-earnings_why"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">サムスンはAI需要への対応に加え、メモリ価格の上昇も増益の理由に挙げているわ。</p></div></div><figure class="screen fig wide" id="ex02-fig7"><img src="assets/fig/ex02/ex02_011_earnings_why.webp" alt="動画の画面(「サムスンはAI需要への対応に加え、メモリ価格の上昇も増益の理由に挙げているわ。」の場面)" width="1600" height="581" loading="lazy" decoding="async"><figcaption><span class="tc">図 7</span></figcaption></figure><div class="say metan left" id="ex02-earnings_not_hbm"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">AI向けの高速メモリ、HBMだけの売上ではないわ。サーバ用DRAMやSSDも関わっているの。</p></div></div><figure class="screen fig wide" id="ex02-fig8"><img src="assets/fig/ex02/ex02_012_earnings_not_hbm.webp" alt="動画の画面(「AI向けの高速メモリ、HBMだけの売上ではないわ。サーバ用DRAMやSSDも関わっているの。」の場面)" width="1600" height="581" loading="lazy" decoding="async"><figcaption><span class="tc">図 8</span></figcaption></figure></section><section class="sec" id="ex02-s3" aria-labelledby="ex02-s3-h"><h2 id="ex02-s3-h"><span class="no">3</span><span class="ht">メモリウォールとは何か</span></h2><div class="say metan left" id="ex02-factory"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">AIの計算を工場に例えるわ。演算器が工場の機械、メモリが材料の倉庫、その間のベルトコンベアがデータ転送よ。</p></div></div><div class="say metan left cont" id="ex02-weights"><span class="face" aria-hidden="true"></span><div class="bubble"><p class="line"><span class="vh">四国めたん:</span>倉庫には、モデルの重みや、計算途中のデータが入っているの。</p></div></div><figure class="screen fig wide" id="ex02-fig9"><img src="assets/fig/ex02/ex02_014_weights.webp" alt="動画の画面(「倉庫には、モデルの重みや、計算途中のデータが入っているの。」の場面)" width="1600" height="577" loading="lazy" decoding="async"><figcaption><span class="tc">図 9</span></figcaption></figure><div class="say zundamon right ask" id="ex02-supply"><span class="face" aria-hidden="true">ず</span><div class="bubble"><p class="who">ずんだもん<span class="q">質問</span></p><p class="line">機械を増やせば、どんどん計算できるのだ?</p></div></div><div class="say metan left" id="ex02-wait"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">材料が届かなければ待ち時間になるわ。演算器だけ速くしても、仕事が進まないの。</p></div></div><div class="say metan left cont" id="ex02-wall"><span class="face" aria-hidden="true"></span><div class="bubble"><p class="line"><span class="vh">四国めたん:</span>この、演算器とメモリの性能差がメモリウォール。今日は特に、運べる量の限界を見るわ。</p></div></div><figure class="screen fig wide" id="ex02-fig10"><img src="assets/fig/ex02/ex02_017_wall.webp" alt="動画の画面(「この、演算器とメモリの性能差がメモリウォール。今日は特に、運べる量の限界を見るわ。」の場面)" width="1600" height="575" loading="lazy" decoding="async"><figcaption><span class="tc">図 10</span></figcaption></figure><div class="say metan left" id="ex02-metrics"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">メモリの性能を三つに分けるわ。容量は何バイト置けるか。帯域は、1秒に何バイト運べるかよ。</p></div></div><figure class="screen fig wide" id="ex02-fig11"><img src="assets/fig/ex02/ex02_018_metrics.webp" alt="動画の画面(「メモリの性能を三つに分けるわ。容量は何バイト置けるか。帯域は、1秒に何バイト運べるかよ。」の場面)" width="1600" height="576" loading="lazy" decoding="async"><figcaption><span class="tc">図 11</span></figcaption></figure><div class="say metan left" id="ex02-latency"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">もう一つ、要求してから届くまでの遅延もあるわ。この三つは別の性能なの。</p></div></div><div class="say zundamon right" id="ex02-analogy"><span class="face" aria-hidden="true">ず</span><div class="bubble"><p class="who">ずんだもん</p><p class="line">倉庫の広さ、道路の輸送量、最初の荷物の到着時間、なのだ!</p></div></div></section><section class="sec" id="ex02-s4" aria-labelledby="ex02-s4-h"><h2 id="ex02-s4-h"><span class="no">4</span><span class="ht">メモリが遅いと何が起こる?</span></h2><div class="say metan left" id="ex02-example"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">ここからは実製品ではなく、仕組みを理解するための計算例よ。</p></div></div><figure class="screen fig wide" id="ex02-fig12"><img src="assets/fig/ex02/ex02_021_example.webp" alt="動画の画面(「ここからは実製品ではなく、仕組みを理解するための計算例よ。」の場面)" width="1600" height="574" loading="lazy" decoding="async"><figcaption><span class="tc">図 12</span></figcaption></figure><div class="say metan left" id="ex02-example_size"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">80億個の重みを、1個2バイトで保存すると、重みだけで16GBになるわ。</p></div></div><div class="say metan left cont" id="ex02-example_condition"><span class="face" aria-hidden="true"></span><div class="bubble"><p class="line"><span class="vh">四国めたん:</span>利用者1人に対して次の1トークン、つまり文章の次のひとかけらを作るたび、その重みを全部1回読み出すと仮定するの。</p></div></div><figure class="screen fig wide" id="ex02-fig13"><img src="assets/fig/ex02/ex02_023_example_condition.webp" alt="動画の画面(「利用者1人に対して次の1トークン、つまり文章の次のひとかけらを作るたび、その重みを全部1回読み出すと仮定するの。」の場面)" width="1600" height="574" loading="lazy" decoding="async"><figcaption><span class="tc">図 13</span></figcaption></figure><div class="say metan left" id="ex02-example_slow"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">帯域が毎秒100GBなら、読み出すだけで160ミリ秒。毎秒約6トークンね。</p></div></div><div class="say metan left cont" id="ex02-example_fast"><span class="face" aria-hidden="true"></span><div class="bubble"><p class="line"><span class="vh">四国めたん:</span>毎秒1TBなら16ミリ秒。帯域だけから求めた上限は、毎秒62.5トークンよ。</p></div></div><figure class="screen fig wide" id="ex02-fig14"><img src="assets/fig/ex02/ex02_025_example_fast.webp" alt="動画の画面(「毎秒1TBなら16ミリ秒。帯域だけから求めた上限は、毎秒62.5トークンよ。」の場面)" width="1600" height="574" loading="lazy" decoding="async"><figcaption><span class="tc">図 14</span></figcaption></figure><div class="say zundamon right" id="ex02-example_wow"><span class="face" aria-hidden="true">ず</span><div class="bubble"><p class="who">ずんだもん</p><p class="line">同じ計算機でも、データを運ぶ速さだけで、そんなに違うのだ!</p></div></div><div class="say metan left" id="ex02-example_limit"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">実際は計算や他の読み書きも必要よ。この上限どおりの速さを保証するものではないわ。</p></div></div><figure class="screen fig wide" id="ex02-fig15"><img src="assets/fig/ex02/ex02_027_example_limit.webp" alt="動画の画面(「実際は計算や他の読み書きも必要よ。この上限どおりの速さを保証するものではないわ。」の場面)" width="1600" height="574" loading="lazy" decoding="async"><figcaption><span class="tc">図 15</span></figcaption></figure><div class="say metan left" id="ex02-capacity"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">そもそも容量が足りなければ、モデルを載せられないこともあるわ。</p></div></div><figure class="screen fig wide" id="ex02-fig16"><img src="assets/fig/ex02/ex02_028_capacity.webp" alt="動画の画面(「そもそも容量が足りなければ、モデルを載せられないこともあるわ。」の場面)" width="1600" height="576" loading="lazy" decoding="async"><figcaption><span class="tc">図 16</span></figcaption></figure><div class="say metan left" id="ex02-offload"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">GPUのメモリに収まらない分をホスト側のメモリへ退避すると、その間の転送が追加される。その通り道の帯域が効いてくるの。</p></div></div><div class="say metan left cont" id="ex02-kv"><span class="face" aria-hidden="true"></span><div class="bubble"><p class="line"><span class="vh">四国めたん:</span>長い会話では、過去のトークンの情報を残すKVキャッシュの容量も必要になるわ。</p></div></div><figure class="screen fig wide" id="ex02-fig17"><img src="assets/fig/ex02/ex02_030_kv.webp" alt="動画の画面(「長い会話では、過去のトークンの情報を残すKVキャッシュの容量も必要になるわ。」の場面)" width="1600" height="576" loading="lazy" decoding="async"><figcaption><span class="tc">図 17</span></figcaption></figure></section><section class="sec" id="ex02-s5" aria-labelledby="ex02-s5-h"><h2 id="ex02-s5-h"><span class="no">5</span><span class="ht">Rooflineモデルと計算律速</span></h2><div class="say metan left" id="ex02-roof"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">この制約はルーフラインモデルで整理できるわ。講義資料の図を見てみましょう。</p></div></div><div class="say metan left cont" id="ex02-intensity"><span class="face" aria-hidden="true"></span><div class="bubble"><p class="line"><span class="vh">四国めたん:</span>横軸はメモリ通信の速さ、縦軸は計算速度よ。処理の中身は変えず、1バイトあたりの演算量を同じにしたまま、帯域だけを変えたらどうなるかを見るの。</p></div></div><figure class="screen fig wide" id="ex02-fig18"><img src="assets/fig/ex02/ex02_032_intensity.webp" alt="動画の画面(「横軸はメモリ通信の速さ、縦軸は計算速度よ。処理の中身は変えず、1バイトあたりの演算量を同じにしたまま、帯域だけを変えたらどうなるかを見るの。」の場面)" width="1600" height="577" loading="lazy" decoding="async"><figcaption><span class="tc">図 18</span></figcaption></figure><div class="say metan left" id="ex02-roof_memory"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">左の斜めの線では、帯域が性能を制限する。これがメモリ律速よ。</p></div></div><div class="say metan left cont" id="ex02-roof_compute"><span class="face" aria-hidden="true"></span><div class="bubble"><p class="line"><span class="vh">四国めたん:</span>右の水平な天井では、演算器の能力が限界。こちらは計算律速ね。</p></div></div><figure class="screen fig wide" id="ex02-fig19"><img src="assets/fig/ex02/ex02_034_roof_compute.webp" alt="動画の画面(「右の水平な天井では、演算器の能力が限界。こちらは計算律速ね。」の場面)" width="1600" height="577" loading="lazy" decoding="async"><figcaption><span class="tc">図 19</span></figcaption></figure><div class="say zundamon right" id="ex02-roof_question"><span class="face" aria-hidden="true">ず</span><div class="bubble"><p class="who">ずんだもん</p><p class="line">メモリを速くしても、天井より上には行けないのだ。</p></div></div><div class="say metan left" id="ex02-batch"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">複数人の処理をまとめて同じ重みを再利用すると、運ぶ量あたりの演算を増やせるわ。</p></div></div><figure class="screen fig wide" id="ex02-fig20"><img src="assets/fig/ex02/ex02_036_batch.webp" alt="動画の画面(「複数人の処理をまとめて同じ重みを再利用すると、運ぶ量あたりの演算を増やせるわ。」の場面)" width="1600" height="577" loading="lazy" decoding="async"><figcaption><span class="tc">図 20</span></figcaption></figure><div class="say metan left" id="ex02-phases"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">少人数の逐次生成と、入力をまとめて読む処理(プリフィル)や学習では、ボトルネックも変わるの。</p></div></div><div class="say metan left cont" id="ex02-phases_no"><span class="face" aria-hidden="true"></span><div class="bubble"><p class="line"><span class="vh">四国めたん:</span>AIの処理が全部メモリ律速、とは言い切れないのよ。</p></div></div></section><section class="sec" id="ex02-s6" aria-labelledby="ex02-s6-h"><h2 id="ex02-s6-h"><span class="no">6</span><span class="ht">HBMのしくみと広い帯域</span></h2><div class="say zundamon right ask" id="ex02-hbm"><span class="face" aria-hidden="true">ず</span><div class="bubble"><p class="who">ずんだもん<span class="q">質問</span></p><p class="line">そこでHBMなのだ!でも、そもそも何者なのだ?</p></div></div><div class="say metan left" id="ex02-hbm_name"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">ハイ・バンドウィズ・メモリ。広い帯域を持つ、DRAMの仲間よ。</p></div></div><figure class="screen fig wide" id="ex02-fig21"><img src="assets/fig/ex02/ex02_040_hbm_name.webp" alt="動画の画面(「ハイ・バンドウィズ・メモリ。広い帯域を持つ、DRAMの仲間よ。」の場面)" width="1600" height="572" loading="lazy" decoding="async"><figcaption><span class="tc">図 21</span></figcaption></figure><div class="say metan left" id="ex02-hbm_photo"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">これはマイクロンが公開しているHBM3Eの製品画像よ。小さな積層体なの。</p></div></div><div class="say metan left cont" id="ex02-hbm_stack"><span class="face" aria-hidden="true"></span><div class="bubble"><p class="line"><span class="vh">四国めたん:</span>DRAMのチップを何枚も積み、TSVというシリコンを貫く配線でつなぐわ。</p></div></div><figure class="screen fig wide" id="ex02-fig22"><img src="assets/fig/ex02/ex02_042_hbm_stack.webp" alt="動画の画面(「DRAMのチップを何枚も積み、TSVというシリコンを貫く配線でつなぐわ。」の場面)" width="1600" height="574" loading="lazy" decoding="async"><figcaption><span class="tc">図 22</span></figcaption></figure><div class="say metan left" id="ex02-hbm_wide"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">図の上段、上から見た配置にある「1024」は、GPUとHBMの積層体を結ぶデータ信号線の数よ。</p></div></div><figure class="screen fig wide" id="ex02-fig23"><img src="assets/fig/ex02/ex02_043_hbm_wide.webp" alt="動画の画面(「図の上段、上から見た配置にある「1024」は、GPUとHBMの積層体を結ぶデータ信号線の数よ。」の場面)" width="1600" height="574" loading="lazy" decoding="async"><figcaption><span class="tc">図 23</span></figcaption></figure><div class="say zundamon right" id="ex02-hbm_lanes"><span class="face" aria-hidden="true">ず</span><div class="bubble"><p class="who">ずんだもん</p><p class="line">図の下段、横から見た断面のオレンジ色の線が、その通り道なのだ!</p></div></div><figure class="screen fig wide" id="ex02-fig24"><img src="assets/fig/ex02/ex02_044_hbm_lanes.webp" alt="動画の画面(「図の下段、横から見た断面のオレンジ色の線が、その通り道なのだ!」の場面)" width="1600" height="574" loading="lazy" decoding="async"><figcaption><span class="tc">図 24</span></figcaption></figure><div class="say metan left" id="ex02-hbm_bits"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">HBM3Eでは、64ビットのチャネルが16個で、合計1024ビット幅になるわ。</p></div></div><figure class="screen fig wide" id="ex02-fig25"><img src="assets/fig/ex02/ex02_045_hbm_bits.webp" alt="動画の画面(「HBM3Eでは、64ビットのチャネルが16個で、合計1024ビット幅になるわ。」の場面)" width="1600" height="574" loading="lazy" decoding="async"><figcaption><span class="tc">図 25</span></figcaption></figure><div class="say metan left" id="ex02-hbm_rate"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">1本あたり毎秒9.6ギガビットなら、1024本×9.6ギガビット÷8で、計算上は合計毎秒1.2288テラバイトね。</p></div></div><figure class="screen fig wide" id="ex02-fig26"><img src="assets/fig/ex02/ex02_046_hbm_rate.webp" alt="動画の画面(「1本あたり毎秒9.6ギガビットなら、1024本×9.6ギガビット÷8で、計算上は合計毎秒1.2288テラバイトね。」の場面)" width="1600" height="576" loading="lazy" decoding="async"><figcaption><span class="tc">図 26</span></figcaption></figure><div class="say metan left" id="ex02-hbm_spec"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">マイクロンのHBM3Eは、1スタックで毎秒1.2TB超と公表されているわ。</p></div></div><div class="say metan left cont" id="ex02-hbm_generation"><span class="face" aria-hidden="true"></span><div class="bubble"><p class="line"><span class="vh">四国めたん:</span>これはHBM3Eの例よ。世代が変われば、幅や速度、容量も変わるの。</p></div></div><figure class="screen fig wide" id="ex02-fig27"><img src="assets/fig/ex02/ex02_048_hbm_generation.webp" alt="動画の画面(「これはHBM3Eの例よ。世代が変われば、幅や速度、容量も変わるの。」の場面)" width="1600" height="576" loading="lazy" decoding="async"><figcaption><span class="tc">図 27</span></figcaption></figure></section><section class="sec" id="ex02-s7" aria-labelledby="ex02-s7-h"><h2 id="ex02-s7-h"><span class="no">7</span><span class="ht">2.5Dと3D、放熱とコスト</span></h2><div class="say metan left" id="ex02-package"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">図の左では、GPUの周りにHBMを並べているわ。横並びの構成ね。</p></div></div><div class="say metan left cont" id="ex02-package_25d"><span class="face" aria-hidden="true"></span><div class="bubble"><p class="line"><span class="vh">四国めたん:</span>HBMの中は3D積層。GPUと横並びに載せるパッケージは、2.5Dと呼ぶの。</p></div></div><figure class="screen fig wide" id="ex02-fig28"><img src="assets/fig/ex02/ex02_050_package_25d.webp" alt="動画の画面(「HBMの中は3D積層。GPUと横並びに載せるパッケージは、2.5Dと呼ぶの。」の場面)" width="1600" height="576" loading="lazy" decoding="async"><figcaption><span class="tc">図 28</span></figcaption></figure><div class="say metan left" id="ex02-package_3d"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">右はGPUの上にHBMを載せる研究案よ。上下に近づけると、熱の逃げ道も課題になるわ。</p></div></div><div class="say metan left cont" id="ex02-package_research"><span class="face" aria-hidden="true"></span><div class="bubble"><p class="line"><span class="vh">四国めたん:</span>imecの熱シミュレーション研究で、量産製品の断面写真ではないわ。</p></div></div><figure class="screen fig wide" id="ex02-fig29"><img src="assets/fig/ex02/ex02_052_package_research.webp" alt="動画の画面(「imecの熱シミュレーション研究で、量産製品の断面写真ではないわ。」の場面)" width="1600" height="576" loading="lazy" decoding="async"><figcaption><span class="tc">図 29</span></figcaption></figure><div class="say metan left" id="ex02-hbm_limit"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">HBMにも、積層や接続の製造、放熱、コスト、容量の制約があるわ。</p></div></div><figure class="screen fig wide" id="ex02-fig30"><img src="assets/fig/ex02/ex02_053_hbm_limit.webp" alt="動画の画面(「HBMにも、積層や接続の製造、放熱、コスト、容量の制約があるわ。」の場面)" width="1600" height="574" loading="lazy" decoding="async"><figcaption><span class="tc">図 30</span></figcaption></figure><div class="say metan left" id="ex02-hbm_latency"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">帯域が増えても、DRAMの読み出し遅延が同じ倍率で短くなるわけではないの。</p></div></div><figure class="screen fig wide" id="ex02-fig31"><img src="assets/fig/ex02/ex02_054_hbm_latency.webp" alt="動画の画面(「帯域が増えても、DRAMの読み出し遅延が同じ倍率で短くなるわけではないの。」の場面)" width="1600" height="574" loading="lazy" decoding="async"><figcaption><span class="tc">図 31</span></figcaption></figure><div class="say metan left" id="ex02-hbm_alternatives"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">必要な帯域と容量、電力、価格しだいで、グラフィックス向けのGDDRや低消費電力のLPDDRなども使い分けるわ。</p></div></div><figure class="screen fig wide" id="ex02-fig32"><img src="assets/fig/ex02/ex02_055_hbm_alternatives.webp" alt="動画の画面(「必要な帯域と容量、電力、価格しだいで、グラフィックス向けのGDDRや低消費電力のLPDDRなども使い分けるわ。」の場面)" width="1600" height="574" loading="lazy" decoding="async"><figcaption><span class="tc">図 32</span></figcaption></figure><div class="say zundamon right" id="ex02-business"><span class="face" aria-hidden="true">ず</span><div class="bubble"><p class="who">ずんだもん</p><p class="line">計算チップを活かすにはメモリも要る。だからメモリメーカーにも需要が来るのだ!</p></div></div><figure class="screen fig wide" id="ex02-fig33"><img src="assets/fig/ex02/ex02_056_business.webp" alt="動画の画面(「計算チップを活かすにはメモリも要る。だからメモリメーカーにも需要が来るのだ!」の場面)" width="1600" height="577" loading="lazy" decoding="async"><figcaption><span class="tc">図 33</span></figcaption></figure></section><section class="sec" id="ex02-s8" aria-labelledby="ex02-s8-h"><h2 id="ex02-s8-h"><span class="no">8</span><span class="ht">HBFはHBMと何が違う?</span></h2><div class="say zundamon right ask" id="ex02-hbf"><span class="face" aria-hidden="true">ず</span><div class="bubble"><p class="who">ずんだもん<span class="q">質問</span></p><p class="line">HBFというのも出てきたのだ。HBMの新しい世代なのだ?</p></div></div><figure class="screen fig wide" id="ex02-fig34"><img src="assets/fig/ex02/ex02_057_hbf.webp" alt="動画の画面(「HBFというのも出てきたのだ。HBMの新しい世代なのだ?」の場面)" width="1600" height="574" loading="lazy" decoding="async"><figcaption><span class="tc">図 34</span></figcaption></figure><div class="say metan left" id="ex02-hbf_name"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">ハイ・バンドウィズ・フラッシュよ。こちらはNANDフラッシュを使うの。</p></div></div><figure class="screen fig wide" id="ex02-fig35"><img src="assets/fig/ex02/ex02_058_hbf_name.webp" alt="動画の画面(「ハイ・バンドウィズ・フラッシュよ。こちらはNANDフラッシュを使うの。」の場面)" width="1600" height="574" loading="lazy" decoding="async"><figcaption><span class="tc">図 35</span></figcaption></figure><div class="say metan left" id="ex02-hbf_capacity"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">大容量が得意なNANDに、並列なデータ経路を作り、広い読み出し帯域も狙うわ。</p></div></div><div class="say metan left cont" id="ex02-hbf_layer"><span class="face" aria-hidden="true"></span><div class="bubble"><p class="line"><span class="vh">四国めたん:</span>HBMとSSDの間を埋める、新しい階層という位置づけね。</p></div></div><div class="say metan left cont" id="ex02-hbf_weights"><span class="face" aria-hidden="true"></span><div class="bubble"><p class="line"><span class="vh">四国めたん:</span>例えば、大量に保存した学習済みの重みを繰り返し読む推論が、狙いの用途なの。</p></div></div><figure class="screen fig wide" id="ex02-fig36"><img src="assets/fig/ex02/ex02_061_hbf_weights.webp" alt="動画の画面(「例えば、大量に保存した学習済みの重みを繰り返し読む推論が、狙いの用途なの。」の場面)" width="1600" height="574" loading="lazy" decoding="async"><figcaption><span class="tc">図 36</span></figcaption></figure><div class="say metan left" id="ex02-hbf_latency"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">HBMより遅延や読み出し単位が大きい点に注意ね。同じ帯域でも、使い勝手は違うわ。</p></div></div><figure class="screen fig wide" id="ex02-fig37"><img src="assets/fig/ex02/ex02_062_hbf_latency.webp" alt="動画の画面(「HBMより遅延や読み出し単位が大きい点に注意ね。同じ帯域でも、使い勝手は違うわ。」の場面)" width="1600" height="574" loading="lazy" decoding="async"><figcaption><span class="tc">図 37</span></figcaption></figure><div class="say zundamon right" id="ex02-hbf_replace"><span class="face" aria-hidden="true">ず</span><div class="bubble"><p class="who">ずんだもん</p><p class="line">容量が大きいからといって、HBMを何でも置き換えられるわけではないのだ。</p></div></div><figure class="screen fig wide" id="ex02-fig38"><img src="assets/fig/ex02/ex02_063_hbf_replace.webp" alt="動画の画面(「容量が大きいからといって、HBMを何でも置き換えられるわけではないのだ。」の場面)" width="1600" height="574" loading="lazy" decoding="async"><figcaption><span class="tc">図 38</span></figcaption></figure><div class="say metan left" id="ex02-hbf_rw"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">NANDの読み出しや書き込みには時間がかかる。並列化で帯域を稼いでも、遅延は残るの。</p></div></div></section><section class="sec" id="ex02-s9" aria-labelledby="ex02-s9-h"><h2 id="ex02-s9-h"><span class="no">9</span><span class="ht">巨大なKVキャッシュとHBFの遅延</span></h2><div class="say zundamon right" id="ex02-hbf_kv_q"><span class="face" aria-hidden="true">ず</span><div class="bubble"><p class="who">ずんだもん</p><p class="line">でも、KVキャッシュがものすごく大きいときには、有効かもしれないのだ!</p></div></div><figure class="screen fig wide" id="ex02-fig39"><img src="assets/fig/ex02/ex02_065_hbf_kv_q.webp" alt="動画の画面(「でも、KVキャッシュがものすごく大きいときには、有効かもしれないのだ!」の場面)" width="1600" height="576" loading="lazy" decoding="async"><figcaption><span class="tc">図 39</span></figcaption></figure><div class="say metan left" id="ex02-hbf_kv_capacity"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">そうね。HBMに収まらないKVを保管し、再利用するための容量拡張は研究されているわ。</p></div></div><div class="say metan left cont" id="ex02-hbf_kv_write"><span class="face" aria-hidden="true"></span><div class="bubble"><p class="line"><span class="vh">四国めたん:</span>ただしKVは生成のたびに追記される。読むだけの重みと違って書き込みが多く、書き換え回数に限りがあるNANDでは負荷や寿命も問題になるの。</p></div></div><div class="say metan left cont" id="ex02-hbf_kv_hot"><span class="face" aria-hidden="true"></span><div class="bubble"><p class="line"><span class="vh">四国めたん:</span>頻繁に使う部分をHBMへ、保管する部分をHBFへ。配置や先読みも工夫する必要があるわ。</p></div></div><figure class="screen fig wide" id="ex02-fig40"><img src="assets/fig/ex02/ex02_068_hbf_kv_hot.webp" alt="動画の画面(「頻繁に使う部分をHBMへ、保管する部分をHBFへ。配置や先読みも工夫する必要があるわ。」の場面)" width="1600" height="576" loading="lazy" decoding="async"><figcaption><span class="tc">図 40</span></figcaption></figure><div class="say metan left" id="ex02-hbf_kv_dense"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">毎回すべてのKVを読む処理なら、保管先を変えただけでは、読み出し待ちも増えかねないの。</p></div></div><div class="say metan left cont" id="ex02-hbf_kv_evidence"><span class="face" aria-hidden="true"></span><div class="bubble"><p class="line"><span class="vh">四国めたん:</span>効果は処理内容や再利用しだいね。研究のシミュレーションでも、配置によって結果が変わるわ。</p></div></div><figure class="screen fig wide" id="ex02-fig41"><img src="assets/fig/ex02/ex02_070_hbf_kv_evidence.webp" alt="動画の画面(「効果は処理内容や再利用しだいね。研究のシミュレーションでも、配置によって結果が変わるわ。」の場面)" width="1600" height="576" loading="lazy" decoding="async"><figcaption><span class="tc">図 41</span></figcaption></figure><div class="say zundamon right" id="ex02-hbf_kv_reply"><span class="face" aria-hidden="true">ず</span><div class="bubble"><p class="who">ずんだもん</p><p class="line">大容量を活かしながら、読み書きの待ち時間を隠せるかが勝負なのだ。</p></div></div><figure class="screen fig wide" id="ex02-fig42"><img src="assets/fig/ex02/ex02_071_hbf_kv_reply.webp" alt="動画の画面(「大容量を活かしながら、読み書きの待ち時間を隠せるかが勝負なのだ。」の場面)" width="1600" height="576" loading="lazy" decoding="async"><figcaption><span class="tc">図 42</span></figcaption></figure><div class="say metan left" id="ex02-hbf_standard"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">2026年8月、サンディスクとSKハイニックスが、最初のHBF仕様の公開を発表したわ。</p></div></div><figure class="screen fig wide" id="ex02-fig43"><img src="assets/fig/ex02/ex02_072_hbf_standard.webp" alt="動画の画面(「2026年8月、サンディスクとSKハイニックスが、最初のHBF仕様の公開を発表したわ。」の場面)" width="1600" height="577" loading="lazy" decoding="async"><figcaption><span class="tc">図 43</span></figcaption></figure><div class="say metan left" id="ex02-hbf_spec"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">最大512GB、帯域はグレード別に毎秒約0.4から3TBという仕様よ。</p></div></div><div class="say metan left cont" id="ex02-hbf_status"><span class="face" aria-hidden="true"></span><div class="bubble"><p class="line"><span class="vh">四国めたん:</span>これは仕様の発表ね。その数字を、量産済みの製品の実測性能とは扱わないわ。</p></div></div><div class="say metan left cont" id="ex02-hbf_schedule"><span class="face" aria-hidden="true"></span><div class="bubble"><p class="line"><span class="vh">四国めたん:</span>サンディスクは2025年に、翌年後半の初期サンプルを目標と発表。出荷実績とは分けるわ。</p></div></div><figure class="screen fig wide" id="ex02-fig44"><img src="assets/fig/ex02/ex02_075_hbf_schedule.webp" alt="動画の画面(「サンディスクは2025年に、翌年後半の初期サンプルを目標と発表。出荷実績とは分けるわ。」の場面)" width="1600" height="574" loading="lazy" decoding="async"><figcaption><span class="tc">図 44</span></figcaption></figure></section><section class="sec" id="ex02-s10" aria-labelledby="ex02-s10-h"><h2 id="ex02-s10-h"><span class="no">10</span><span class="ht">セルを積む3D DRAM研究</span></h2><div class="say zundamon right ask" id="ex02-dram3d"><span class="face" aria-hidden="true">ず</span><div class="bubble"><p class="who">ずんだもん<span class="q">質問</span></p><p class="line">3D DRAMという話も聞くのだ。HBMと同じことなのだ?</p></div></div><figure class="screen fig wide" id="ex02-fig45"><img src="assets/fig/ex02/ex02_076_dram3d.webp" alt="動画の画面(「3D DRAMという話も聞くのだ。HBMと同じことなのだ?」の場面)" width="1600" height="577" loading="lazy" decoding="async"><figcaption><span class="tc">図 45</span></figcaption></figure><div class="say metan left" id="ex02-dram_distinction"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">広い意味では呼び方が重なるわ。ここでは、セル自体を多層化する研究を指すことにするね。</p></div></div><div class="say metan left cont" id="ex02-dram_cells"><span class="face" aria-hidden="true"></span><div class="bubble"><p class="line"><span class="vh">四国めたん:</span>完成したDRAMチップを積むHBMと、記憶セルの層を作り重ねる技術を分けて見るの。</p></div></div><figure class="screen fig wide" id="ex02-fig46"><img src="assets/fig/ex02/ex02_078_dram_cells.webp" alt="動画の画面(「完成したDRAMチップを積むHBMと、記憶セルの層を作り重ねる技術を分けて見るの。」の場面)" width="1600" height="577" loading="lazy" decoding="async"><figcaption><span class="tc">図 46</span></figcaption></figure><div class="say metan left" id="ex02-dram_imec"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">これはimecが示す構造案よ。酸化物半導体を使う、積層向きのセルを研究しているわ。</p></div></div><div class="say metan left cont" id="ex02-dram_cap"><span class="face" aria-hidden="true"></span><div class="bubble"><p class="line"><span class="vh">四国めたん:</span>一般的なDRAMのセルは、トランジスタ1個とキャパシタ1個で情報を保つの。</p></div></div><figure class="screen fig wide" id="ex02-fig47"><img src="assets/fig/ex02/ex02_080_dram_cap.webp" alt="動画の画面(「一般的なDRAMのセルは、トランジスタ1個とキャパシタ1個で情報を保つの。」の場面)" width="1600" height="577" loading="lazy" decoding="async"><figcaption><span class="tc">図 47</span></figcaption></figure><div class="say metan left" id="ex02-dram_2t"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">この研究では、独立したキャパシタを使わない、2トランジスタ型も検討しているわ。</p></div></div><div class="say metan left cont" id="ex02-dram_problem"><span class="face" aria-hidden="true"></span><div class="bubble"><p class="line"><span class="vh">四国めたん:</span>高密度化が狙いだけれど、保持時間や素子の安定性、積層工程を確かめる必要があるの。</p></div></div><div class="say zundamon right" id="ex02-dram_bandwidth"><span class="face" aria-hidden="true">ず</span><div class="bubble"><p class="who">ずんだもん</p><p class="line">たくさん保存できても、外へ運ぶ道が細ければ、メモリウォールは残るのだ。</p></div></div><figure class="screen fig wide" id="ex02-fig48"><img src="assets/fig/ex02/ex02_083_dram_bandwidth.webp" alt="動画の画面(「たくさん保存できても、外へ運ぶ道が細ければ、メモリウォールは残るのだ。」の場面)" width="1600" height="577" loading="lazy" decoding="async"><figcaption><span class="tc">図 48</span></figcaption></figure></section><section class="sec" id="ex02-s11" aria-labelledby="ex02-s11-h"><h2 id="ex02-s11-h"><span class="no">11</span><span class="ht">データ移動を減らす方法</span></h2><div class="say metan left" id="ex02-movement"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">そこで、もっと運べるようにする方法と、そもそも運ぶ量を減らす方法があるわ。</p></div></div><figure class="screen fig wide" id="ex02-fig49"><img src="assets/fig/ex02/ex02_084_movement.webp" alt="動画の画面(「そこで、もっと運べるようにする方法と、そもそも運ぶ量を減らす方法があるわ。」の場面)" width="1600" height="576" loading="lazy" decoding="async"><figcaption><span class="tc">図 49</span></figcaption></figure><div class="say metan left" id="ex02-reuse"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">重みを少ないビットで表す量子化や、近くのメモリで再利用する方法ね。</p></div></div><div class="say metan left cont" id="ex02-cim"><span class="face" aria-hidden="true"></span><div class="bubble"><p class="line"><span class="vh">四国めたん:</span>メモリの近くや中で演算する考え方もあるわ。ただし、動かすデータは残るの。</p></div></div><figure class="screen fig wide" id="ex02-fig50"><img src="assets/fig/ex02/ex02_086_cim.webp" alt="動画の画面(「メモリの近くや中で演算する考え方もあるわ。ただし、動かすデータは残るの。」の場面)" width="1600" height="577" loading="lazy" decoding="async"><figcaption><span class="tc">図 50</span></figcaption></figure></section><section class="sec" id="ex02-s12" aria-labelledby="ex02-s12-h"><h2 id="ex02-s12-h"><span class="no">12</span><span class="ht">Taalasのモデル特化チップ</span></h2><div class="say zundamon right" id="ex02-taalas"><span class="face" aria-hidden="true">ず</span><div class="bubble"><p class="who">ずんだもん</p><p class="line">Taalasは、モデルをチップにしてしまうと聞いたのだ!</p></div></div><figure class="screen fig wide" id="ex02-fig51"><img src="assets/fig/ex02/ex02_087_taalas.webp" alt="動画の画面(「Taalasは、モデルをチップにしてしまうと聞いたのだ!」の場面)" width="1600" height="576" loading="lazy" decoding="async"><figcaption><span class="tc">図 51</span></figcaption></figure><div class="say metan left" id="ex02-taalas_hc1"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">同社のHC1は、Llama 3.1 8B、つまり重みが約80億個のモデルをハードウェアに固定した実例として発表されたわ。</p></div></div><div class="say metan left cont" id="ex02-taalas_local"><span class="face" aria-hidden="true"></span><div class="bubble"><p class="line"><span class="vh">四国めたん:</span>記憶と計算を1チップにまとめ、HBMを使わない構成と説明しているの。</p></div></div><figure class="screen fig wide" id="ex02-fig52"><img src="assets/fig/ex02/ex02_089_taalas_local.webp" alt="動画の画面(「記憶と計算を1チップにまとめ、HBMを使わない構成と説明しているの。」の場面)" width="1600" height="576" loading="lazy" decoding="async"><figcaption><span class="tc">図 52</span></figcaption></figure><div class="say metan left" id="ex02-taalas_speed"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">1人あたり毎秒約1万7千トークン。ただし、これは同社が公表した測定結果よ。</p></div></div><figure class="screen fig wide" id="ex02-fig53"><img src="assets/fig/ex02/ex02_090_taalas_speed.webp" alt="動画の画面(「1人あたり毎秒約1万7千トークン。ただし、これは同社が公表した測定結果よ。」の場面)" width="1600" height="576" loading="lazy" decoding="async"><figcaption><span class="tc">図 53</span></figcaption></figure><div class="say metan left" id="ex02-taalas_quality"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">3ビットと6ビットの量子化を使い、比較したGPU実装より品質が下がる点も明記しているわ。</p></div></div><figure class="screen fig wide" id="ex02-fig54"><img src="assets/fig/ex02/ex02_091_taalas_quality.webp" alt="動画の画面(「3ビットと6ビットの量子化を使い、比較したGPU実装より品質が下がる点も明記しているわ。」の場面)" width="1600" height="576" loading="lazy" decoding="async"><figcaption><span class="tc">図 54</span></figcaption></figure><div class="say zundamon right" id="ex02-taalas_compare"><span class="face" aria-hidden="true">ず</span><div class="bubble"><p class="who">ずんだもん</p><p class="line">速さだけ並べても、同じ品質や同じ条件とは限らないのだ。</p></div></div><figure class="screen fig wide" id="ex02-fig55"><img src="assets/fig/ex02/ex02_092_taalas_compare.webp" alt="動画の画面(「速さだけ並べても、同じ品質や同じ条件とは限らないのだ。」の場面)" width="1600" height="576" loading="lazy" decoding="async"><figcaption><span class="tc">図 55</span></figcaption></figure><div class="say metan left" id="ex02-taalas_fixed"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">モデルへの特化が強みね。一方、別のモデルへの変更は、汎用GPUほど自由ではないわ。</p></div></div><div class="say metan left cont" id="ex02-taalas_lora"><span class="face" aria-hidden="true"></span><div class="bubble"><p class="line"><span class="vh">四国めたん:</span>ただし同社はLoRAによる調整に対応すると説明している。全部が変更不能ではないの。</p></div></div><figure class="screen fig wide" id="ex02-fig56"><img src="assets/fig/ex02/ex02_094_taalas_lora.webp" alt="動画の画面(「ただし同社はLoRAによる調整に対応すると説明している。全部が変更不能ではないの。」の場面)" width="1600" height="576" loading="lazy" decoding="async"><figcaption><span class="tc">図 56</span></figcaption></figure><div class="say metan left" id="ex02-taalas_rom"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">筆者は、基本の重みをROMに固定した構成と考えているわ。</p></div></div><div class="say metan left cont" id="ex02-taalas_sram_ratio"><span class="face" aria-hidden="true"></span><div class="bubble"><p class="line"><span class="vh">四国めたん:</span>さらに、重み全体の約0.1%ほどの調整用パラメータだけは、別に持っていると見ているの。</p></div></div><figure class="screen fig wide" id="ex02-fig57"><img src="assets/fig/ex02/ex02_096_taalas_sram_ratio.webp" alt="動画の画面(「さらに、重み全体の約0.1%ほどの調整用パラメータだけは、別に持っていると見ているの。」の場面)" width="1600" height="574" loading="lazy" decoding="async"><figcaption><span class="tc">図 57</span></figcaption></figure><div class="say metan left" id="ex02-taalas_sram_lora"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">その部分を書き換え可能なSRAMに置き、LoRAで変えるという見立てよ。</p></div></div><div class="say metan left cont" id="ex02-taalas_hypothesis_note"><span class="face" aria-hidden="true"></span><div class="bubble"><p class="line"><span class="vh">四国めたん:</span>この比率や内部構成は筆者の推測で、同社の公式な仕様ではないの。</p></div></div><figure class="screen fig wide" id="ex02-fig58"><img src="assets/fig/ex02/ex02_098_taalas_hypothesis_note.webp" alt="動画の画面(「この比率や内部構成は筆者の推測で、同社の公式な仕様ではないの。」の場面)" width="1600" height="574" loading="lazy" decoding="async"><figcaption><span class="tc">図 58</span></figcaption></figure><div class="say zundamon right" id="ex02-taalas_all"><span class="face" aria-hidden="true">ず</span><div class="bubble"><p class="who">ずんだもん</p><p class="line">これで、どんなAIにもメモリが不要になる、という話ではないのだ。</p></div></div><figure class="screen fig wide" id="ex02-fig59"><img src="assets/fig/ex02/ex02_099_taalas_all.webp" alt="動画の画面(「これで、どんなAIにもメモリが不要になる、という話ではないのだ。」の場面)" width="1600" height="576" loading="lazy" decoding="async"><figcaption><span class="tc">図 59</span></figcaption></figure></section><section class="sec" id="ex02-s13" aria-labelledby="ex02-s13-h"><h2 id="ex02-s13-h"><span class="no">13</span><span class="ht">まとめ:計算とデータ供給</span></h2><div class="say metan left" id="ex02-summary"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">計算の速さを活かすには、必要なデータを、必要な速さで届けることが大切よ。</p></div></div><figure class="screen fig wide" id="ex02-fig60"><img src="assets/fig/ex02/ex02_100_summary.webp" alt="動画の画面(「計算の速さを活かすには、必要なデータを、必要な速さで届けることが大切よ。」の場面)" width="1600" height="522" loading="lazy" decoding="async"><figcaption><span class="tc">図 60</span></figcaption></figure><div class="say metan left" id="ex02-summary_hbm"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">HBMは広い接続で運ぶ。3D DRAMは密度を高める。特化した設計は移動を減らす。</p></div></div><div class="say metan left cont" id="ex02-summary_hbf"><span class="face" aria-hidden="true"></span><div class="bubble"><p class="line"><span class="vh">四国めたん:</span>HBFは、NANDの大容量を広い読み出し帯域につなぐ。用途ごとに組み合わせるのね。</p></div></div><figure class="screen fig wide" id="ex02-fig61"><img src="assets/fig/ex02/ex02_102_summary_hbf.webp" alt="動画の画面(「HBFは、NANDの大容量を広い読み出し帯域につなぐ。用途ごとに組み合わせるのね。」の場面)" width="1600" height="574" loading="lazy" decoding="async"><figcaption><span class="tc">図 61</span></figcaption></figure><div class="say zundamon right" id="ex02-payoff"><span class="face" aria-hidden="true">ず</span><div class="bubble"><p class="who">ずんだもん</p><p class="line">株の名前だけ見ていたけど、メモリが売れる技術の理由が分かったのだ!</p></div></div><figure class="screen fig wide" id="ex02-fig62"><img src="assets/fig/ex02/ex02_103_payoff.webp" alt="動画の画面(「株の名前だけ見ていたけど、メモリが売れる技術の理由が分かったのだ!」の場面)" width="1600" height="574" loading="lazy" decoding="async"><figcaption><span class="tc">図 62</span></figcaption></figure><div class="say metan left" id="ex02-closing"><span class="face" aria-hidden="true">め</span><div class="bubble"><p class="who">四国めたん</p><p class="line">業績は期間と内訳、技術は容量と帯域を分けて読むと、ニュースがぐっと分かるわ。</p></div></div><div class="say zundamon right" id="ex02-thanks"><span class="face" aria-hidden="true">ず</span><div class="bubble"><p class="who">ずんだもん</p><p class="line">最後まで読んでくれてありがとうなのだ!</p></div></div></section><footer class="ep-foot"><nav class="pager" aria-label="ページ送り"><a class="pg prev" rel="prev" href="ex01.html"><span class="pg-l">前へ</span><span class="pg-t">余談 #1 FinFETからGAAへ:<span class="num">2 nm</span>の中で何が変わった?</span></a><a class="pg toc-link" href="index.html"><span class="pg-l">目次</span><span class="pg-t">シリーズの目次</span></a><span class="pg next none"></span></nav><div class="notes"><h2 class="cr-h">動画のクレジット</h2><ul class="credits"><li>VOICEVOX:ずんだもん</li><li>VOICEVOX:四国めたん</li><li>立ち絵:坂本アヒル</li></ul><h2 class="cr-h">画像クレジット・出典</h2><p class="note">図は動画の画面を切り出したものです。論文・企業・研究機関の画像や図を含みます。出典は動画の概要欄と同じ内容です。</p><h3 class="ref-h">数値・情報の条件</h3><ul class="refs"><li>企業・研究情報の確認日:2026-10-02。</li><li>Micronは2026-09-03終了のFY2026 Q4、Samsungは2026年4–6月の実績です。</li><li>全社業績をHBM単独の売上とは扱いません。Micronの純利益とSamsungの営業利益は異なる指標です。</li><li>16 GBの重みを100 GB/sと1 TB/sで読み出す例は、batch=1で毎トークン全重みを1回読む仮定です。</li><li>GB/TBは10進。KVキャッシュ・活性値の転送、計算時間などを除いた帯域起因の上限であり、実機性能ではありません。</li><li>律速グラフは提供資料p.23の図を使用し、製品名・概数ラベルを省略しています。横軸はメモリ通信速度で、1バイトあたりの演算量を一定とした関係です。</li><li>HBMの1024 bitと製品帯域は1スタックのHBM3Eの例です。1024はGPUとHBMを結ぶデータ信号線の幅であり、電源・制御などを含む全端子数ではありません。接続図はHBM2Eの例を引用し、HBM3Eの内訳は16チャネル×64 bitと説明します。9.6 Gb/sは理論帯域を計算するための入力値です。</li><li>HBFの容量・帯域は発表された仕様の値です。初期サンプルの時期は2025年公表時の計画で、出荷実績ではありません。</li><li>HBFとKVキャッシュの研究は、構成・配置・負荷条件に依存する評価です。大容量なら常に高速化するとは限りません。</li><li>Taalasの速度は同社公表値で、3/6bit量子化による品質差があります。同品質の独立ベンチマークとは扱いません。</li><li>「基本の重みをROMに固定し、重み数の約0.1%に相当する調整用パラメータをSRAMに置いてLoRAで変える」という説明は筆者の推測です。</li><li>公式記事で確認できる固定化・LoRA対応とは区別します。約0.1%は企業公表値でも、チップ面積や全メモリ容量の比率でもありません。</li><li>3D DRAMの図とHBM-on-GPUの図は研究構造案です。</li></ul><h3 class="ref-h">出典</h3><ul class="refs"><li>Horace He: Making Deep Learning Go Brrrr From First Principles</li><li class="ref-url"><a href="https://horace.io/brrr_intro.html" target="_blank" rel="noopener">https://horace.io/brrr_intro.html</a></li><li>提供資料 ICD_yoshioka_2026.pptx pp.19–20(工場とメモリ通信の図)、p.23(律速の図)</li><li>Hot-Cold Tiering of HBM and High Bandwidth Flash for Agentic LLM Serving</li><li class="ref-url"><a href="https://arxiv.org/abs/2609.25782v1" target="_blank" rel="noopener">https://arxiv.org/abs/2609.25782v1</a></li><li>Characterizing High Bandwidth Flash for LLM Serving</li><li class="ref-url"><a href="https://arxiv.org/abs/2609.39131v1" target="_blank" rel="noopener">https://arxiv.org/abs/2609.39131v1</a></li><li>HBF Sucks? A Full-Stack Characterization of High-Bandwidth Flash for KV-Centric LLM Serving</li><li class="ref-url"><a href="https://arxiv.org/abs/2608.11668v4" target="_blank" rel="noopener">https://arxiv.org/abs/2608.11668v4</a></li><li>SK hynix Unveils First HBF Standard Specifications with Sandisk, Presenting AI Memory Solutions at FMS 2026</li><li class="ref-url"><a href="https://news.skhynix.com/en/hbf-at-fms-2026/" target="_blank" rel="noopener">https://news.skhynix.com/en/hbf-at-fms-2026/</a></li><li>Scaling the Memory Wall: Behind Sandisk’s High Bandwidth Flash for AI Inferencing</li><li class="ref-url"><a href="https://www.sandisk.com/company/newsroom/blogs/2025/scaling-beyond-the-wall-inside-sandisks-high-bandwidth-flash-for-ai" target="_blank" rel="noopener">https://www.sandisk.com/company/newsroom/blogs/2025/scaling-beyond-the-wall-inside-sandisks-high-bandwidth-flash-for-ai</a></li><li>Micron Reports Record Fiscal Fourth-Quarter and Full-Year 2026 Results</li><li class="ref-url"><a href="https://investors.micron.com/news/press-release/2026/Micron-Technology-Inc--Reports-Record-Fiscal-Fourth-Quarter-and-Full-Year-2026-Results/default.aspx" target="_blank" rel="noopener">https://investors.micron.com/news/press-release/2026/Micron-Technology-Inc--Reports-Record-Fiscal-Fourth-Quarter-and-Full-Year-2026-Results/default.aspx</a></li><li>Samsung Electronics Announces Second Quarter 2026 Results</li><li class="ref-url"><a href="https://news.samsung.com/global/samsung-electronics-announces-second-quarter-2026-results" target="_blank" rel="noopener">https://news.samsung.com/global/samsung-electronics-announces-second-quarter-2026-results</a></li><li>Matrix Multiplication Background User's Guide</li><li class="ref-url"><a href="https://docs.nvidia.com/deeplearning/performance/dl-performance-matrix-multiplication/index.html" target="_blank" rel="noopener">https://docs.nvidia.com/deeplearning/performance/dl-performance-matrix-multiplication/index.html</a></li><li>Williams, Waterman, Patterson: Roofline (Berkeley Technical Report UCB/EECS-2008-134)</li><li class="ref-url"><a href="https://www2.eecs.berkeley.edu/Pubs/TechRpts/2008/EECS-2008-134.html" target="_blank" rel="noopener">https://www2.eecs.berkeley.edu/Pubs/TechRpts/2008/EECS-2008-134.html</a></li><li>Mastering LLM Techniques: Inference Optimization</li><li class="ref-url"><a href="https://developer.nvidia.com/blog/mastering-llm-techniques-inference-optimization/" target="_blank" rel="noopener">https://developer.nvidia.com/blog/mastering-llm-techniques-inference-optimization/</a></li><li>High-bandwidth memory (HBM)</li><li class="ref-url"><a href="https://www.micron.com/products/memory/hbm" target="_blank" rel="noopener">https://www.micron.com/products/memory/hbm</a></li><li>Micron HBM3E</li><li class="ref-url"><a href="https://www.micron.com/products/memory/hbm/hbm3e" target="_blank" rel="noopener">https://www.micron.com/products/memory/hbm/hbm3e</a></li><li>Imec mitigates thermal bottleneck in 3D HBM-on-GPU architectures using a system-technology co-optimization approach</li><li class="ref-url"><a href="https://www.imec-int.com/en/press/imec-mitigates-thermal-bottleneck-3d-hbm-gpu-architectures-using-system-technology-co" target="_blank" rel="noopener">https://www.imec-int.com/en/press/imec-mitigates-thermal-bottleneck-3d-hbm-gpu-architectures-using-system-technology-co</a></li><li>A view on the memory and storage technology roadmaps</li><li class="ref-url"><a href="https://www.imec-int.com/en/articles/view-memory-and-storage-technology-roadmaps" target="_blank" rel="noopener">https://www.imec-int.com/en/articles/view-memory-and-storage-technology-roadmaps</a></li><li>Ljubisa Bajic: The path to ubiquitous AI</li><li class="ref-url"><a href="https://taalas.com/the-path-to-ubiquitous-ai/" target="_blank" rel="noopener">https://taalas.com/the-path-to-ubiquitous-ai/</a></li></ul><h3 class="ref-h">引用画像</h3><ul class="refs"><li>Rambus:HBM2E Interposer Reference Design(2020-11-19)</li><li class="ref-url"><a href="https://www.rambus.com/blogs/hbm2e/" target="_blank" rel="noopener">https://www.rambus.com/blogs/hbm2e/</a></li><li>上面図の1024ビット接続と、断面図のインターポーザ内配線を赤枠で強調。原図全体を使用。</li><li>HBM3Eの16チャネル×64 bitの根拠:</li><li class="ref-url"><a href="https://www.rambus.com/interface-ip/hbm/hbm3-controller/" target="_blank" rel="noopener">https://www.rambus.com/interface-ip/hbm/hbm3-controller/</a></li><li>図:Horace He「Making Deep Learning Go Brrrr From First Principles」</li><li class="ref-url"><a href="https://horace.io/brrr_intro.html" target="_blank" rel="noopener">https://horace.io/brrr_intro.html</a></li><li>提供資料pp.19–20の工場・倉庫・ベルトコンベアの画像をそのまま使用。</li><li>図:提供資料 ICD_yoshioka_2026.pptx p.23</li><li>元図の軸・折線・律速区間・配色を保持。右側本文と製品名・概数ラベルを省略。</li><li>画像引用:SK hynix/HBF仕様公開/2026-08-04</li><li class="ref-url"><a href="https://news.skhynix.com/en/hbf-at-fms-2026/" target="_blank" rel="noopener">https://news.skhynix.com/en/hbf-at-fms-2026/</a></li><li>2026年8月HBF仕様公開の記事に掲載された発表イメージ。製品写真・断面図ではない。</li><li>画像引用:Micron/HBM3E 12-high</li><li class="ref-url"><a href="https://www.micron.com/about/blog/applications/ai/microns-hbm3e-powering-the-future-of-ai-with-high-bandwidth-memory" target="_blank" rel="noopener">https://www.micron.com/about/blog/applications/ai/microns-hbm3e-powering-the-future-of-ai-with-high-bandwidth-memory</a></li><li>HBM3E 12-high製品の公式掲載画像。断面写真ではない。</li><li>図1引用:imec/2.5Dと3D HBM-on-GPU/2025-12-08</li><li class="ref-url"><a href="https://www.imec-int.com/en/press/imec-mitigates-thermal-bottleneck-3d-hbm-gpu-architectures-using-system-technology-co" target="_blank" rel="noopener">https://www.imec-int.com/en/press/imec-mitigates-thermal-bottleneck-3d-hbm-gpu-architectures-using-system-technology-co</a></li><li>Figure 1全体。2.5Dと提案する3D HBM-on-GPUの比較。</li><li>構造案引用:imec/3D DRAM/2022</li><li class="ref-url"><a href="https://www.imec-int.com/en/articles/view-memory-and-storage-technology-roadmaps" target="_blank" rel="noopener">https://www.imec-int.com/en/articles/view-memory-and-storage-technology-roadmaps</a></li><li>代替半導体材料による3D DRAM集積の可能な構造案。</li><li>写真引用:Taalas/HC1 board/同社公式記事 Figure 1</li><li class="ref-url"><a href="https://taalas.com/the-path-to-ubiquitous-ai/" target="_blank" rel="noopener">https://taalas.com/the-path-to-ubiquitous-ai/</a></li><li>Figure 1、HC1基板。Llama 3.1 8Bを固定した実例。</li></ul></div></footer><script type="application/json" class="zw-scene" data-ep="ex02">{}</script></article>
</main>
<script src="assets/model.js"></script>
<script src="assets/widgets.js"></script>
</body>
</html>