第2章: 3DCGの60年史 — Sketchpadから生成AIまで

60年を「ボトルネックの連鎖」として読む

第1章では、3Dモデルを「形・見た目・動き」の3層で捉え、メッシュ、NURBS、点群、NeRF、3D Gaussianといった表現方式を地図として並べました。 この章では、その地図がどういう順番で描かれてきたかを追います。

年表を丸暗記しても役に立ちません。 この章では、各時代について「何が足りなかったのか」と「何がそれを解いたのか」の2点だけを追いかけます。 曲線を数式で書けなかった時代があり、計算機と対話できなかった時代があり、隠れた面を消せなかった時代があります。 ある問題が解けると、次の問題が目の前に現れます。 3DCGの60年は、そうしたボトルネックが次々と入れ替わってきた歴史です。

先に結論を書いておくと、今日Webエンジニアが触るglTFファイルの中身（三角形メッシュ、UV、metallic-roughnessのPBRマテリアル）は、1970年代のユタ大学、1990年代のGPU、2012年のDisneyの研究が積み重なった結果です。 そして2020年代のNeRF、3D Gaussian Splatting、3D生成AIは、「人が手で作る」という最後のボトルネックに取り組んでいます。

年表で見る全体像

まず全体を一望します。細部は後の節で順に説明するので、ここでは時代の並びだけ眺めてください。

曲線を数式にする — 自動車会社の秘密技術（1959〜1968）

3DCGの源流は、コンピュータグラフィックスの研究室ではなく、フランスの自動車会社にあります。 1950年代の車体設計では、デザイナーが描いた線を職人がクレイモデルや型紙に起こしていました。 滑らかな曲面を数値で正確に記述し、図面と金型の間で同じ形を共有する手段がなかったことが、当時のボトルネックです。

シトロエンの数学者Paul de Casteljauは、1959年頃、いくつかの「極」（いまでいう制御点）を置き、その間を線形補間で繰り返し分割して曲線を求める方法を考えたとされます。 シトロエンはこれを社外秘とし、記録を執行官に預けて日付を証明したのは1963年でした。 国際的に知られるようになったのは1970年代後半です。

一方、ルノーのPierre Bézierは独自に同じ種類の曲線へたどり着き、社内CADシステムUNISURFを1968年頃に導入しました。 ルノーは公表を許したので、この曲線は「Bézier曲線」として世界に広まります。 計算手順のほうには「de Casteljauのアルゴリズム」として名が残りました。

このアイデアの価値は、少数の制御点を動かすだけで形全体を滑らかに変えられる点にあります。 形を「点の座標の列」として保存し、計算でいつでも同じ曲線を再現できるので、図面と金型の食い違いがなくなります。 SVGのパスやCSSのcubic-bezier()を書いたことがあれば、同じ数学をすでに使っています。 後で出てくるUtah teapotも、このBézier曲面で記述されています。

Sketchpad — 計算機と対話する（1963）

曲線を数式にできても、それを人が計算機と対話しながら作れる環境はありませんでした。 当時の計算機はプログラムを渡して結果を待つ使い方が基本で、画面の上で形を直接いじる発想自体が一般的ではなかったのです。

1963年、Ivan SutherlandはMITの博士論文としてSketchpadを発表します。 ライトペンで画面に直接図形を描き、拘束条件をつけ、ひとつの「マスター」図形を複数の「インスタンス」として配置できるシステムでした。 マスターを直すと全インスタンスに反映される考え方は、いまのReactコンポーネントや3Dシーンのインスタンシングに通じます。 Sketchpadは、GUIとCADの両方の祖とされています。

Sketchpadはまだ2Dでしたが、「形をデータとして持ち、人がそれを対話的に編集する」という今日のモデリングツールの原型を示しました。 そしてSutherland自身が、次の舞台であるユタ大学へ移ります。

ユタ大学の黄金期 — ラスタライズの部品が揃う（1968〜1970年代）

1968年、SutherlandはDavid Evansのいるユタ大学に移り、二人はEvans & Sutherland社も立ち上げます。 ここから1970年代にかけて、ユタ大学の大学院生たちが今日のラスタライズの部品をほぼ揃えました。

この時代のボトルネックは、線画（ワイヤーフレーム）から「面のある絵」へ進むことでした。 面を塗るには、少なくとも3つの問題を解く必要があります。 奥の面が手前の面に隠れるのをどう処理するか、多角形の継ぎ目が目立たないようにどう陰影をつけるか、そして細かな模様をどう表現するかです。

GouraudとPhong — 陰影を滑らかにする

ポリゴンごとに一色で塗ると、曲面がカクカクした多面体に見えてしまいます。 1970年代前半、Henri Gouraudは頂点で明るさを計算し、それを面の内側で補間する方法を示しました。 続いてBui Tuong Phongは、明るさではなく法線を補間して画素ごとに光を計算する方法と、ハイライトを表す鏡面反射のモデルを示します。 いずれも「頂点に情報を持たせ、面の内側は補間で埋める」という発想で、これは第3章で扱う頂点属性（法線・UV）と、GPUのシェーダが行う補間処理の直接の祖先です。

Catmull — テクスチャマッピングとZバッファ

1974年、Ed Catmullは博士論文「A Subdivision Algorithm for Computer Display of Curved Surfaces」で曲面パッチを細かく分割して描く方法を示し、その中で2つの重要な技術を記述しました。

• テクスチャマッピング: 写真などの画像を曲面パッチに貼り付ける。形を細かくしなくても見た目の情報量を増やせる
• Zバッファ: 画素ごとに「これまで描いた中でいちばん手前の深度」を記録し、それより奥の面は描かない。面をどんな順番で描いても正しく隠れる

Zバッファについては、ベルリン工科大学のWolfgang Straßerが同じ1974年の博士論文で、Catmullより約8か月早く記述しています。 Catmullが「発明した」と書かれることもありますが、二人が独立に発見したと書くのが正確です。 Zバッファはメモリを大量に使う力業ですが、仕組みが単純で順番を気にしなくてよいので、のちにGPUのハードウェアにそのまま載りました。 WebGLのgl.enable(gl.DEPTH_TEST)は、この50年前のアイデアを有効にする1行です。

Utah teapot — 共通のテストデータ

1975年、Martin Newellは、妻Sandraの提案で自宅のティーポットをグラフ用紙にスケッチし、Bézier曲面の制御点を読み取ってTektronixの端末から手で入力しました。 このデータは1975年の博士論文に載り、のちに世界中の研究者が使う共通のテストモデルになります。

ティーポットが重宝されたのは、曲面、凹み、取っ手の穴、自分自身に落ちる影をひとつの形に含んでいたからです。 新しいシェーディングやテクスチャの手法を同じ形で比べられるので、ティーポットは今でいうベンチマークデータセットの役割を果たしました。 なお、よく見るティーポットが実物より縦に潰れているのは、Jim Blinnが縮めたためです。 「画素が正方形でない画面を補正した名残」という説がありますが、Blinn本人はこれを否定しています。

映画産業へ — RenderManと『トイ・ストーリー』（1980〜1995）

ユタ大学で部品が揃うと、次のボトルネックは「映画1本分のフレームを、映画品質で、安定して描き切ること」に移ります。 研究のデモなら1枚の絵で済みますが、映画は1秒24コマで、それを何十分ぶん作らなければなりません。

Catmullはその後ルーカスフィルムのコンピュータ部門を経て、Pixarの共同創業者になります。 Pixarの研究者たちは1980年代後半、大量の微小ポリゴンに分割して描くレンダリング方式（REYES）と、シーンの記述とレンダラを切り離すインターフェース仕様RenderManをまとめました。 モデラーやアニメーターがどのツールを使っていても、RenderManの形式でシーンを書き出せば同じレンダラで描けます。 この「シーン記述とレンダラの分離」は、2016年にPixarが公開するUSDの考え方にもつながります。

そして1995年11月、Pixarは初の全編CG長編映画『トイ・ストーリー』を公開しました。 研究室で生まれた技術が、ここで映画という産業の生産ラインに組み込まれました。

リアルタイム化 — OpenGL・GPU・プログラマブルシェーダ（1992〜2000年代）

映画は1フレームに何時間かけても許されます。 しかしゲームやインタラクティブな用途では、1フレームを数十ミリ秒で描く必要があります。 1990年代のボトルネックは、ユタ大学で生まれた処理をCPUで毎フレーム回すには遅すぎることでした。 この問題は、次の3段階で解かれていきます。

APIの標準化 — OpenGL 1.0（1992）

1992年、SGIの技術をもとにOpenGL 1.0が登場します。 頂点を渡すと、座標変換、ライティング、ラスタライズ、Zバッファまでを決まった手順（固定機能パイプライン）で処理してくれるAPIです。 アプリはハードウェアの違いを気にせず同じコードを書け、ハードウェアメーカーはそのAPIを速く動かす回路を作ることに集中できるようになりました。 WebGLは、このOpenGLの系譜をWebに持ち込んだものです。

専用チップ — GeForce 256（1999）

1999年8月、NVIDIAはGeForce 256を発表し、これを「世界初のGPU」と呼びました。 GPUという言葉は、NVIDIAが自社製品の売り文句として付けた呼称です。 同社は座標変換と光源計算（T&L）をひとつのチップに統合し、毎秒1000万ポリゴン以上を処理できるものをGPUと定義しました。 それまでCPUがしていた頂点の計算を、専用回路が肩代わりするようになったわけです。

自由度 — プログラマブルシェーダ（2000年代初頭〜）

固定機能パイプラインは速い代わりに、用意された光の計算式しか使えません。 2000年代初頭、頂点やピクセルの処理を小さなプログラム（シェーダ）として書き換えられるGPUが登場し、表現の自由度が一気に広がりました。 Three.jsのShaderMaterialで書くGLSLは、この流れの延長にあります。 GPUが並列計算機として汎用化したことは、20年後にNeRFや生成AIの学習を支える下地にもなりました。

物理ベースへ — PBR（2012）とRTX（2018）

シェーダが自由に書けるようになると、今度は「自由すぎる」ことが問題になります。 アーティストは見た目を作るために、拡散色、鏡面色、ハイライトの鋭さといったパラメータを場面ごとに手で調整していました。 ある照明では美しく見える素材が、別の照明に置くと不自然に見えてしまいます。 ツールやエンジンが変わると同じ素材の値が使い回せないことも、制作の大きな負担でした。

2012年、Walt Disney Animation StudiosのBrent BurleyはSIGGRAPHのコースで「Physically Based Shading at Disney」を発表します。 物理的に妥当な反射モデルを土台にしつつ、basecolor、metallic、roughnessといった少数の直感的なパラメータで質感を表せるようにしたもので、Disney principled BRDFと呼ばれます。 金属と非金属をmetallicで線形に混ぜるこの考え方は、glTF 2.0の仕様書が「Burley (2012)」として引用し、マテリアルモデルのコアに採用しています。 中身は第4章で詳しく扱います。

もうひとつの壁は、影や反射を正しく描くレイトレーシングの重さでした。 映画では使えても、リアルタイムでは近似（シャドウマップや環境マップ）でごまかすのが普通でした。 2018年8月、NVIDIAはSIGGRAPHでQuadro RTXを「世界初のレイトレーシングGPU」として発表し、続いてゲーム向けのGeForce RTX 20シリーズを出します。 レイと三角形の交差判定を専用回路で処理することで、リアルタイムのレイトレーシングが現実の選択肢になりました。 ラスタライズとレイトレーシングの仕組みは第6章で扱います。

ファイル形式の年表 — 「渡せない」問題との戦い

描く技術が進む一方で、ツールの数が増えるにつれ「あるソフトで作ったモデルを、別のソフトやエンジンに渡せない」というボトルネックが大きくなりました。 ファイル形式の歴史は、この問題に対する答えの積み重ねです。

流れを一言でまとめると、「交換用（COLLADA・FBX）」から「配信用（glTF）」と「シーン合成用（USD）」への役割分担です。 FBXは事実上の業界標準になりましたが、仕様を一社が握るプロプライエタリ形式であることが弱点でした。 glTFはその反省からオープンな標準として作られ、Webで3Dを表示するときのデフォルトになっています。 USDは映画制作の現場で鍛えられ、2025年12月にCore Specification 1.0、2026年7月にはCore Specification 1.1のISO認証手続きの開始が発表されました。 「ISO化を済ませたglTF」と「ISO化はこれからのOpenUSD」という違いを押さえておくと、第7章の内容が理解しやすくなります。

測って作る — Kinect・LiDAR・フォトグラメトリ（2010〜2020）

ここまでの歴史では、3Dモデルは基本的に人が手で作るものでした。 ツールが良くなっても、モデラーが頂点を一つずつ整える工数は大きく減りません。 2010年代のボトルネックは、この「手で作るコスト」です。

2010年11月、MicrosoftはXbox 360向けの深度センサKinectを北米で発売します。 ゲーム機の周辺機器として深度センサが一般家庭に届いたことで、研究者や個人が部屋や人の形を3Dで取り込む実験を始めました。 同じ頃、たくさんの写真から撮影位置と形を同時に推定するSfM（Structure from Motion）とフォトグラメトリも実用的になっていきます。

2020年3月にはiPad Proに、同年10月にはiPhone 12 Pro / Pro Maxに、AppleのLiDARスキャナが載りました。 iPhone 12 ProはApple製品として初のLiDAR搭載機ではなく、iPhoneとして初の搭載機です。 ポケットの中のスマートフォンで空間を測れるようになり、3Dスキャンは専門機材の仕事ではなくなりました。

ただし、測って作ったモデルには弱点がありました。 点群やメッシュとして形は取れても、ガラスや金属の映り込み、髪の毛や葉のような細かく半透明なものは、きれいな面として再構成しにくいのです。 この「見た目の忠実さ」が、次の時代の課題になります。

ニューラル3D — NeRFから3D Gaussian Splattingへ（2020〜2023）

2020年代の3つの手法は、「写真からどこまで忠実な3Dを作れるか」と「それをどこまで速く扱えるか」の綱引きとして読むと理解しやすくなります。

NeRF（2020）— 表面を仮定しない

2020年3月、Mildenhallらの論文「NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis」が公開されました（ECCV 2020）。 NeRFは、空間の位置(x, y, z)と見る方向を入力として、その点の密度と色を返すニューラルネットワーク（MLP）でシーンを表します。 表面を仮定せず、シーン全体を「半透明の霧」のように扱い、レイに沿って色を積み上げて画素を作ります。 この描画処理が微分可能なので、撮影位置のわかった写真さえあれば、写真との誤差を減らす方向にネットワークを学習できます。

映り込みや半透明を含む見た目の忠実さは、従来のフォトグラメトリを大きく超えました。 代償は速度です。原論文では、学習にNVIDIA V100 1枚で約1〜2日、描画には1フレームあたり約30秒かかりました。

Instant-NGP（2022）— 学習を数秒に

2022年1月、NVIDIAのMüllerらはInstant-NGPを発表します（SIGGRAPH 2022）。 大きなMLPに全部を覚えさせる代わりに、多解像度のハッシュテーブルに学習可能な特徴を置き、小さなMLPで読み出す方式です。 CUDAで処理を一体化したこともあり、学習は数秒単位、1080pの描画は数十ミリ秒にまで縮みました。 NeRFの「遅い」というボトルネックは、表現の工夫とGPU実装で大きく緩和されました。

3D Gaussian Splatting（2023）— ラスタライズに戻る

2023年、InriaのKerblらは3D Gaussian Splatting（3DGS）をSIGGRAPH 2023で発表します。 シーンを大量の3Dガウシアン（位置・向き・大きさ・不透明度・色を持つ楕円体のぼかし）で表し、それを画面に投影して前から順に重ねて描きます。 初期値には、フォトグラメトリの工程（SfM）で得られる疎な点群をそのまま使います。 画素ごとにネットワークへ問い合わせるNeRFとは逆に、物体を画面へ投げ込むラスタライズ型に戻したことで、1080pで30fps以上のリアルタイム描画を実現しました。

上の表は3DGS原論文のTable 1（Mip-NeRF360データセットの平均）からの抜粋です。 3DGSは「すべての指標でNeRF系を上回った」とよく紹介されますが、正確ではありません。 画質指標のPSNRでは、3DGS（27.21）はMip-NeRF360（27.69）にわずかに及びません。 SSIMとLPIPSでは3DGSが上回り、描画速度は0.06fpsに対して134fpsと、桁が3つ違います。 ほぼ同等の画質のまま桁違いに速くなった、というのが正確な評価です。

生成AI — 3Dデータ不足をどう乗り越えたか（2022〜2025）

NeRFと3DGSは、実在するものを撮影して3Dにする技術です。 存在しないものをテキストや1枚の画像から作るには、別の壁がありました。 画像生成AIは大量の画像で学習できますが、学習に使える質の良い3Dデータは画像に比べて圧倒的に少なかったのです。 3D生成AIの数年間は、このデータ不足をどう回避し、やがてどう正面から突破したかの歴史です。

graph TB
  A[DreamFusion 2022<br/>2D拡散で3Dを最適化] -->|1体ずつ最適化| B[Zero-1-to-3 2023<br/>別視点の画像を生成]
  B -->|視点間の矛盾| C[LRM 2023<br/>一発で3Dを予測]
  C -->|形と質感の限界| D[TRELLIS 2024<br/>3Dネイティブ潜在]
  D --> E[TRELLIS.2 2025<br/>PBR付き高解像度]
  D --> F[Hunyuan3D 2.0 2025<br/>形状とテクスチャの2段]

  style A fill:#475569,stroke:#334155,color:#fff
  style C fill:#3b82f6,stroke:#1d4ed8,color:#fff
  style D fill:#8b5cf6,stroke:#6d28d9,color:#fff
  style E fill:#8b5cf6,stroke:#6d28d9,color:#fff

DreamFusion（2022）— 2Dの知識を借りる

2022年9月、GoogleのPooleらはDreamFusionを発表します。 3Dの学習データを一切使わず、学習済みの2D画像拡散モデルを「採点役」にして、NeRFを最適化する手法です。 NeRFをランダムな視点から描画し、その画像が「プロンプトに合った自然な画像」に近づくよう少しずつ直していきます。 この損失の仕組みはSDS（Score Distillation Sampling）と呼ばれます。 データ不足は回避できましたが、1体ごとに長い最適化が必要で、正面の顔が複数の方向に現れてしまうような破綻も起きました。

Zero-1-to-3とLRM（2023）— 最適化をやめて一発で予測する

2023年3月、コロンビア大学とトヨタ・リサーチ・インスティテュートのチームによるZero-1-to-3は、1枚の画像とカメラの移動量を入力に、「別の角度から見た画像」を生成する拡散モデルを示しました。 複数視点の画像が手に入れば、そこから3Dを再構成できます。

同じ年の11月に発表されたLRM（Large Reconstruction Model）は、さらに踏み込みます。 約5億パラメータのTransformerを約100万個のオブジェクト（合成の3Dデータと実写の多視点データ）で学習し、1枚の画像から約5秒で3D表現（triplane NeRF）を直接予測しました。 1体ずつ最適化するのをやめ、大量のデータで学習したモデルに一度通すだけで済ませる、というLLMと同じ発想への転換です。

TRELLISとTRELLIS.2（2024〜2025）— 3Dの潜在空間で生成する

2024年12月、Microsoftなどの研究者がTRELLISを発表します。 物体の表面付近にだけ置いた疎なボクセルに特徴を持たせる「構造化潜在表現（SLAT）」を作り、その上で生成を行います。 ひとつの潜在表現から、放射輝度場、3D Gaussian、メッシュのいずれにも変換できるのが特徴で、最大20億パラメータのモデルがMITライセンスで公開されました。 2D画像を経由せず、3Dそのものの空間で生成する「3Dネイティブ」の方式が、ここから主流になっていきます。

後継のTRELLIS.2は、2025年11月末に重みが、12月に論文が公開されました。 40億パラメータで、O-Voxelと呼ぶ疎なボクセル表現により、開いた面や内部の空洞を含む形と、basecolor・roughness・metallic・opacityのPBRマテリアルを出力します。 NVIDIA H100で512³の解像度なら約3秒、1536³でも約60秒で生成でき、MITライセンスで公開されています（実行には24GB以上のVRAMが必要）。

同じ時期、TencentのHunyuan3D 2.0（2025年1月）は、形状を作るモデルとテクスチャを塗るモデルを分けた2段構成をオープン重みで公開しました。 ただし、主力の形状・テクスチャ生成モデルとしてオープン重みが出たのは2.1（2025年6月）が最後で、3.0以降はサービスとしての提供に移っています。 2.xのライセンスはEU・英国・韓国を適用地域から除外している点にも注意が必要です。 各モデルの比較とライセンスの注意点は第10章で扱います。

ボトルネックの連鎖を一枚にまとめる

ここまでの流れを、「何が足りなかったか」と「何が解いたか」の対応表にまとめます。

表を縦に読むと、1970年代までに決まった「三角形と頂点属性とZバッファ」という骨格が、その後のどの時代にもほとんど変わらずに使われ続けていることがわかります。 GPUはその骨格を速くし、PBRはその上の質感の記述を整理し、glTFはそれを配信できる形にまとめました。 NeRFは一度その骨格から離れましたが、3DGSはラスタライズへ戻り、3D生成AIも最終的にはメッシュやGLBを出力します。 新しい技術が出ても、最後は既存のパイプラインに流し込める形に落ち着くことが多い、という点はこの60年でかなり一貫しています。

まとめと次章へ

• 3DCGの源流は自動車会社の曲線設計で、de Casteljau（シトロエン）とBézier（ルノー）が独立に制御点による曲線に到達した
• 1970年代のユタ大学で、補間シェーディング、テクスチャマッピング、Zバッファ（Straßerと独立発見）、Utah teapotが揃い、ラスタライズの骨格ができた
• OpenGL、GPU、プログラマブルシェーダがその骨格をリアルタイムで動かし、PBR（Burley 2012）とRTX（2018）が見た目と光の扱いを物理に近づけた
• ファイル形式は交換用（FBX・COLLADA）から、配信用のglTFとシーン合成用のUSDへ役割が分かれた
• NeRF・Instant-NGP・3DGSが「撮って作る」を、DreamFusionからTRELLIS.2への流れが「生成して作る」を切り開いた

次の第3章では、この60年の歴史を経ても生き残っている骨格、つまりポリゴンメッシュそのものを分解します。 頂点バッファとインデックスバッファ、法線とワインディング順、UV展開など、ユタ大学の時代に生まれた考え方が、今のglTFファイルの中でどんなデータになっているのかを見ていきます。

主な参考資料

• Computer History Museum: The Utah Teapot
• Brent Burley, Physically Based Shading at Disney (2012)
• NeRF (arXiv 2003.08934)
• 3D Gaussian Splatting for Real-Time Radiance Field Rendering (arXiv 2308.04079)
• Khronos: glTF 2.0 Specification Release