Created on
Updated on
Filmmaking in the Age of AI(34-40): Section Conclusion

Preface: 英文写累了。
早在 ILM 时代,导演们就开始用粗糙的 CG 动画来规划镜头,这是 virtual production 的思维前身。Peter Jackson 拍 LOTR 时大规模使用 previs,《阿凡达》更是把 previs 推到了一个新高度。Cameron 在片场戴着一个摄像头,对着动捕演员"拍摄",实时在监视器上看到的是 CG 角色在虚拟环境里的画面。正如前面介绍,这套系统叫做 virtual camera,是 virtual production 的直接祖先。 Unreal Engine 和 Unity 原本是游戏工具,但它们的实时渲染能力让影视行业开始注意。2010 年代中期,Epic Games 开始主动向影视行业推销 Unreal。关键卖点是:你不需要等渲染农场跑一夜,你现在就能看到接近最终质量的画面。关键词是,接近。
影视行业真正开始注意 Unreal,有一个具体节点:2013 年 Epic 发布了一个叫 "Elemental" 的实时渲染 demo,之后陆续有更多面向影视的技术展示。但更关键的是两个产品决策——Lumen(全局光照)和 Nanite(几何细节系统)在 UE5 里落地,让实时画面的光照质量第一次真正接近离线渲染的水准。Epic 同期做了一件更直接的事:他们开发了 nDisplay 插件,这是专门为 LED volume 多屏同步渲染设计的系统,Unreal 从游戏引擎变成了片场基础设施。
LED 墙本身不是新技术。早期 LED 屏幕用于片场的尝试——比如 《First Man》(2018) 里的飞船座舱场景——解决的是一个封闭小空间的问题:把演员围起来,给他们一个能反光的环境,让摄影机不用出戏。这是可行的,因为镜头基本不移动,视差不是问题。当摄影机横移时,真实世界的近处物体和远处背景之间会产生相对位移——这是视差,是大脑判断空间深度的核心线索之一。静态图像不会做这个。所以摄影机一动,背景就穿帮,因为它的透视没有随着摄影机位置更新。
ILM 的解决方案是 frustum rendering:把摄影机的实时位置和镜头参数(焦距、光圈、畸变)输入 Unreal Engine,让引擎只渲染这台摄影机此刻"能看到"的那个锥形视野——frustum——并实时更新透视。摄影机向左移动,Pandora 的树向右漂移,角度完全正确,因为这是真正的三维场景被实时重新渲染,不是一张贴图在移动。实现这个需要解决几个实际问题:
摄影机追踪。必须知道摄影机在空间中的精确位置,每帧更新,延迟要低于人眼能感知的阈值(大约 10 毫秒以内)。Mandalorian 用的追踪系统是 Mo-Sys StarTracker——一套激光追踪系统,精度达到亚毫米级。这个数据实时送进 Unreal,驱动 frustum 更新。
LED 面板的刷新率。摄影机传感器和 LED 屏幕的刷新频率如果不同步,会在画面上产生滚动条纹——这叫 banding。StageCraft 的 LED 面板必须在特定刷新率下运行,与摄影机快门同步,否则最终画面不能用。
色彩校准。LED 面板发出的光必须被摄影机记录成正确的色彩,这需要对面板做精细的色彩校准,让它的响应曲线匹配摄影机传感器的色彩空间。否则演员身上会有屏幕的色溢,数字环境和真实演员的色温会对不上。
The Volume 的物理结构:Mandalorian 用的 StageCraft 舞台是一个直径约 20 米的半圆形弧形 LED 墙加顶部天花板 LED 面板,总面积约 1400 平方英尺的屏幕面积。演员站在里面,四周和上方都是实时渲染的 Pandora 或者星球大战的沙漠,光线从屏幕真实地打在演员身上。这是关键——环境光是真实的物理光,不是合成出来的,所以演员身上的阴影、反光、肤色温度都是真实反应,不需要灯光师去手动模拟一个不存在的环境的打光。
LED 体积屏(The Volume)是用巨型 LED 墙包裹片场,将实时渲染的背景投射在上面,演员站在里面,摄影机拍到的就是真实的光线反射和透视关系。这个技术的早期实验来自 Lux Machina 等公司,但让它进入大众视野的是 《曼达洛人》(The Mandalorian,2019)。ILM 专门为这个项目建立了 StageCraft 系统,这是 virtual production 历史上最重要的单一节点。Disney+ 在 2019 年 11 月上线,《曼达洛人》是首发内容。Disney 需要在极短的时间内交付高质量的 Star Wars 内容,同时不能用传统外景拍摄——沙漠、岩石星球、冰雪环境,这些要么成本极高,要么根本不存在。Virtual production 不是备选方案,是唯一可行的方案。Netflix 同期在全球范围内疯狂制作内容,整个行业都在压缩周期。《曼达洛人》如果要在真实的沙漠拍摄,面临的问题包括:天气、光线变化、获取许可、交通后勤、演员和剧组的出行成本。在 LED volume 里,太阳永远在正确的位置,天气永远是剧本要求的样子,一个布景可以是五个不同的星球。2020 年疫情打断了所有外景拍摄。能在完全封闭、可控的室内完成的制作,成了整个行业的刚需。Virtual production 的优势在疫情期间被放大到最大:不需要出行,不需要依赖境外取景地,剧组规模可以严格控制。这些叠加在 2019-2021 这个窗口里,解释了为什么 virtual production 不是慢慢渗透行业的,而是在极短的时间内变成了共识。
🫶🏼