点击星标，获取火星和相关行业最新动态。
虚拟拍摄在影视制作中的应用，已经比较常见了，但你见过生成式AI+虚拟拍摄是什么样子吗？最近，在铺天盖地的AI新闻中，我发现了，这是我目前所能搜索到的、在影视工业领域比较像模像样的生成式AI工具。
它工作起来可以是这个样子的：
片场的创作者可以挥挥手，告诉提示操作员：“带我去冰岛，但要在火星上，还要有一堆金字塔。”——像这种近似荒诞的要求，提示操作员用一段（也可以是两段），生成你想要的场景，将其投屏到配套的2.5D背景上，用来进行拍摄。
演示：Alpha Walk
由 Lee和XR 公司共同推出，是一款面向电影制作的一体化工具，去年年底推出1.0版本并投入小规模测试。据说，这也是第一个为电影、电视制作而生的图像编辑式生成AI系统。可以生成、分割、修复、编辑和升级他们希望在片场看到的任何景观。
AI为虚拟制作带来了什么？
生成式AI工具，给影视工业带来了新的工作流。我们可以称之为升级版的“虚拟制作”。
“这种在带有弧形LED舞台的房间内，通过实时技术制作和录制影视视觉效果的方法被称为虚拟制作。我们也可以称其为新绿屏。” Lee的联合创始人、AI总监Pinar 说，“在虚拟制作之前的时代，像一些难以在拍摄现场完全搭建的布景（比如一个完整的火星基地），演员必须在绿幕前拍摄，火星基地由工作人员在电脑上完成制作，并进行后期合成；而现在，一些电影场景是可以在拍摄前被创建，创建这个场景可以是概念艺术家，也可以是懂的提示操作人员。”
使用演示视频
对于影视制作来说，的出现，可以让部分2D景观在现场被实时构建。这对劳动密集型3D环境搭建的团队来说，是一种快速且经济高效的替代方案，并且与原有团队可以配合得很好。
XR 正在使用
是如何工作的？
的工作不会以图像的创建结束，在该工具启用之后还有很多工作要做。要在虚幻引擎中生成图像并最终将其作为分层的、准备好拍摄的2.5D资产，需要下面这些步骤：
1.图像生成和图像上传： 使用 作为其图像生成引擎。该工具使艺术家能够从任何提示生成4K、8K甚至16K分辨率的图像。要将导演的想法变成电影般的场景，需要有制作电影环境经验的敏捷艺术家。 Lee将在该工具的早期阶段提供提示艺术家。用户还可以将已经制作好的2D资产上传到该工具。
2.分割：必须将2D图像分割成多个部分才能成为2.5D。 Lee团队使用景观、城市、物体、人物和其他事物的开源数据集来教如何将生成的图像分割成图层。该工具建议剪切图像的不同部分，然后用户将这些部分重新组合成图层。
3.修复：当一个图像被分割（剪切）成不同的部分时，当图层在场景中被分割时，它自然会产生孔洞（空白）。艺术家可以通过重建图像的缺失部分来填补这些空白，或者在稳定扩散修复的帮助下生成全新的作品。
4.编辑：在的第一个版本中，一个紧凑的图像编辑工具可以让用户摆脱分段图层上不需要的伪影，或者用程序制作的创意内容填充空白。在下一个版本的 中，将有一个基于网络的图像编辑器，它可以完成可以做的所有基本事情，比如分层、蒙版、修复和绿屏抠除等等。这些功能使艺术家能够使成为生成2.5D场景的第一步，也是唯一一步。
5.图像生成和上传：对于体积阶段，允许将生成的板和上传的图像放大到高达16K的分辨率。
6.导出到虚幻引擎：制版完成后，用户可以使用内置工具立即将他们的作品导入虚幻引擎。只需点击一下按钮，准备在虚拟制作舞台上拍摄吧！
图像也可以是动画的。例如，大图像有一些云在天空中移动也是可以做出来的。据讲述：这些功能远远超出了我们自己的VFX技术深度，但生成的图像在大屏幕上看起来非常逼真。与后期添加背景图像的绿幕相比，体积上的生成图像更容易让演员处理，他们可以更容易看到他们所处的环境。
关乎电影的未来
这就提出了一个问题：演员本身最终是否会被动画生成图像所取代？既然有了AI生成的移动图像，那理论上屏幕前的人类演员也是可以被AI生成的，事实上已经有很多人这样讨论过了。
给这种可能性加了一个期限：十年。但“考虑到生成式人工智能的快速发展，这一天可能来得会更早一些。”
旨在成为3D CG资产的合作伙伴。在制作过程中，并非每个场景都需要 CGI团队制作；对于镜头之间的15到20个过渡场景，可以在提词操作人员的处理下自动生成，来减轻艺术家团队的工作量。
曾荣获奥斯卡金像奖的视觉特效艺术家约翰内斯·萨姆 ( Saam)发表了他的使用体验：“是迈向真正实时和AI驱动的现场制作解决方案的第一步。它将实时生成图像的能力，巧妙地跟2.5D投影相结合，我现在已经迫不及待地想更多去使用它了。”
XR 正在使用
目前，只有少数制作阶段和创意内容开发人员能够使用。由于该工具需要“提示”来制作图像，因此需要具有大约50,000次以上环境制作经验、会正确提示的专业AI技术人员来使用它，以确保导演的愿景可以在片场被正确执行。
Lee的团队在制作的同时，也在培训人们成为更加专业的提示专家，以便他们可以与一起提供更好的服务。
试用申请邮箱：
官网：
本文翻译自外网，原文链接：
最后，在火星虚幻引擎视效表现大师班中，有虚拟拍摄内容制作的课程，如果你对虚拟制片、虚幻场景搭建、舞台美术及相关程序开发感兴趣，可点击“阅读原文”找火星老师做更详细的了解哦。
