如果只是作為駕駛模擬器，可能很平庸，但對電子游戲畫面來說，這可能是一場偉大的革命 。

圖|真實視頻(左)和AI生成的渲染視頻(右)之間的對比。(圖源：英偉達)

最近人工智能的繁榮給圖像和視頻生成領域帶來了一系列令人印象深刻的成果。最新成果來自芯片制造商英偉達，該公司12月3日發布了一份研究報告，展示了AI生成的畫面如何與傳統的視頻游戲引擎相結合。這種混合圖形系統有望應用到視頻游戲，電影和虛擬現實等方面。

“這是使用深度學習渲染視頻內容的一種新方式，”英偉達應用深度學習副總裁Bryan Catanzaro表示。“顯然，英偉達非常關心圖形生成，并且我們正在思考如何利用人工智能徹底改變這一領域。”

英偉達的生成的圖片并沒有達到真實照片級的畫面，他們展示了在 AI 生成的圖像中發現的一些水印狀的模糊。并且這一工作也不是完全創新的。在一篇研究論文中，該公司的工程師解釋了他們如何基于一些現有方法，包括一個有影響力的開源系統pix2pix。此外英偉達的工作中還應用到了生成對抗網絡(GAN)。這些方法已經廣泛用于AI圖像生成。

但是英偉達還是在新產品中引入很多創新，這是世界上首個利用AI生成圖形畫面的視頻游戲演示。這個產品是一個簡單的駕駛模擬器，玩家可以在AI生成的幾個城市街區中穿行，但不能離開他們的汽車，也不能以其他方式與世界互動。并且這一演示僅使用一個GPU即可實現 ，對于這樣的前沿工作來說，這是一個顯著的成就。

英偉達的系統利用如下幾個步驟生成圖形畫面：首先，研究人員必須收集訓練數據，一般這些數據來自于自動駕駛研究的開源數據集。然后將這些視頻數據中的每一個鏡頭做分割，即每一幀畫面被分成不同類別的區域：如天空，汽車，樹木，道路，建筑物等。然后，用這些分割的數據訓練生成對抗網絡，用來生成這些對象的新畫面 。

接下來，工程師們使用傳統的游戲引擎創建了虛擬環境的基本拓撲結構。在該游戲演示中，使用的系統是虛幻引擎 4，這是一種流行的引擎，被用于諸如堡壘之夜，絕地求生，戰爭機器4等多種游戲中。工程師們使用此引擎作為框架，然后利用深度學習算法實時生成每個類別的圖形畫面，并將它們顯示到游戲引擎的模型上 。

“被創造的世界的結構還是用傳統方法制作的，”Catanzaro解釋說，“人工智能產生的唯一東西就是圖形畫面。”他補充說，演示本身很基礎，主要由一名工程師負責完成。“這主要是用來做概念驗證游戲，而不是開發了一個真正的游戲 。”

圖|不同AI模型生成的畫面對比。左上是經語義分割的圖像;右上是pix2pixHD生成的畫面;左下是 COVST 生成的畫面;右下是本文英偉達的系統生成的畫面。(圖源：英偉達)

為了創建這個系統，英偉達的工程師克服了許多挑戰，其中最大的挑戰是對象持久性(object permanence)。也就是說，如果深度學習算法以每秒 25 幀的速率為這一虛擬世界生成圖形，它們如何保持每一區域的對象看起來大致相同?Catanzaro這個問題曾導致這個系統的初始結果“看起來很痛苦”，因為圖形的顏色和紋理 “每幀都會改變 ”。

而解決的方案就是給系統一個短期記憶，讓系統生成的每個新幀的時候與之前的幀進行比較 。試圖去預測這些圖像之間運動的東西，并產生與屏幕上的內容一致的新幀。但是這些計算都很昂貴，因此游戲只能以每秒25幀的速度運行。

Catanzaro強調，這項技術還處于早期階段，想要讓人工智能生成的畫面出現在消費者游戲中可能還需要幾十年的時間。他將這種情況與光線追蹤的發展進行了比較，光線跟蹤是當前圖形渲染中的熱門技術，它可以實時生成單獨的光線，在虛擬環境中創建逼真的反射，陰影和不透明度。Catanzaro表示：“第一次交互式光線追蹤演示已經是很久很久以前的事了，但直到幾周前我們還沒有在游戲中成功應用光線跟蹤技術”。

不過，人工智能生成的畫面工作確實在機器人和自動駕駛汽車等研究領域有潛在的應用前景，可以用來生成虛擬訓練環境。例如，在大部分游戲中，結構仍使用傳統方法渲染，而AI用于創建其中的人或物體 。消費者可以使用智能手機自己捕捉素材，然后將這些數據上傳到云端，算法將通過學習將其插入到各種游戲中。比如說，將其用來創建更像真人玩家的頭像。

然而，這種技術帶來了一些明顯的問題。近年來，專家越來越擔心有些人會使用 AI 生成的足以亂真的假情報進行虛假宣傳 。研究人員展示，現在很容易制作一些虛假的政治家和名人的鏡頭，利用這些視頻散播一些的虛假消息，這將會是不法之徒一個很強大的武器。如果推進這項技術的發展并將這一研究成果發布，英偉達在一定程度上可以說是這一潛在負面問題的推動者。

不過，英偉達表示，這并不是一個新問題。“這一技術可以用于制作具有誤導性的內容嗎?是。但是任何渲染技術都可以用來做到這一點 ，”Catanzaro表示，英偉達正在與合作伙伴一起研究檢測AI贗品的方法，這種所謂的虛假信息的問題本質上是一個“信任問題”。就像之前許多的“信任問題”一樣，它必須通過一系列方法來解決，而不僅僅是通過技術 。

Catanzaro反問道：“電力公司創造的電力可以為制作假視頻的電腦供電，你覺得他們需不需要負責?”。

不過歸根結底，對于英偉達來說，推動人工智能生成的圖形有一個明顯的好處：它將有助于英偉達銷售更多的硬件。自從深度學習熱潮在2010年初興起以來，英偉達的股價飆升，很明顯英偉達的計算機芯片非常適合機器學習研究和開發 。

對于計算機圖形學的人工智能革命是否會有利于英偉達公司的收入，Catanzaro笑著說，至少不會帶來傷害。“任何能夠提高生成更逼真和更具吸引力的圖形的能力，都會對英偉達有利 。”

關鍵詞：