一臺iPhone就能拍大片，攝影和建模師又要被卷了。互聯(lián)網+
導讀
最近國外有個博主發(fā)了一段非常酷炫的視頻。
最近國外有個博主發(fā)了一段非常酷炫的視頻。
最近國外有個博主發(fā)了一段非常酷炫的視頻。
視頻里，攝影鏡頭仿佛搭上了筋斗云，以各種不可思議的角度在車內車外飛來飛去，汽車周邊的場景就像進入了多元宇宙一般瞬間變換。。。
短短幾十秒的視頻，靠著這瘋狂的運鏡，還有流暢的場景變換，竟收獲了超過40萬的播放量。
而在評論區(qū)，圍觀群眾除了對這個視頻發(fā)出贊揚之外，還有一些人對這個制作過程產生了好奇，開始猜測這個視頻到底是怎么做出來的。
于是我拿著這個視頻去找了咱們公司的攝影師，問他能不能也給咱也拍一個這類視頻？
結果，攝影師看了這個視頻，直呼不可能！
說這個肯定是用了什么特效去做的，要么做了什么剪輯，你要是能在現(xiàn)實里直接拍出這種效果，他當場辭職！這個攝影師干不了了。
確實啊，咱們再回頭看看這個博主的推文，有提到這個視頻是采用一個叫做 NeRF 的最新技術制作的，并在文末@了一個叫 “ LumalabsAI ” 的賬號。
好家伙，這名字，看來又是 AI 整的活！
于是咱順著這個“LumalabsAI”的賬號，摸到了它的官網。
首先映入眼簾的，就是它們的宣傳視頻，有一說一，這個宣傳視頻里的運鏡，確實是有點那味了。
而所有的這些效果，都是由 LumalabsAI 開發(fā)的一個叫做 “ LumaAI ” 的 APP 來做的。
在這款應用的簡介中，它是這么介紹自己的：
“Luma 是一種通過 AI 使用 iPhone 創(chuàng)建令人難以置信的逼真 3D 的新方法。無論您身在何處，都可以輕松捕捉產品、物體、風景和場景。從您的捕捉中創(chuàng)建電影產品視頻、TikTok 和現(xiàn)實中不可能的相機移動，或者只是重溫那一刻。無需激光雷達或花哨的捕捉設備，您只需要一部 iPhone 11 或更新機型。”
簡單來說，就是只要你有一部蘋果 11 以上型號的手機，那你只需要給場景周圍拍一些照片，就能利用這個 APP 生成拍照現(xiàn)場的 3D 場景。
看到這么簡單，世超也有點心動了，于是也立馬下載了一個來試試。
打開應用，對著箱子上的橘子一頓卡卡亂拍，不出幾分鐘，就生成了一個這樣的場景。
整個場景雖然在遠處缺少照片信息的地方效果不大行，但是近處對焦部分，整個橘子和箱子的細節(jié)還是非常還原的。
在它的官網中還有很多用戶上傳的場景演示。
比如下面這個銅象畫面，如果不告訴你，很難發(fā)現(xiàn)這居然是一個 3D 場景。
因為它不僅完美的還原了小象的細節(jié)，周圍的光照，陰影，甚至連透明玻璃的效果，都給完整復現(xiàn)了。
LumaAI 除了能還原銅像這種小場景外，它甚至還能給你還原使用航拍機拍攝的超大范圍場景。
比如就有用戶使用航拍機拍攝了一個小鎮(zhèn)的全景，然后使用 LumaAI 將這整個小鎮(zhèn) 3D 還原，看看這效果，就突出一個“真”。
使用 LumaAI 創(chuàng)建出這些 3D 場景后，接下來只需要把場景置入 3D 軟件，然后添加一個虛擬攝像機，剩下的效果呈現(xiàn)，就看這些創(chuàng)作者的創(chuàng)意啦。
就像這個油管博主，他為了滿足自己變大的愛好，生成了一個場景，然后把自己身體放大，做出了一個類似巨人入侵的特效。
除了重建 3D 場景外，LumaAI 還能對單個 3D 模型重建，比如通過拍照直接生成高達模型，再放到虛幻引擎里，整個場景瞬間就有了科技感。
這種建模方式相比傳統(tǒng)一點一線的建模方式，那可省了不少功夫。
其實像 LumaAI 這種做 3D 重建的軟件也不少，在 AppStore 里的 Polycam 就能通過蘋果自帶的雷達掃描，來估算距離和點云信息，從而重建出一個 3D 場景。
但 LumaAI 不僅不依賴雷達掃描，效果還這么好。這其中離不開這么一個技術，也就是開頭那個博主提到的 NeRF（神經網絡輻射場）。
這個 NeRF 最早發(fā)布于 2020 年的 ECCV 會議，不但囊獲了當年的最佳論文，還成功的以一己之力，開啟了計算機視覺的另一個研究方向。
NeRF 的基本原理就是通過一大堆帶有位置信息的 2D 照片，來訓練得出一個神經輻射場模型。
通過這個模型，就能得出任意視角下的清晰照片，這也就意味著，你能通過這個訓練好的模型，重建出 3D 場景了。
而且這個論文自發(fā)布后，以 NeRF 為基礎的各種分支方向的技術也如雨后春筍般冒了出來。
華盛頓大學和谷歌就聯(lián)合提出了 HumanNeRF，主要用于人體 3D 重建，
還有用于場景風格遷移的 StylizedNeRF，通過拍攝照片，生成 3D 圖，然后再對整個場景風格進行轉換，變成自己想要的風格。
還有東京大學提出的動畫方向的 NeRF，這個項目就不單單是生成一個靜態(tài)的場景了，它甚至可以把運動的角色和物體都給你生成出來。
像這類的分支研究，已經多到一篇文章寫不下來了，世超就不再這里一一展示了。
不過世超是巴不得 NeRF 這個方向的研究越來越卷，畢竟只需要通過照片就能生成一整個復雜的 3D 場景，這對于生產力解放的幫助可不要太大。
去年 Epic 收購的公司 Capturingreality，它們的產品主打的就是通過照片來生成高精度模型。
這種只需要一部手機，就能把現(xiàn)實搬進虛擬世界的技術，在未來，不僅僅是制作視頻的自由度更高。
游戲行業(yè)，工業(yè)場景，甚至是在線教育，都可能迎來翻天覆地的變化。
到時候，虛擬和現(xiàn)實，可就真的傻傻分不清楚了。
撰文：晚上吃早飯 編輯：江江&面線封面：萱萱
圖片、資料來源：
Why THIS is the Future of Imagery (and Nobody Knows it Yet)
Lumalabs.AI
capturingreality.com
StylizedNeRF: Consistent 3D Scene Stylization as Stylized NeRF via 2D-3D Mutual Learning
www.matthewtancik.com
于是我拿著這個視頻去找了咱們公司的攝影師，問他能不能也給咱也拍一個這類視頻？
結果，攝影師看了這個視頻，直呼不可能！
說這個肯定是用了什么特效去做的，要么做了什么剪輯，你要是能在現(xiàn)實里直接拍出這種效果，他當場辭職！這個攝影師干不了了。
確實啊，咱們再回頭看看這個博主的推文，有提到這個視頻是采用一個叫做 NeRF 的最新技術制作的，并在文末@了一個叫 “ LumalabsAI ” 的賬號。
好家伙，這名字，看來又是 AI 整的活！
于是咱順著這個“LumalabsAI”的賬號，摸到了它的官網。
首先映入眼簾的，就是它們的宣傳視頻，有一說一，這個宣傳視頻里的運鏡，確實是有點那味了。
而所有的這些效果，都是由 LumalabsAI 開發(fā)的一個叫做 “ LumaAI ” 的 APP 來做的。
在這款應用的簡介中，它是這么介紹自己的：
“Luma 是一種通過 AI 使用 iPhone 創(chuàng)建令人難以置信的逼真 3D 的新方法。無論您身在何處，都可以輕松捕捉產品、物體、風景和場景。從您的捕捉中創(chuàng)建電影產品視頻、TikTok 和現(xiàn)實中不可能的相機移動，或者只是重溫那一刻。無需激光雷達或花哨的捕捉設備，您只需要一部 iPhone 11 或更新機型。”
簡單來說，就是只要你有一部蘋果 11 以上型號的手機，那你只需要給場景周圍拍一些照片，就能利用這個 APP 生成拍照現(xiàn)場的 3D 場景。
看到這么簡單，世超也有點心動了，于是也立馬下載了一個來試試。
打開應用，對著箱子上的橘子一頓卡卡亂拍，不出幾分鐘，就生成了一個這樣的場景。
整個場景雖然在遠處缺少照片信息的地方效果不大行，但是近處對焦部分，整個橘子和箱子的細節(jié)還是非常還原的。
在它的官網中還有很多用戶上傳的場景演示。
比如下面這個銅象畫面，如果不告訴你，很難發(fā)現(xiàn)這居然是一個 3D 場景。
因為它不僅完美的還原了小象的細節(jié)，周圍的光照，陰影，甚至連透明玻璃的效果，都給完整復現(xiàn)了。
LumaAI 除了能還原銅像這種小場景外，它甚至還能給你還原使用航拍機拍攝的超大范圍場景。
比如就有用戶使用航拍機拍攝了一個小鎮(zhèn)的全景，然后使用 LumaAI 將這整個小鎮(zhèn) 3D 還原，看看這效果，就突出一個“真”。
使用 LumaAI 創(chuàng)建出這些 3D 場景后，接下來只需要把場景置入 3D 軟件，然后添加一個虛擬攝像機，剩下的效果呈現(xiàn)，就看這些創(chuàng)作者的創(chuàng)意啦。
就像這個油管博主，他為了滿足自己變大的愛好，生成了一個場景，然后把自己身體放大，做出了一個類似巨人入侵的特效。
除了重建 3D 場景外，LumaAI 還能對單個 3D 模型重建，比如通過拍照直接生成高達模型，再放到虛幻引擎里，整個場景瞬間就有了科技感。
這種建模方式相比傳統(tǒng)一點一線的建模方式，那可省了不少功夫。
其實像 LumaAI 這種做 3D 重建的軟件也不少，在 AppStore 里的 Polycam 就能通過蘋果自帶的雷達掃描，來估算距離和點云信息，從而重建出一個 3D 場景。
但 LumaAI 不僅不依賴雷達掃描，效果還這么好。這其中離不開這么一個技術，也就是開頭那個博主提到的 NeRF（神經網絡輻射場）。
這個 NeRF 最早發(fā)布于 2020 年的 ECCV 會議，不但囊獲了當年的最佳論文，還成功的以一己之力，開啟了計算機視覺的另一個研究方向。
NeRF 的基本原理就是通過一大堆帶有位置信息的 2D 照片，來訓練得出一個神經輻射場模型。
通過這個模型，就能得出任意視角下的清晰照片，這也就意味著，你能通過這個訓練好的模型，重建出 3D 場景了。
而且這個論文自發(fā)布后，以 NeRF 為基礎的各種分支方向的技術也如雨后春筍般冒了出來。
華盛頓大學和谷歌就聯(lián)合提出了 HumanNeRF，主要用于人體 3D 重建，
還有用于場景風格遷移的 StylizedNeRF，通過拍攝照片，生成 3D 圖，然后再對整個場景風格進行轉換，變成自己想要的風格。
還有東京大學提出的動畫方向的 NeRF，這個項目就不單單是生成一個靜態(tài)的場景了，它甚至可以把運動的角色和物體都給你生成出來。
像這類的分支研究，已經多到一篇文章寫不下來了，世超就不再這里一一展示了。
不過世超是巴不得 NeRF 這個方向的研究越來越卷，畢竟只需要通過照片就能生成一整個復雜的 3D 場景，這對于生產力解放的幫助可不要太大。
去年 Epic 收購的公司 Capturingreality，它們的產品主打的就是通過照片來生成高精度模型。
這種只需要一部手機，就能把現(xiàn)實搬進虛擬世界的技術，在未來，不僅僅是制作視頻的自由度更高。
游戲行業(yè)，工業(yè)場景，甚至是在線教育，都可能迎來翻天覆地的變化。
到時候，虛擬和現(xiàn)實，可就真的傻傻分不清楚了。
撰文：晚上吃早飯 編輯：江江&面線封面：萱萱
圖片、資料來源：
Why THIS is the Future of Imagery (and Nobody Knows it Yet)
Lumalabs.AI
capturingreality.com
StylizedNeRF: Consistent 3D Scene Stylization as Stylized NeRF via 2D-3D Mutual Learning
www.matthewtancik.com
1.TMT觀察網遵循行業(yè)規(guī)范，任何轉載的稿件都會明確標注作者和來源；
2.TMT觀察網的原創(chuàng)文章，請轉載時務必注明文章作者和"來源：TMT觀察網"，不尊重原創(chuàng)的行為TMT觀察網或將追究責任；
3.作者投稿可能會經TMT觀察網編輯修改或補充。
