跳轉至
科技AI

李飛飛「世界實驗室」重磅推出 AI“造物主”:一張圖片生成 3D 世界“任意門”

目錄

李飛飛教授創立的Word Labs公司推出第一個重磅成果-世界生成:從單個圖像生成 3D 物理世界的人工智能系統,主打你可以進入任何圖像並以 3D 方式探索它,簡直就像時空傳送“任意門”,感覺太奇妙了,這是人工智能邁向空間智能的第一步

剛剛斯坦福大學的李飛飛教授宣佈,她帶領的World Labs團隊推出一個能從單張圖片生成 3D 世界的 AI 系統!不是簡單的 3D 建模,而是真正可以交互的 3D 物理場景!

3D場景在瀏覽器裏就能實時渲染,還能用WASD鍵和鼠標自由控制視角,就像玩遊戲一樣!簡直太酷炫了!

用户甚至可以體驗 3D 相機效果,例如模擬淺景深,即只有與攝像機保持一定距離的物體才能對焦

或“希區柯克式變焦”(dolly zoom)

可以去這裏網頁體驗 https://www.worldlabs.ai/blog

World Labs 要解決啥問題?

現在的生成式 AI 模型,最大的問題就是缺乏控制力和一致性。World Labs 的目標就是解決這個問題!他們的 AI 系統可以根據輸入的圖片,先估算 3D 幾何形狀,再填充場景中看不到的部分,還能根據 3D 幾何信息創造新的內容,讓場景更完整! 這將改變製作電影、遊戲、模擬器和其他物理世界數字表現形式的方式

不是預測像素而是預測3D場景

大多數生成模型預測像素, 而預測三維場景則有很多好處:

持久現實:世界一旦生成,就會一直存在。即使你把視線移開,再回來時,場景也不會改不會像某些 AI 模型那樣,換個角度就“變臉”

實時控制:生成場景後,您可以實時在場景中移動。你可以停留在花朵的細節上,或者從角落裏偷看,看看裏面有什麼

正確的幾何形狀:生成的世界遵循 3D 幾何的基本物理規則。它們具有實體感和深度感,與某些人工智能生成的視頻的夢幻性質形成鮮明對比

可視化方式:World Labs 的系統生成 3D 場景方式是一個稱為深度圖 (depth map)的東西,其中每個像素的顏色代表其到相機的距離

交互性:可以修改場景的光照、外觀、幾何形狀

還可以製作特效,使場景被動地動畫化

走進世界名畫

世界生成可以讓你以全新的方式體驗標誌性的藝術作品。比如 梵高(van Gogh)、霍珀(Hopper)、修拉(Seurat)和康定斯基(Kandinsky),可以wordlab網頁體驗

與其他 AI 工具無縫銜接!

World Labs 的 3D 場景生成技術,可以和其他 AI 工具配合使用,讓創作者們的工作流程更加高效!

例如,可以通過先使用文本生成圖像模型生成一幅圖像來從文本創建世界。不同的模型有各自的風格,worldlab技術可以繼承這些風格

這裏用四個流行的text2image模型 FLUX, Midjourney, Ideogram, DALL-E,採用相同的提示可以生成同一場景的四個變體

目前wordlab已經讓一些創作者提前瞭解了這種技術,開始嘗試 3D 原生生成 AI 工作流程帶來的可能性

未來展望

英偉達JIM FAN 評價:

生成式 AI 正在創造越來越高維度的人類體驗快照

Stable Diffusion 是一個二維快照

OpenAI Sora 是一個二維加時間維度的快照

現在,World Labs 是一個三維、完全沉浸式的快照

總體來看World Labs 的 3D 世界生成技術,絕對是 AI 領域的一項重大突破!它將為遊戲、電影、藝術等領域帶來無限可能!

李飛飛教授表示,這只是 3D 生成式 AI 的一個開始!他們正在努力將這項技術儘快送到用户手中!

waitlist註冊地址:
http://worldlabs.ai/waitlist
或者直接聯繫他們:hello@worldlabs.ai

參考:

https://www.worldlabs.ai/blog

最新