搶跑OpenAI！谷歌Gemini 2.0震撼登場：全面轉向Agent，多模態輸入輸出，免費隨便玩

重點功能：

更強性能： 速度更快，多模態、文本、代碼、視頻、空間理解和推理能力全面提升！新能力比如空間理解，視頻理解等可以通過Googele AI Studio 的Starter Apps來體驗。

例如1，Gemini 2.0對空間的理解，利用Spatial Understanding，上傳一張圖片，Gemini快速進行圖像中的物體檢測（2D和3D形式都可以）和標註，並生成結構化的數據（JSON格式）。它的設計直觀，用户可以通過簡單的交互操作快速獲得檢測結果。這種工具可能用於機器學習訓練數據準備、圖像分析或計算機視覺研究等場景。

例如2，Gemini 2.0地圖交互，利用Map explorer，show一下世界上最有意思的大城市，哈哈，看來來重慶是真的火啊！

全新輸出模態： 支持文本、音頻和圖像的集成響應，多語言原生音頻輸出，8 種高品質語音，多種語言和口音！原生圖像輸出，還能進行多輪編輯迭代直到生成滿意的圖像。

原生工具使用： Gemini 2.0 可以直接調用 Google 搜索、代碼執行等工具，還能通過函數調用使用自定義的第三方函數！

多模態實時 API： 支持實時音視頻流輸入，還能進行語音活動檢測，甚至可以集成多個工具完成複雜任務！現在通過Stream Realtime就可以體驗。

例如，把電腦屏幕交給Gemini 2.0接管， 它可以在你與模型實時交互的同時進行搜索和編碼。

基於Gemini 2.0的AI“代理”

谷歌正在積極探索 AI“代理”的應用，目標是打造能夠自主理解、規劃和執行任務的智能助手。他們已經推出了一系列Agent原型（目前僅供測試人員使用），展示了 AI 代理在不同領域的巨大潛力：

Jules，你的 AI 編程夥伴： 想象一下，你的團隊剛完成了一輪bug排查，一堆 bug 亟待修復。現在，你可以把 Python 和 JavaScript 的編碼任務交給 Jules。它與你的 GitHub 工作流無縫集成，可以異步處理 bug 修復和其他耗時的任務，讓你專注於核心開發工作。Jules 會創建全面的、多步驟的計劃來解決問題，高效地修改多個文件，甚至能準備 pull requests，直接將修復提交到 GitHub！更重要的是，Jules 賦予開發者更多自主權：你可以隨時查看 Jules 創建的計劃，提供反饋或要求調整，並輕鬆審查和合並 Jules 編寫的代碼。

Colab 數據科學代理，你的 AI 分析師： 繁瑣的數據分析Colab 數據科學代理幫你搞定！只需用自然語言描述你的分析目標，Colab 就能自動生成一個完整的 notebook，並在幾分鐘內提供洞察。所有分析都基於一個可運行的 Colab notebook，保證結果的可靠性和可重複性。這將極大地加速你的研究和數據分析進程。

Project Astra，你的萬能 AI 助手： Project Astra 致力於打造一個通用的 AI 助手，它能夠理解多模態信息，並在現實世界中幫助你完成各種任務。比如，你戴着支持 Astra 的眼鏡或者拿着手機，只需動動嘴，就能讓 AI 助手幫你安排日程、預訂餐廳、甚至控制家裏的智能設備！目前，Project Astra 正在 Android 手機上進行測試，並且即將在原型眼鏡上進行測試。

Project Mariner，重新定義人機交互： Project Mariner 旨在探索人機交互的未來，從瀏覽器開始。它是一個實驗性的 Chrome 擴展程序，可以讓 AI 代理在你的瀏覽器中執行各種任務，例如查找信息、填寫表格、甚至與網站進行交互。

遊戲和其他領域的 AI 代理： DeepMind 在遊戲 AI 領域積累了豐富的經驗，現在他們將 Gemini 2.0 應用於遊戲代理的開發。這些代理可以根據屏幕上的內容理解遊戲規則和挑戰，並提供實時建議。例如，一個 AI 夥伴陪你一起玩遊戲，還能提供專業的指導，遊戲體驗將提升到一個全新的層次！更牛的是，這些代理還能連接到 Google 搜索，獲取海量的遊戲知識，成為你真正的遊戲專家！目前，他們正與 Supercell 等遊戲開發商合作，在“部落衝突”和“卡通農場”等遊戲中測試這些代理。