稍早微軟揭露新一代 Copilot + PC 時,已經公布不少全新搭載的 AI 功能,像是 Recall、Cocreator 圖片生成、Live Caption 即時字幕翻譯等,事實上還不只這些。微軟 AI 主管還在 X(前身 Twitter)上分享一部 Copilot 給出 Minecraft 遊戲攻略影片,未來 Copliot 能夠看到用戶桌面畫面,然後根據用戶提問,給予適時的建議。
AI 也能幫忙攻略遊戲!微軟展示 Copilot 將能看到你正在操作的畫面,並跟你對談和給予建議操作
微軟 AI 執行長 Mustafa Suleyman 在 X 上分享這部影片,內容寫到:
我們正在提升 Copilot 到新的高度。🚀
Copilot 將具備視覺、聽覺、語言能力,並能即時提供幫助。
觀看這段演示,你會明白我的意思。很快,你的 AI 夥伴將會在你身邊共同生活,不管是陪你玩 Minecraft 還是幫助你應對人生中的各種挑戰。
We are taking Copilot to the next level. 🚀
Copilot will see, hear, speak and help in real time.
Watch this demo to see what I mean. Soon your AI companion will start to live life alongside you, whether playing Minecraft or helping you navigate life’s most difficult challenges.… pic.twitter.com/ij6p3CgeYG
— Mustafa Suleyman (@mustafasuleyman) May 20, 2024
從影片中可以看到,Copilot 聊天框多了一個分享螢幕的功能圖示,點下去之後,Copilot 就能看到電腦當前的畫面(應該是全螢幕都能看到),接著用戶就能跟 Copilot 聊天並提問螢幕中碰到的困難,像是影片中演示的一樣,Copilot 看出他正在玩 Minecraft。
接著他開始詢問想在 Minecraft 做到的事情,Copilot 就給予建議和攻略方法,而且是一步步教學那種,看起來真的挺不錯。
不過影片一開始有一個蠻有趣的狀況,他跟 Copilot 問好,結果 Copilot 沒有回這句,而是回答他當前畫面在幹嘛。
有印象的讀者應該也猜到,這十之八九是透過 GPT-4o 模型實現,先前 OpenAI ChatGPT 發表會上也展示過,不過內容不一樣,OpenAI 是展示解決畫面中程式碼的問題,而且對談過程感覺比微軟的聰明、也更有人性:
隨著微軟分享這部影片也讓人聯想,搞不好這就是為什麼,OpenAI 這次 ChatGPT 只有推出 Mac 桌面版,沒有 Windows 版的原因,有可能要等到微軟推出 Copilot 這項新功能後,才有機會看到 ChatGPT 官方 Windows 桌面版。
AI 多了即時影片辨識能力後,未來性真的無窮,以後電腦、軟體、甚至手機碰到任何問題,就算是完全不懂科技的人,也只需要問一下 AI 就能獲得解答,不用再花時間找答案、送修。