用戶可以與 Gemini 分享手機(jī)屏幕上的內(nèi)容并詢問有關(guān)問題。

谷歌Gemini將推出新視覺功能,用戶可根據(jù)視頻或照片內(nèi)容實(shí)時(shí)提問

2025-03-04 10:31:59發(fā)布     來源:多知    作者:Penny  

  多知3月4日消息,谷歌正在為其人工智能助手Gemini添加新功能,讓用戶可以使用屏幕上的視頻和內(nèi)容實(shí)時(shí)向其提問,并實(shí)時(shí)獲得答案。

  在巴塞羅那舉行的 2025 年世界移動(dòng)通信大會 (MWC) 上,谷歌展示了一項(xiàng)新的“屏幕共享”功能,該功能可讓用戶與 Gemini 分享手機(jī)屏幕上的內(nèi)容并詢問有關(guān)問題。例如,該公司播放了一段視頻,視頻中一位用戶正在購買一條寬松牛仔褲,并詢問 Gemini 哪些其他衣服可以與之搭配。

WechatIMG9.jpg

  最新的功能預(yù)計(jì)最快3月的某個(gè)時(shí)間推出,該功能需要使用Gemini 應(yīng)用和攝像頭功能。新功能更新推出后,用戶會在 Android 版 Gemini 應(yīng)用中的 Ask Gemini 文本字段上方看到一個(gè)新的“ “Share screen with Live”按鈕,點(diǎn)擊后可以得到通知,用戶可以在此過程中與之交互。用戶可以向 Gemini 詢問屏幕上的內(nèi)容,并與 Google 的 AI 進(jìn)行對話。

  另一項(xiàng)重大更新將包括新的屏幕共享按鈕旁邊的新視頻快捷方式。點(diǎn)擊它后,用戶的相機(jī)將激活,并開始向 Gemini 進(jìn)行實(shí)時(shí)直播。這樣用戶就可以針對所看到的內(nèi)容提出問題,并與 Gemini AI 進(jìn)行來回對話。

  這些功能最初是作為 Project Astra 的一部分推出的,Project Astra 是谷歌 DeepMind 的多模式 AI 項(xiàng)目,正在慢慢進(jìn)入 Gemini 應(yīng)用程序。首先,這些功能將提供給谷歌每月 20 美元的 Gemini Advanced 計(jì)劃的訂閱者。

  實(shí)際上,谷歌在去年的 Google I/O 大會上就曾透露過視頻搜索功能。該功能可讓用戶拍攝視頻,并在拍攝過程中向 Gemini 提問。

  多知觀察到,這幾項(xiàng)有關(guān)分享屏幕并對話的功能意味著Gemini 長眼睛了,可以看到屏幕上的內(nèi)容,不僅將影響電商行業(yè),也將影響教育領(lǐng)域。比如,在錄播課中,用戶可以針對不懂的問題進(jìn)行提問,能得到AI的實(shí)時(shí)解答。此外,遇到不懂的問題,用戶拍照片后也可以提問,并得到解答。

  與此同時(shí),周一,谷歌還宣布,Google Gemini用戶現(xiàn)在可以直接從 iPhone 的鎖定屏幕訪問 AI 聊天機(jī)器人。用戶現(xiàn)在可以在解鎖手機(jī)之前通過在鎖定屏幕上添加 Gemini 小部件來調(diào)用Gemini Live,這是 Google 為其 AI 聊天機(jī)器人提供的相對實(shí)時(shí)的語音功能。