谷歌Gemini完勝ChatGPT? 專家一看展示影片揭蹊蹺
發布日期:12/8/2023
新聞視界時報 記者 黃柏翰 整理報導
谷歌(Google)6日推出自家的生成式AI模型「Gemini」,迎戰問世一年多的ChatGPT,然而發布才過一天,外界已經開始質疑谷歌展示的性能有「粉飾造假」之嫌。
Gemini分為Ultra、Pro、Nano三種版本,Ultra功能最完整,Pro與Nano則是為運算資源較有限的應用程式量身打造。Nano是專為谷歌新款Pixel手機等設備打造;開發人員與企業則可在12月13日起開始使用Pro。功能最強的Ultra得等到明年初正式上線。
彭博資訊專欄作家奧森(Parmy Olson)8日撰文指出,谷歌公布的性能表顯示Ultra(藍色)在多數標準基準測試中都擊敗了GPT-4,包括高中物理、專業法律問題和道德情境等項目,「但只贏幾個百分點」。換句話說,谷歌的頂級AI模型只是在OpenAI至少一年前的成果上取得些微進展,而Ultra仍尚未對外公開。
奧森說,Gemini的展示影片確實令人印象深刻,僅憑一些毫無規則的點就能推斷出展示人員在畫一隻螃蟹,顯示谷歌DeepMind實驗室多年來訓練的推理能力。但影片展示的其他一些功能就並不獨特,ChatGPT Plus也具有類似推理能力。
此外,谷歌也承認這段6分鐘影片經過剪輯,描述欄中寫道:「為了展示用途,本影片有減少延遲,縮短Gimini的輸出,以求精簡。」這代表它實際給出回應的時間比影片更長。奧森還透露,就連影片中展示人員與Gimini一搭一唱都是預先設好的。
{{AD}}
谷歌發言人回應彭博指出,那是透過「使用影片中的靜止圖幀,並給予文字提示」製作。也就是說,性能展示不是即時進行,是先讓Gimini看過靜態影像,透過人為編寫文本指令,要求Gemini預測來做出回應。這跟影片想呈現出的流暢人機互動有很大落差。
奧森認為,一年前谷歌這個「笨拙的搜索引擎巨擘」被OpenAI的ChatGPT打個措手不及,此後便一直希望趕上生成式AI浪潮。如今抓準OpenAI宮鬥剛落幕的機會,谷歌透過強力行銷想讓人們記住,他們擁有世上最強大的人工智慧研究團隊之一,藉此吸引OpenAI的企業客戶轉投陣營。
奧森表示,外界應對此保持謹慎,因為「谷歌仍在從後趕上」。麻省理工科技評論(Mit Technology Review)指出,發表Gemini對谷歌而言是跨出一大步,但對整體業界不算是。華盛頓大學轉攻線上搜尋的教授沙赫(Chirag Shah)將此比喻為每年蘋果iPhone發表會,「不太令人印象深刻,畢竟我們已看得太多」。