圖/content
蘋果推出兩款開源AI模型,迎接新一輪競爭!
發布日期:7/23/2024
新聞視界時報 記者 李翌淳 整理報導
蘋果近期宣布推出兩款小規模開源人工智慧模型,分別擁有69億組和14億組參數。
這些模型隸屬於「DCLM」(DataComp for Language Models)發展項目,旨在與Mistral AI、Meta的Llama 3、Google的Gemma等競爭對手抗衡。
DCLM模型亮相
蘋果機器學習研究團隊的科學家Vaishaal Shankar在「X」平台上介紹了這兩款模型。
69億組參數版本基於OpenLM框架,使用2.5兆個詞元(tokens)進行訓練,支持前後文長度各2K組詞元。
在大規模多任務語言理解(MMLU, Massive Multitask Language Understanding)測試中,該模型取得了63.7%的成績。
超過了Mistral-7B-v0.3的62.7%,並接近Meta Llama3 8B的66.2%和Google Gemma的64.3%。
卓越性能與效率
除了性能表現,這些模型在運算效率上也有優勢。
69億組參數模型以更少的算力完成了相關測試,展示了蘋果在開源AI模型方面的強大實力。
與Toyota合作的14億組參數模型
14億組參數版本的模型由蘋果與Toyota研究團隊共同訓練,使用了2.6兆組詞元數量進行訓練。
在MMLU測試中,這個模型達到了41.9%的成績,超過了微軟Phi-1.5B的35.9%。
開源模型的新標杆
Vaishaal Shankar特別強調,「DCLM」模型是真正形式上的開源模型,這不僅提升了AI模型的透明度,也促進了研究社群的共同進步。
迎接AI發展新時代
蘋果的這一舉動不僅展示了其在AI領域的實力,也預示著未來更多創新和合作的可能性。
隨著這些開源模型的推出,蘋果將在AI技術的競爭中佔據更有利的位置,並為整個產業帶來更多的可能性和機遇。
讓我們期待這些模型在實際應用中的精彩表現,並見證AI技術的蓬勃發展!