亞馬遜AWS推出Amazon SageMaker JumpStart平台上的Meta Llama 3語言模型

亞馬遜AWS宣布了一項重要消息：Amazon SageMaker JumpStart現已提供Meta Llama 3大型語言模型（LLM），使客戶能夠輕鬆進行部署和推論。

透過Amazon SageMaker JumpStart，客戶可以輕鬆地部署和運行Llama 3模型，無論是8B還是70B參數模型，且兩款模型的上下文長度均達到8k，可廣泛支援推論、程式碼生成和指令跟隨等應用。

AWS的客戶現在可以在美東（北維吉尼亞州）、美東（俄亥俄州）、美西（奧勒岡州）、歐洲（愛爾蘭）和亞太（東京）等區域輕鬆部署Llama 3模型。

他們可以透過點擊或使用SageMaker Python SDK進行部署，並利用SageMaker Pipelines、SageMaker Debugger或容器日誌等功能來提升模型的效能，並實施MLOps控制。

此外，透過這種方式部署的模型始終處於AWS的安全環境下，由客戶的VPC（Virtual Private Cloud）控制，以確保資料的安全性。

亞馬遜AWS透露，Llama 3採用了僅含解碼器的Transformer架構，並搭配高達128k規模的新型分詞器，從而極大提升了模型的效能。

此外，Meta改進的訓練後處理常式大幅降低了誤拒率，進而提高了模型回應的一致性和多樣性。

值得一提的是，Llama 3的性能甚至在某些測試集項目中超越了Llama 2，即使是在Llama 3的8B參數模型也能勝過Llama 2的70B參數模型。

這項新發展將為客戶提供更多靈活性和效能，並進一步加強AWS在人工智慧領域的領先地位。