近日,Meta公司發(fā)布了其最新研發(fā)成果——開源大模型Llama 3,共包含Llama 3 8B和Llama 3 70B兩種規(guī)格,參數(shù)量級分別為80億與700億,并表示這是目前同體量下性能最好的開源模型。相較于前代產(chǎn)品Llama 2,Llama 3在預(yù)訓(xùn)練數(shù)據(jù)上擴(kuò)大了整整7倍(達(dá)到15T tokens),并且在數(shù)據(jù)質(zhì)量與訓(xùn)練方式上也進(jìn)行了深度優(yōu)化,這無疑為開源大型語言模型(LLM)領(lǐng)域發(fā)展再次書寫了輝煌篇章。
為了方便廣大AI技術(shù)愛好者與從業(yè)者快速上手學(xué)習(xí)與使用大語言模型技術(shù),天翼云基于開源的Meta-Llama-3-8B-Instruct模型以及text-generation-webui框架,搭建了一鍵部署、開箱即用的云主機(jī)鏡像。同時(shí),天翼云CPU/GPU云主機(jī)近期即將上線Llama 3大模型學(xué)習(xí)機(jī),期望能夠成為幫助用戶打開大模型領(lǐng)域之門的第一把鑰匙,讓更多用戶從此了解大模型、學(xué)習(xí)使用大模型,并利用大模型創(chuàng)造更多可能。
天翼云彈性云主機(jī)具備快捷易用、配置豐富、專有網(wǎng)絡(luò)、安全穩(wěn)定、多種鏡像、高效管理和高性價(jià)比等優(yōu)勢,能夠?yàn)橛脩籼峁﹥?yōu)質(zhì)服務(wù)體驗(yàn)。云主機(jī)支持動態(tài)調(diào)整計(jì)算資源,提供多種實(shí)例規(guī)格和存儲類型,滿足用戶多元化業(yè)務(wù)需求;擁有靈活自定義的網(wǎng)絡(luò)空間,以及多重安全防護(hù),全面保障數(shù)據(jù)可靠性,助力業(yè)務(wù)批量快速部署。用戶可以通過多種管理方式和多維度監(jiān)控實(shí)現(xiàn)高效管理,并可根據(jù)需要靈活選擇計(jì)費(fèi)模式,享受專業(yè)運(yùn)營團(tuán)隊(duì)的7*24小時(shí)服務(wù)。此外,天翼云還提供多樣異構(gòu)芯片和計(jì)算模型,為用戶提供更優(yōu)算力選擇。
通過以下步驟,用戶即可基于天翼云主機(jī)快速搭建Llama 3的推理或微調(diào)環(huán)境:
(1)登錄天翼云主機(jī)控制臺 https://console.ctyun.cn/console/index/#/ecm/ecmList;
(2)創(chuàng)建云主機(jī),使用指定的規(guī)格與Llama 3鏡像,具體可參考部署文檔 https://www.ctyun.cn/document/10026730/10495072;
(3)從瀏覽器登錄到學(xué)習(xí)機(jī)頁面,使用Llama 3模型。
天翼云Llama 3大模型學(xué)習(xí)機(jī)在一鍵部署的基礎(chǔ)上還提供以下各類功能,戳官網(wǎng)還有更詳細(xì)的幫助文檔和教學(xué)視頻哦!
(1)模型加載:支持加載主流基于transformers框架的模型,只需將模型下載并放置到指定目錄下,無需其他操作,鏡像內(nèi)已預(yù)裝Llama 3模型;
(2)模型推理:支持使用大語言模型進(jìn)行多輪對話與文本生成,且支持多人同時(shí)使用;
(3)推理參數(shù)修改:支持修改大語言模型在推理時(shí)控制結(jié)果走向的temperature,top_k,top_p等參數(shù);
(4)模型微調(diào):支持基于基礎(chǔ)大模型和私有數(shù)據(jù),微調(diào)訓(xùn)練自己的LoRA小模型,使用小模型進(jìn)行推理。
訪問下方網(wǎng)址解鎖更多相關(guān)功能! https://www.ctyun.cn/document/10026730/10495063
通過天翼云大模型學(xué)習(xí)機(jī)即可實(shí)現(xiàn)Llama 3的絲滑應(yīng)用
除了目前已發(fā)布的兩種規(guī)格,Meta公司宣布一個(gè)參數(shù)量超過400B的巨量Llama 3也在訓(xùn)練中,并可能會在接下來的幾個(gè)月內(nèi)發(fā)布??梢灶A(yù)期,Llama 3-400B將會繼續(xù)推動大語言模型發(fā)展邁上新臺階。
在通用人工智能領(lǐng)域蓬勃發(fā)展的今天,天翼云將持續(xù)堅(jiān)持科技創(chuàng)新,為行業(yè)用戶提供可快速搭建大型模型推理或微調(diào)環(huán)境的解決方案,以及高性能的AI算力集群,助力AIGC產(chǎn)業(yè)實(shí)現(xiàn)降本增效,進(jìn)而推動整個(gè)行業(yè)的繁榮發(fā)展。