中國電信消息,近日中國電信開源12B參數(shù)規(guī)模星辰語義大模型TeleChat-12B,相較1月開源7B版本,內(nèi)容、性能和應(yīng)用等方面整體效果提升30%,其中,多輪推理、安全問題等領(lǐng)域提升超40%。在C-eval、MMLU、AGIEVAL等國際權(quán)威榜單上,排名處于國內(nèi)同級別參數(shù)開源模型的前列,進(jìn)一步促進(jìn)大模型開源生態(tài)繁榮,助力AI產(chǎn)業(yè)加速高質(zhì)量發(fā)展。另據(jù)悉,中國電信將于年內(nèi)開源千億級參數(shù)大模型。
中國電信人工智能研究院(TeleAI)堅持完全自研自主可控,在中國電信首席技術(shù)官、人工智能首席科學(xué)家、TeleAI院長李學(xué)龍帶領(lǐng)下,加快研發(fā)創(chuàng)新,不斷優(yōu)化底層模型結(jié)構(gòu),解除Word Embedding與lmhead共享參數(shù),有效提升模型穩(wěn)定性和訓(xùn)練效果,并基于精細(xì)化的CheckPoint效果驗證,進(jìn)行動態(tài)的數(shù)據(jù)配比優(yōu)化調(diào)整,大幅提升模型訓(xùn)練效果。
海量高質(zhì)量數(shù)據(jù)是保證大模型效果的基礎(chǔ),TeleChat-12B將7B版本1.5T訓(xùn)練數(shù)據(jù)提升至3T,優(yōu)化數(shù)據(jù)清洗、標(biāo)注策略,持續(xù)構(gòu)建專項任務(wù)SFT(監(jiān)督微調(diào))數(shù)據(jù),優(yōu)化數(shù)據(jù)構(gòu)建規(guī)范,大大提升數(shù)據(jù)質(zhì)量;同時,基于電信星辰大模型用戶真實回流數(shù)據(jù),優(yōu)化獎勵模型和強化學(xué)習(xí)模型,有效提升模型問答效果。
TeleAI通過更徹底地開源推動大模型技術(shù)進(jìn)步和大模型國產(chǎn)化進(jìn)程。此次開源提供基礎(chǔ)模型以及基于相應(yīng)版本的對話模型、不僅支持傳統(tǒng)的全量參數(shù)更新還支持 LoRA 等只更新部分參數(shù)的高效微調(diào)方法、支持Deepspeed微調(diào)、支持int8、int4量化和國產(chǎn)芯片訓(xùn)練推理,推動大模型國產(chǎn)化進(jìn)程。
加速探索創(chuàng)新的同時,星辰大模型也在深入推動人工智能與各行各業(yè)的融合,積極探索新興的應(yīng)用場景。星辰語義大模型已應(yīng)用于行文寫作、代碼編程、網(wǎng)絡(luò)故障分析以及經(jīng)營分析等場景,以行文寫作為例,其平均生成字?jǐn)?shù)超過1500字,有效采納率達(dá)到85.7%;在對外企事業(yè)單位客戶的業(yè)務(wù)中,星辰語義大模型支持企業(yè)經(jīng)營分析、政務(wù)公開咨詢、民生訴求接待等場景,可覆蓋95%的實際業(yè)務(wù)場景,多輪理解準(zhǔn)確率達(dá)到90%。除傳統(tǒng)行業(yè)應(yīng)用場景,星辰大模型積極探索前沿領(lǐng)域應(yīng)用,賦能具身智能,解決無人機編排投入多、開發(fā)量大的問題,實現(xiàn)無人機智能編排輕量化建設(shè)。
據(jù)悉,星辰大模型已廣泛應(yīng)用落地,賦能千行百業(yè)轉(zhuǎn)型升級。客服大模型在全國試點上線18個服務(wù)場景,充分賦能智慧客服和數(shù)字人,在激活十億級的日志、百億級的網(wǎng)絡(luò)參數(shù)等海量數(shù)據(jù)資產(chǎn)的基礎(chǔ)上,進(jìn)一步深化智能化運營;星辰政務(wù)大模型已落地某市民生訴求場景,為市民提供在線文本問答服務(wù),提升政務(wù)服務(wù)能力,提高市民滿意度;星辰經(jīng)分大模型已落地某市經(jīng)信局行業(yè)大模型,利用大模型生成能力快速草擬相關(guān)產(chǎn)業(yè)研究報告,簡化知識檢索流程,快速、精準(zhǔn)查詢所需知識內(nèi)容,以便迅速、準(zhǔn)確地掌握發(fā)展動態(tài),支持決策過程,并追蹤全球經(jīng)濟形勢和科技創(chuàng)新,滿足迫切的產(chǎn)業(yè)洞察和分析需求。