新華財(cái)經(jīng)上海4月21日電（記者 宋薇萍 實(shí)習(xí)生 譚镕）4月21日，復(fù)旦大學(xué)自然語言處理實(shí)驗(yàn)室開發(fā)的新版MOSS模型正式上線，成為國內(nèi)首個(gè)插件增強(qiáng)的開源對(duì)話語言模型。

復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院教授MOSS系統(tǒng)負(fù)責(zé)人邱錫鵬表示：“對(duì)于下一階段的大型語言模型來講，我們目前重點(diǎn)需要去做的事情，就是讓模型和現(xiàn)實(shí)世界以及人類的價(jià)值觀進(jìn)行“對(duì)齊”，成為一個(gè)真正的智能體。”

MOSS：對(duì)話式大型語言模型今日開源

【資料圖】

近期，關(guān)于語言模型的關(guān)注持續(xù)高漲。相比之前的生成式對(duì)話產(chǎn)品，ChatGPT在大范圍連續(xù)對(duì)話能力、生成內(nèi)容質(zhì)量、語言理解能力和邏輯推理能力上都得到大幅提升，超出了大眾對(duì)于一款聊天機(jī)器人的預(yù)期，是生成式AI（AIGC）極為關(guān)鍵的發(fā)展節(jié)點(diǎn)。

MOSS是國內(nèi)第一個(gè)發(fā)布的對(duì)話式大型語言模型。它可以執(zhí)行對(duì)話生成、編程、事實(shí)問答等一系列任務(wù)，打通了讓生成式語言模型理解人類意圖并具有對(duì)話能力的全部技術(shù)路徑。

目前，MOSS模型已上線開源，相關(guān)代碼、數(shù)據(jù)、模型參數(shù)已在Github和Hugging Face等平臺(tái)開放，供科研人員下載，促進(jìn)人工智能模型研究和開源社區(qū)的生態(tài)繁榮。開源代碼涵蓋模型訓(xùn)練和推理代碼，開源數(shù)據(jù)包括超100萬條對(duì)話訓(xùn)練數(shù)據(jù)，開源模型包括160億參數(shù)中英雙語基座語言模型、對(duì)話模型以及插件增強(qiáng)的對(duì)話模型。

MOSS基于公開的中英文數(shù)據(jù)訓(xùn)練，目前已經(jīng)擁有200億參數(shù)，具有和人類對(duì)話的能力，并可以通過與人類交互實(shí)現(xiàn)迭代優(yōu)化。

其中隱含著三個(gè)非常重要的技術(shù)。“第一是情景學(xué)習(xí)，大型語言模型可以直接和人交互，這從產(chǎn)品角度來說也是一個(gè)很大的創(chuàng)新，還可以大幅降低下游開發(fā)成本；第二是思維鏈，不僅給出答案，也給出邏輯推導(dǎo)；第三是自然指令學(xué)習(xí)，要讓機(jī)器明白我們的情感和真實(shí)意圖，以前是從大數(shù)據(jù)中學(xué)，現(xiàn)在可以直接從指令中學(xué)。”邱錫鵬說道。

MOSS開源 改善行業(yè)生態(tài)

在業(yè)內(nèi)看來，自研通用預(yù)訓(xùn)練大語言模型具有必要性角度，在目前國際形勢下，自主可控是保障網(wǎng)絡(luò)安全、信息安全的前提，自研基石模型具有高度戰(zhàn)略意義。

邱錫鵬說，人們之所以很容易有“卡脖子”問題，是因?yàn)槿狈σ粋€(gè)好的行業(yè)生態(tài)。就拿ChatGPT來說，OpenAI公司只需專注做好模型，算力、數(shù)據(jù)和系統(tǒng)則交給其他公司。反觀國內(nèi)，很多公司在做大型語言模型時(shí)所有環(huán)節(jié)都需要自己做，每家的數(shù)據(jù)和算力也有限，結(jié)果是每家都做不大。在發(fā)展過程中，大型語言模型訓(xùn)練與在線推理成本過高也是一個(gè)重大問題。

“我們考慮把MOSS開源而不是商業(yè)化，就是希望改善這種生態(tài)，有了這樣一個(gè)基座，大家就不用重復(fù)開發(fā)底層技術(shù)，可以在上面接不同的細(xì)分領(lǐng)域。”復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院教授、MOSS系統(tǒng)負(fù)責(zé)人邱錫鵬說。

相關(guān)人士表示，目前中國巨頭廠商深耕通用基礎(chǔ)大模型研發(fā)布局產(chǎn)業(yè)生態(tài)布局，肩部廠商基于開源模型或海量數(shù)據(jù)打造垂直基礎(chǔ)大模型，建立垂直行業(yè)的平臺(tái)生態(tài)。語言大模型及下游應(yīng)用產(chǎn)業(yè)對(duì)于國家數(shù)字經(jīng)濟(jì)發(fā)展具有戰(zhàn)略性意義。

編輯：翟卓

關(guān)鍵詞：