野花集在线阅读

復旦MOSS距離ChatGPT還有多遠？《野花集在线阅读》并廣泛征求修改意見和建議,野花集在线阅读◎侯樹文本報記者王春最近上熱搜的MOSS，不是《流浪地球2》中量子計算機550W給自己起的新名字，而是復旦大學計算機科學技術學院教授邱錫鵬團隊最新發布的國內第一個對話式大型語言模型，也被稱作中國版ChatGPT

2月20日，MOSS悄然上線，邱錫鵬團隊發布至公開平臺(https://moss.fastnlp.top/)，邀公眾參與內測

但是由于瞬時訪問火爆，計算資源無法支撐，內測窗口已暫時關閉

《野花集在线阅读》并廣泛征求修改意見和建議,《野花集在线阅读》悄然上線，又匆匆關閉，MOSS這一“快閃”的舉動，讓它的亮相飽受爭議

科技日報記者在瀏覽器上輸入公開平臺的網址，其中對MOSS這樣介紹：一種像ChatGPT的對話語言模型

MOSS能夠按照用戶的指示執行各種自然語言任務，包括問答、生成文本、總結文本、生成代碼等

MOSS還能夠挑戰不正確的前提，并且拒絕不適當的請求

那么相對于美國OpenAI的ChatGPT，中國的MOSS有何特別之處呢？記者在主頁看到了這樣的介紹：MOSS和ChatGPT的區別——如MOSS的參數量比ChatGPT少得多；MOSS通過與人類和其他AI模型交談來學習，而ChatGPT是使用來自人類反饋的強化學習(RLHF)進行培訓；MOSS將是開源的，以促進未來的研究，但ChatGPT可能不是這樣

據介紹，MOSS開發的基本步驟與ChatGPT一樣，包括自然語言模型的基座訓練、理解人類意圖的對話能力訓練兩個階段

作為MOSS主要作者之一，邱錫鵬表示：“MOSS與ChatGPT的差距主要在自然語言模型基座預訓練這個階段

MOSS的參數量比ChatGPT小一個數量級，在任務完成度和知識儲備量上，還有很大提升空間

”ChatGPT語言模型的參數量高達1750億，而在它問世前，世界上最大的語言模型是微軟開發的Turing-NLG，其參數量為170億

自去年11月30日正式發布以來，ChatGPT上線5天，注冊用戶就突破百萬

目前，其用戶規模已達到1億，成為互聯網發展史上用戶增長最快的消費級應用

在關閉內測之后，MOSS官網發布公告稱，MOSS還是一個非常不成熟的模型，距離ChatGPT還有很長的路要走

“我們是一個進行學術研究的實驗室，無法做出和ChatGPT能力相近的模型

”科研團隊相關負責人指出，當前版本的MOSS表現不夠穩定，部分回答或存在事實差錯、邏輯不順等問題

不僅如此，MOSS的英文回答水平較中文回答水平更高，這主要受到其模型基座的單詞收錄量影響，MOSS學習了3000多億個英文單詞，但中文詞語只學了約300億個

復旦大學計算機科學技術學院教授張奇是推出MOSS的復旦大學NLP實驗室核心成員之一

對于ChatGPT背后模型所擁有的1750億的參數規模，他在一次公開討論中表示，學校這類機構很難去完成，目前百億級的規模都已經非常困難

按照ChatGPT目前開源的最簡單復現版本、最便宜模式去計算，要做到1750億的參數規模，需要大概6000萬元的硬件成本，同時運算3.5個月

這還是所有事情都做對的情況，如中間有參數調整，或者想加速訓練過程，就需要更高規模的投資

歸根到底還是研發投入的問題

而除了學術界，國內科技企業也紛紛摩拳擦掌開發自己的ChatGPT：原美團聯合創始人王慧文近日明確表示，要“組隊擁抱新時代，打造中國OpenAI”；百度此前宣布將在3月上線百度版ChatGPT——文心一言(英文名為ERNIEBot)；阿里達摩院正在研發類ChatGPT的對話機器人，目前已開放給公司內員工測試；科大訊飛也表示，Al學習機將成為公司類ChatGPT技術率先落地的產品……《科技日報》2023年2月23日第02版【編輯:劉星辰】