復旦MOSS距離ChatGPT還有多遠?
復旦MOSS距離ChatGPT還有多遠?《最近日本字幕 高清视频》并廣泛征求修改意見和建議,最近日本字幕 高清视频◎侯樹文本報記者王春最近上熱搜的MOSS,不是《流浪地球2》中量子計算機550W給自己起的新名字,而是復旦大學計算機科學技術學院教授邱錫鵬團隊最新發布的國內第一個對話式大型語言模型,也被稱作中國版ChatGPT
2月20日,MOSS悄然上線,邱錫鵬團隊發布至公開平臺(https://moss.fastnlp.top/),邀公眾參與內測
但是由于瞬時訪問火爆,計算資源無法支撐,內測窗口已暫時關閉
悄然上線,又匆匆關閉,MOSS這一“快閃”的舉動,讓它的亮相飽受爭議
《最近日本字幕 高清视频》并廣泛征求修改意見和建議,《最近日本字幕 高清视频》科技日報記者在瀏覽器上輸入公開平臺的網址,其中對MOSS這樣介紹:一種像ChatGPT的對話語言模型
MOSS能夠按照用戶的指示執行各種自然語言任務,包括問答、生成文本、總結文本、生成代碼等
MOSS還能夠挑戰不正確的前提,并且拒絕不適當的請求
那么相對于美國OpenAI的ChatGPT,中國的MOSS有何特別之處呢?記者在主頁看到了這樣的介紹:MOSS和ChatGPT的區別——如MOSS的參數量比ChatGPT少得多;MOSS通過與人類和其他AI模型交談來學習,而ChatGPT是使用來自人類反饋的強化學習(RLHF)進行培訓;MOSS將是開源的,以促進未來的研究,但ChatGPT可能不是這樣
據介紹,MOSS開發的基本步驟與ChatGPT一樣,包括自然語言模型的基座訓練、理解人類意圖的對話能力訓練兩個階段
作為MOSS主要作者之一,邱錫鵬表示:“MOSS與ChatGPT的差距主要在自然語言模型基座預訓練這個階段
MOSS的參數量比ChatGPT小一個數量級,在任務完成度和知識儲備量上,還有很大提升空間
”ChatGPT語言模型的參數量高達1750億,而在它問世前,世界上最大的語言模型是微軟開發的Turing-NLG,其參數量為170億
自去年11月30日正式發布以來,ChatGPT上線5天,注冊用戶就突破百萬
目前,其用戶規模已達到1億,成為互聯網發展史上用戶增長最快的消費級應用
在關閉內測之后,MOSS官網發布公告稱,MOSS還是一個非常不成熟的模型,距離ChatGPT還有很長的路要走
“我們是一個進行學術研究的實驗室,無法做出和ChatGPT能力相近的模型
”科研團隊相關負責人指出,當前版本的MOSS表現不夠穩定,部分回答或存在事實差錯、邏輯不順等問題
不僅如此,MOSS的英文回答水平較中文回答水平更高,這主要受到其模型基座的單詞收錄量影響,MOSS學習了3000多億個英文單詞,但中文詞語只學了約300億個
復旦大學計算機科學技術學院教授張奇是推出MOSS的復旦大學NLP實驗室核心成員之一
對于ChatGPT背后模型所擁有的1750億的參數規模,他在一次公開討論中表示,學校這類機構很難去完成,目前百億級的規模都已經非常困難
按照ChatGPT目前開源的最簡單復現版本、最便宜模式去計算,要做到1750億的參數規模,需要大概6000萬元的硬件成本,同時運算3.5個月
這還是所有事情都做對的情況,如中間有參數調整,或者想加速訓練過程,就需要更高規模的投資
歸根到底還是研發投入的問題
而除了學術界,國內科技企業也紛紛摩拳擦掌開發自己的ChatGPT:原美團聯合創始人王慧文近日明確表示,要“組隊擁抱新時代,打造中國OpenAI”;百度此前宣布將在3月上線百度版ChatGPT——文心一言(英文名為ERNIEBot);阿里達摩院正在研發類ChatGPT的對話機器人,目前已開放給公司內員工測試;科大訊飛也表示,Al學習機將成為公司類ChatGPT技術率先落地的產品……《科技日報》2023年2月23日第02版【編輯:劉星辰】
- “轉貸降息”灰色生意涌動 監管重拳打擊違規操作
- 財聯社2月23日電,Lucid Group四季度產量為3493輛,環比增長53%;2022年交付量為4369輛;2023年產量指引為10000輛至14000輛。
- 敬佩!宋祖德發話:呼吁將房貸利率降低80%,老百姓太難了
- 中炬高新突發“黑天鵝”,72只基金踩雷
- 中金前海股權投資及王海鵬被公開譴責 變相承諾保收益
- 寧王掀起價格戰,一將功成萬骨枯?
- 利好二手房市場!一地出臺9項樓市新政
- 澳門財政儲備截至去年底超5500億澳門元
- 突發!萬億銀行巨頭遭大手筆減持
- 南方特稿| 蓉城“學院派”來莞創業記
- 夯實銀行資產質量壓艙石
- 百億酒企董事長突然離任!
- 光大證券殷中樞:固態電池——搶占下一代鋰電技術制高點
- 權益固收“雙管齊下”公募ESG主題產品發行升溫
- 財聯社2月23日電,Lucid Group四季度產量為3493輛,環比增長53%;2022年交付量為4369輛;2023年產量指引為10000輛至14000輛。
- 財聯社2月23日電,美國財長耶倫和IMF總裁格奧爾基耶娃將于本周討論援助烏克蘭的相關事宜。
- 圣路易斯聯儲主席再放鷹:終端利率必須達到5%以上,今年有望戰勝通脹
- 中國貿促會:超七成中國企業 將維持或擴大對外投資規模
- 南方特稿| 蓉城“學院派”來莞創業記
- 企業可巧用套?!胺€價鎖利”
- 不動產私募基金試點啟動,PE機構躍躍欲試
- 收盤:美股漲跌不一標普指數四連跌 聯儲紀要稱將繼續加息
- 指數基金投資(二):寬基指數
- 后補貼時代新能源車產業需“再創業”
- 提前還房貸,真的可行嗎?一定劃算嗎? | 來聽新聞
- 保險私募基金登記數量創新高
- 大幅加倉!摩根大通出手了!
- 玻利維亞確診超8900例登革熱病例
- “牛市旗手”聞風而動 公募重倉龍頭券商浮盈可觀
- 理性看待房貸年齡期限放寬
- 央企經營新指標意在提質增效防風險
- “轉貸降息”灰色生意涌動 監管重拳打擊違規操作
- 財聯社2月23日電,美聯儲會議紀要顯示,與會者表示需要限制性貨幣政策,直到美聯儲確信通脹正下降到2%,并稱這一過程可能需要“一些時間”;與會者表示經濟前...
- 財聯社2月23日電,美國財長耶倫和IMF總裁格奧爾基耶娃將于本周討論援助烏克蘭的相關事宜。
- 銀行業轉型要擺脫“看天吃飯”
- 城市漢族人口比例:上海、南京98%,深圳93%,南寧呢?
- “牛市旗手”聞風而動,公募重倉龍頭券商浮盈可觀
- 新西蘭央行加息50個基點至4.75% 稱抗通脹戰爭遠未結束
- “牛市旗手”聞風而動,公募重倉龍頭券商浮盈可觀
- 中國貿促會:超七成中國企業 將維持或擴大對外投資規模
更多
熱點 | 理性看待房貸年齡期限放寬
九、評估(一)評估機構的選定。
熱點 | 情況反常,澳洲政府,沒錢了?
“產業加速優化升級增強了經濟復蘇底氣”疫情發生以來,中國新冠疫苗研發項目從啟動到獲批上市,僅用時11個月,速度之快,創下新紀錄
熱點 | 棚戶區改造政策匯編(含資方準入、補償條件、稅務補貼)
雙方有良好的合作基礎,發展重點契合度高,未來合作空間廣闊。
熱點 | 百億級私募賺錢效應重現
(二)征收的房屋存在租賃關系的,房屋征收實施單位與被征收人簽訂征收補償協議,被征收人負責與房屋承租人解除房屋租賃關系。
熱點 | 英偉達一季度指引好于預期,盤后一度漲超8%
張威表示,與美西方一些國家泛化國家安全概念、濫用“黑名單”制裁的做法相比,中國不可靠實體清單制度設計已盡顯克制,對不可靠實體的認定標準、執法程序、法律責任作出公正透明規范的制度安排。
熱點 | 公募參與定增熱情高知名基金經理頻現身
美國民權活動人士阿爾·沙普頓此前在尼科爾斯的追悼會上說,如果尼科爾斯是白人,警察不會那樣毆打他。