剛剛，國產(chǎn)大模型明星選手孟子GPT上新!

400億參數(shù)通用大模型正式發(fā)布，已開啟邀測。

數(shù)據(jù)顯示，孟子GPT-40B版本全面領(lǐng)先7B版本，大約提升10-15個百分點(diǎn)。

并超越部分國內(nèi)大模型，在多語言任務(wù)等方面接近ChatGPT-3.5。

孟子GPT來自瀾舟科技，其創(chuàng)始人為NLP領(lǐng)域大牛周明。

自21年成立以來，瀾舟科技先后發(fā)布孟子系列模型、MChat以及多個垂直領(lǐng)域模型，并拿下數(shù)億元融資。

這次發(fā)布是孟子GPT上新。除了基礎(chǔ)大模型以外，瀾舟科技還同步上線了行業(yè)大模型，以及基于大模型的產(chǎn)品應(yīng)用。

分別是:

• 基于孟子GPT打造的金融大模型

• 基于孟子GPT打造的會議內(nèi)容分析平臺“瀾舟智會”

基于這三方面上新，瀾舟科技也表示，未來將全面擁抱MaaS服務(wù)，提供基礎(chǔ)模型、大模型訓(xùn)練框架/工具包等服務(wù)。

使用更成熟預(yù)訓(xùn)練技術(shù)

據(jù)發(fā)布會介紹，孟子GPT-40B主要在中文及多語言能力、寫作、多輪對話等方面做了提升。

通過網(wǎng)頁、百科、社交媒體、新聞以及高質(zhì)量開源數(shù)據(jù)集，孟子GPT-40中文能力更加突出。

并且基于萬億tokens多語言語料聯(lián)合訓(xùn)練，更進(jìn)一步提升了英語等語言能力。

在底層算法上，瀾舟表示使用了更成熟的預(yù)訓(xùn)練技術(shù)，利用50萬指令數(shù)據(jù)精調(diào)，基于70億參數(shù)量的獎懲函數(shù)進(jìn)行強(qiáng)化學(xué)習(xí)。

基于FlashAttention的高效注意力計算，訓(xùn)練速度提升8.5倍?；赥GI等加速框架，推理速度提升4.6倍。

在孟子GPT-40B基礎(chǔ)上，還能更進(jìn)一步訓(xùn)練出行業(yè)大模型。

同步發(fā)布的瀾舟智會，能提取出會議錄音/視頻的核心內(nèi)容，生成總結(jié)和摘要，并且能對要點(diǎn)進(jìn)行問答。

就在最近，孟子大模型還登頂中文大語言模型測評榜單C-eval。

瀾舟已拿下數(shù)億元融資

瀾舟科技是以NLP技術(shù)為基礎(chǔ)的認(rèn)知智能公司，由AI大牛周明創(chuàng)辦，成立于2021年6月。

周明，當(dāng)今NLP領(lǐng)域成就最高的華人之一，他不僅是中國第一個中英翻譯系統(tǒng)的研制者，還在2019年成為AI語言領(lǐng)域最高級頂會ACL（國際計算語言協(xié)會）主席。

1991年在NLP重鎮(zhèn)哈工大拿到博士學(xué)位后，周明進(jìn)入清華任教;1999年被微軟亞洲研究院創(chuàng)始院長李開復(fù)挖走，后來不久成為NLP研究組負(fù)責(zé)人。

2020年離開MSRA加盟創(chuàng)新工場擔(dān)任首席科學(xué)家時，周明已擔(dān)任MSRA副院長多年。

瀾舟科技成立以來，主打加速AI落地，在輕量化大模型、垂直領(lǐng)域大模型上都做了頗多探索。

據(jù)介紹，除了孟子大模型外，目前瀾舟科技已經(jīng)開源了20個左右大模型。

今年3月，瀾舟科技最新拿下Pre-A輪融資，由北京中關(guān)村科學(xué)城公司領(lǐng)投，斯道資本和創(chuàng)新工場跟投。這是瀾舟科技收獲的第2輪融資，2輪累計總額數(shù)億元。

—完—

本文來源于量子位公眾號，如有侵權(quán)請聯(lián)系刪除