国产精品久久久久久久久久九秃_午夜福利09不卡片在线机视频_电击抽搐潮喷调教视频_女高中生穿jk自慰污污网站_日本高清www午色夜在线网站

編程客棧（）6月27日 消息:GLM技術(shù)團(tuán)隊宣布升級ChatGLM-6B，并發(fā)布了ChatGLM2-6B。之前發(fā)布的ChatGLM-6B在3月14日上線，截至6月24日，其在Hugging Face的下載量已經(jīng)超過了300萬次。

截至6月25日，ChatGLM2模型在主要評估LLM模型中文能力的C-Eval榜單中以71.1的分?jǐn)?shù)位居 Rank0;而ChatGLM2-6B模型則以51.7的分?jǐn)?shù)排名第六，是榜單上開源模型的排名最高的。

(資料圖片僅供參考)

ChatGLM2-6B是ChatGL編程M-6B的第二代開源中英雙語對話模型。在保留初代模型對話流暢、部署門檻較低等優(yōu)秀特性的基礎(chǔ)上，ChatGLM2-6B引入了以下新特性:

1.更強(qiáng)大的性能:基于ChatGLM初代模型的開發(fā)經(jīng)驗(yàn)，ChatGLM2-6B全面升級了基座模型。采用GLM混合目標(biāo)函數(shù)，利用1.4T中英文字符預(yù)先訓(xùn)練和人類偏好對齊的訓(xùn)練，ChatGLM2-6B相較初代模型在多項(xiàng)數(shù)據(jù)集上展現(xiàn)出的性能提升:在MMLU（+23%）、CEval(+33%)、GSM8K(+571%)、BBH(+60%)等數(shù)據(jù)集上有大幅度提升，使其在同一大小的開源模型中具有競爭力。

2.更長的上下文:基于FlashAttention技術(shù)，項(xiàng)目團(tuán)隊將基座模型的上下文長度（Context Length）從ChatGLM-6B的2K擴(kuò)展到32K，并在對話階段使用8K的上下文長度訓(xùn)練，以便進(jìn)行更多輪次的對話。但是目前ChatGLM2-6B對于單輪超長文檔的理解能力尚有限，團(tuán)隊將在后續(xù)升級中對其進(jìn)行優(yōu)化python。

3.更高效的推理:基于Multi-Query Attention技術(shù)，ChatGLM2-6B有更高效的推理速度和更低的顯存占用，官方模型實(shí)現(xiàn)下，推理速度相比初代提升了42%，在INT4量化下，6G顯存支持的對話長度提高到了8K。

4.更開放的協(xié)議:ChatGLM2-6B模型權(quán)重對學(xué)術(shù)研究完全開放，在官方的書面許可下，也允許商業(yè)使用。

評測結(jié)果

以下為 ChatGLM2-6B 模型qLWKeORkU在 MMLU （英文）、C-Eval(中文)、GSM8K(數(shù)學(xué))、BBH(英文) 上的測評結(jié)果。

推理性能

ChatGLM2-6B 使用了 Multi-Query Attention，提高了生成速度。生成2000個字符的平均速度對比如下

Multi-Query Attention 同時也降低了生成過程中 KV Cache 的顯存占用，此外，ChatGLM2-6B 采用 CqLWKeORkUausal Mask 進(jìn)行對話訓(xùn)練，連續(xù)對話時可復(fù)用前面輪次的 KV Cache，進(jìn)一步優(yōu)化了顯存占用。因此，使用6GB 顯存的顯卡進(jìn)行 INT4量化的推理時，初代的 ChatGLM-6B 模型最多能夠生成1119個字符就會提示顯存耗盡，而 ChatGLM2-6B 能夠生成至少8192個字符。

項(xiàng)目團(tuán)隊也測試了量化對模型性能的影響。結(jié)果表明，量化對模型性能的影響在可接受范圍內(nèi)。

示例對比

相比于初代模型，ChatGLM2-6B 多個維度的能力都取得了提升，以下是一些對比示例。

數(shù)理邏輯

知識推理

長文檔理解

關(guān)鍵詞：