ChatGLM-130B 是由 AI 編程助手「CodeGeex」背后的智譜 AI 團(tuán)隊(duì)開(kāi)發(fā)的 1300 億參數(shù)的開(kāi)源的、支持中英雙語(yǔ)的對(duì)話語(yǔ)言模型。

GLM-130B 是一個(gè)開(kāi)源開(kāi)放的雙語(yǔ)（中文和英文）雙向稠密模型，擁有 1300 億參數(shù)，模型架構(gòu)采用通用語(yǔ)言模型（GLM1）。它旨在支持在一臺(tái) A100（40G * 8） 或 V100（32G * 8）服務(wù)器上對(duì)千億規(guī)模參數(shù)的模型進(jìn)行推理。截至 2022 年 7 月 3 日，GLM-130B 已完成 4000 億個(gè)文本標(biāo)識(shí)符（中文和英文各 2000 億）的訓(xùn)練，它有以下獨(dú)特優(yōu)勢(shì)：

• 雙語(yǔ)：同時(shí)支持中文和英文。

• 高精度（英文）： 在 LAMBADA 上優(yōu)于 GPT-3 175B（+4.0%）、OPT-175B（+5.5%）和 BLOOM-176B（+13.0%），在 MMLU 上略優(yōu)于 GPT-3 175B（+0.9%）。

• 高精度（中文）：在 7 個(gè)零樣本 CLUE 數(shù)據(jù)集（+24.26%）和 5 個(gè)零樣本 FewCLUE 數(shù)據(jù)集（+12.75%）上明顯優(yōu)于 ERNIE TITAN 3.0 260B。

• 快速推理：支持用一臺(tái) A100 服務(wù)器使用 SAT 和 FasterTransformer 進(jìn)行快速推理（提速最高可達(dá) 2.5 倍）。

• 可復(fù)現(xiàn)性：所有結(jié)果（超過(guò) 30 個(gè)任務(wù)）均可通過(guò)我們的開(kāi)源代碼和模型參數(shù)輕松復(fù)現(xiàn)。

• 跨平臺(tái)：支持在 NVIDIA、Hygon DCU、Ascend 910 和 Sunway 處理器上進(jìn)行訓(xùn)練與推理。