机器之心报道

机器之心编辑部

ChatGPT 的发布，搅动了整个 AI 领域，各大科技公司、创业公司以及高校团队都在跟进。近段时间，机器之心报道了多家创业公司、高校团队的研究成果。

昨日，又一国产 AI 对话大模型重磅登场：由清华技术成果转化的公司智谱 AI 基于 GLM-130B 千亿基座模型的 ChatGLM 现已开启邀请制内测。

值得一提的是，此次智谱 AI 也开源了中英双语对话模型 ChatGLM-6B，支持在单张消费级显卡上进行推理使用。



内测申请网址：chatglm.cn

据了解，ChatGLM 当前版本模型的能力提升主要来源于独特的千亿基座模型 GLM-130B。它是不同于 BERT、GPT-3 以及 T5 的架构，是一个包含多目标函数的自回归预训练模型。

2022 年 8 月，清华大学联合智谱 AI 向研究界和工业界开放了拥有 1300 亿参数的中英双语稠密模型 GLM-130B，该模型有一些独特的优势：

如今， 参考 ChatGPT 的设计思路，ChatGLM 在千亿基座模型 GLM-130B 中注入了代码预训练，通过有监督微调（Supervised Fine-Tuning）等技术实现人类意图对齐。

机器之心获得了内测邀请码，这里简单和 ChatGLM 进行了对话，效果如下：





它能够理解「站 CP」的实际涵义：



给 ChatGLM 一个数学问题试试：



自从学会了二元一次方程，像这种基础的「鸡兔同笼」问题就再也难不倒它了：



开源 ChatGLM-6B

ChatGLM-6B 是一个开源的、支持中英双语问答的对话语言模型，并针对中文进行了优化。该模型基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和 ChatGLM 相同的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 虽然规模不及千亿模型，但大大降低了推理成本，提升了效率，并且已经能生成相当符合人类偏好的回答。

模型开源地址：
https://github.com/THUDM/ChatGLM-6B

具体来说，ChatGLM-6B 具备以下特点：

不过由于 ChatGLM-6B 模型的容量较小，不可避免的存在一些局限和不足，包括：

GLM 团队表示，ChatGLM 距离国际顶尖大模型研究和产品还有一定差距，未来将持续研发并开源更新版本的 ChatGLM 和相关模型。GLM 团队也欢迎大家下载 ChatGLM-6B，基于它进行研究和（非商用）应用开发。