News Center

新闻中心

智谱AI千亿基座对话模型ChatGLM启动内测 | 达晨Family
发布日期:2023-03-22

da6b0ca5bc896416f48ca710af76c7e3.png


近日,达晨A轮领投企业智谱AI开源了其GLM系列模型的新成员——中英双语对话模型ChatGLM-6B,支持在单张消费级显卡上进行推理使用。这是继此前开源GLM-130B千亿基座模型之后,智谱AI再次推出大模型方向的研究成果。与此同时,基于千亿基座模型的ChatGLM也同期推出,初具问答和对话功能,现已开启邀请制内测(内测申请网址chatglm.cn),后续还将会逐步扩大内测范围。



047468596750c377d2ca0415fdd26bc2.png

9d77d038754c526b66fbd4aa604d1be2.png


浅尝智谱AI ChatGLM


2022年底ChatGPT横空出世,引爆全球科技圈,并迅速席卷到各个领域。仅过数月,今年3月15日,ChatGPT撕掉了“Chat”标签再次进化,GPT-4惊艳亮相。作为升级后的多模态大模型,GPT-4不仅具有更强大的创造性、更长的上下文处理能力,可支持图像输入,还能自定义风格,达到了AI历史上又一个前所未有的新高度。AI大模型超乎人们意外的发展速度,似乎在真正意义上打开了世界各国“新科技竞赛”的一重大门。


其实在国内第一代AI创业热潮及商业化落地的背景下,不少顶尖团队也早开启了AI大模型的自主化研究。达晨在2021年初A轮投资的智谱AI就是其中的佼佼者。


智谱AI由清华大学计算机系的技术成果转化而来,致力于打造新一代认知智能通用模型,提出了Model as a Service(MaaS)的市场理念。公司于2021年合作研发了双语千亿级超大规模预训练模型GLM-130B,并主导构建了高精度通用知识图谱,把两者有机融合为数据与知识双轮驱动的认知引擎,并基于此千亿基座模型打造ChatGLM。此外,智谱AI也推出了认知大模型平台Bigmodel.ai,形成AIGC产品矩阵。通过认知大模型链接物理世界的亿级用户、赋能元宇宙数字人、成为具身机器人的基座,赋予机器像人一样“思考”的能力。


达晨财智合伙人邬曦表示:“我们长期看好下一代人工智能在中国的发展和落地。第三代人工智能即认知智能不仅要求基于大数据的深度学习及对应的感知识别,还要求机器具有认知和推理能力,让机器具备与人接近的常识和逻辑,这就对数据与知识的融合提出了迫切需求。智谱基于自有的技术基因,不仅自主研发了多语言千亿级超大规模预训练模型,构建了高精度通用知识图谱,还将数据与知识这两者有机融合、打造了数据+知识双轮驱动的认知引擎,他们的技术路线是走在了下一代人工智能发展的主流方向之上。” 


达晨财智董事总经理张英杰也提到了对智谱团队专业度的看重,他表示:“智谱创始团队及核心成员绝大部分来自清华大学知识工程实验室,领头人唐杰教授是全球知名人工智能专家,国内唯一获得AI领域顶级国际会议十年最佳论文的作者,在业内有很好的口碑和号召力。”  因此,在A轮下注智谱时,投资团队认为第一,其行业方向的精准和团队的技术水平是最大的确定性;第二,预训练大模型的爆发只是时间问题,当然目前的节奏比预想的更快——美国不断发布大模型和应用,既是对大模型概念的普及和市场推广,也对中国大模型的发展速度和迭代节奏提出了挑战。


智谱AI CEO张鹏表示:“当下不少企业都在做大模型或类ChatGPT产品,我们自己的思考是在这件事上,企业首先要有深厚的技术积累,能持续深入研究,并有成果产出;其次需要有大量资源(数据、算力等),这点上大企业有天生的优势;第三是要有生态建设,比如大家愿意在产品中嵌入并应用这些技术,技术本身会接收到更多反馈,才能不断迭代。我们也一直在做关于千亿模型和万亿模型的研究,和OpenAI的大模型相比还有很多工作需要做,要把自身的基座模型,比如GLM-130B,打磨到能与国际比肩的性能,然后再在这之上做优化,包括加入代码的训练,增强它的逻辑性,做监督性的训练,做强化学习的训练和用户反馈的数据监督训练等等。应该说,我们在做大模型的过程中挑战巨大,但做大模型的中国创新这件事情,一直是我们努力的目标。”


| 关于新成员ChatGLM-6B


据悉,本次智谱AI发布的ChatGLM-6B 是一个开源的、支持中英双语问答的对话语言模型,并针对中文进行了优化。该模型基于 General Language Model (GLM) 架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。ChatGLM-6B 使用了和 ChatGLM 相同的技术,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62 亿参数的ChatGLM-6B 虽然规模不及千亿模型,但大大降低了推理成本,提升了效率,并且已经能生成相当符合人类偏好的回答。

 


具体来说,ChatGLM-6B具备以下特点:


  • 充分的中英双语预训练:ChatGLM-6B在1:1比例的中英语料上训练了1T的token量,兼具双语能力。
  • 优化的模型架构和大小:吸取GLM-130B训练经验,修正了二维RoPE位置编码实现,使用传统FFN结构。6B(62亿)的参数大小,也使得研究者和个人开发者自己微调和部署ChatGLM-6B成为可能。
  • 较低的部署门槛:FP16 半精度下,ChatGLM-6B 需要至少 13 GB 的显存进行推理,结合模型量化技术,这一需求可以进一步降低到 10GB(INT8) 和 6GB(INT4),使得 ChatGLM-6B 可以部署在消费级显卡上。
  • 更长的序列长度:相比 GLM-10B(序列长度1024),ChatGLM-6B序列长度达2048,支持更长对话和应用。
  • 人类意图对齐训练:使用了监督微调(Supervised Fine-Tuning)、反馈自助(Feedback Bootstrap)、人类反馈强化学习(Reinforcement Learning from Human Feedback)等方式,使模型初具理解人类指令意图的能力。输出格式为markdown,方便展示。

基于以上特点,ChatGLM-6B在一定条件下具备较好的对话与问答能力,以下是ChatGLM-6B的对话效果展示:

5cad4f10bdf431ec6d6fa503dfd5337f.png

不过由于ChatGLM-6B模型的容量较小,不可避免地存在一些局限和不足,包括:
  • 相对较弱的模型记忆和语言能力。在面对许多事实性知识任务时,ChatGLM-6B可能会生成不正确的信息,也不太擅长逻辑类问题(如数学、编程)的解答。
  • 可能会产生有害说明或有偏见的内容:ChatGLM-6B只是一个初步与人类意图对齐的语言模型,可能会生成有害、有偏见的内容。
  • 较弱的多轮对话能力:ChatGLM-6B的上下文理解能力还不够充分,在面对长答案生成和多轮对话的场景时,可能会出现上下文丢失和理解错误的情况。

| 关于ChatGLM内测

本次,智谱AI还同时开启了ChatGLM线上模型的内测。相比起ChatGLM-6B,ChatGLM线上模型的能力提升主要来源于独特的千亿基座模型GLM-130B。它采用了不同于BERT、GPT-3以及T5的GLM架构,是一个包含多目标函数的自回归预训练模型。2022年11月,斯坦福大学大模型中心对全球30个主流大模型进行了全方位的评测,GLM-130B是亚洲唯一入选的大模型。在与OpenAI、Google Brain、微软、英伟达、Meta AI的各大模型对比中,评测报告显示GLM-130B在准确性和公平性指标上与GPT-3 175B (davinci) 接近或持平,鲁棒性、校准误差和无偏性优于GPT-3 175B(下图)。

6fad3001279cf6d36cc52731dbfc770d.png

模型开源的地址为:

https://github.com/THUDM/ChatGLM-6B 


基于千亿基座的ChatGLM线上模型目前在chatglm.cn进行邀请制内测,用户需要使用邀请码进行注册,也可以填写基本信息申请内测。

由ChatGLM生成的对话效果展示:

28080b5a00a1afa8905f7d95dcb7142d.png
4ac421f8bfdff83cfe706e5389a973b5.png

整体而言,ChatGLM距离国际顶尖大模型研究和产品还有一定差距,GLM团队也在博客中坦言了这一点,并表示将持续研发并开源更新版本的ChatGLM和相关模型。欢迎大家下载ChatGLM-6B,基于它进行研究和(非商用)应用开发。GLM团队希望能和开源社区研究者和开发者一起,推动大模型研究和应用在中国的发展。

e1ae6234238fe7a2af70aa09ff8bd1c9.jpg

达晨成立于2000年4月19日,总部位于深圳,是我国第一批按市场化运作设立的本土创投机构。自成立以来,达晨伴随着中国经济的快速增长和多层次资本市场的不断完善,在社会各界的关心和支持下,聚焦于信息技术、智能制造和节能环保、医疗健康、大消费和企业服务、文化传媒、军工等领域 … [ +更多 ]
微信公众号

达晨财智创业投资管理有限公司 版权所有

Copyright © Fortune Venture Capital Co.Ltd. All rights reserved

电话:0755-83515108

邮箱:fortune@fortunevc.com

粤ICP备14030831号 技术支持:中网互联

粤公网安备 44030402003598号