经验分享
共同学习

清华开源ChatGLM语言模型一键部署

ChatGLM是什么

ChatGLM和ChatGPT类似,是由清华大学开发的开源大型语言模型。由于它是开源的,所以带来了很多的可能性,比如可以像Ai绘画一样自己微调模型。

目前这个版本是6B的,需要一定的配置才能运行。如果你的显存只有6G,勉强能跑;8G稍微好一点;12G以上就可以正常运行了。此外,它对内存的需求也比较高,建议最好要有16G以上的内存。如果你没有NVIDIA的独立显卡,也可以使用CPU来运行。但是需要注意的是,这样会非常慢,并且需要32G以上的内存才能正常运行。

ChatGLM的本地一键包。这是一个完全在本地使用的语言模型,可以利用你的显卡来运行。

傻瓜式安装部署

一.下载

我在文章末端提供了下载链接,当你下载完成后,会有如下三个文件。

  1. 程序包(ChatGLM-webui.zip)
  2. 模型包(model.zip)
  3. 环境包(环境包.zip)

二、解压

先解压程序包到当前目录。

解压完毕后,再解压主程序(ChatGLM-webui.zip)

然后就可以看到解压出的文件目录了。

接下来,我们继续把模型(model.zip)和环境包(环境包.zip)都解压到上图的主程序根目录中。

现在我们已经全部解压完毕了,对应自己的显卡,去运行对应.bat文件。我的显卡是12G以上的,所以我运行12G以上显存-fp16_1.bat 文件

然后我们把链接复制到浏览器访问http://127.0.0.1:17860/

像访问ChatGPT一样输入内容发送,就能得到反馈,使用起来比较简单,详细的技巧自行研究,或者关注这篇文章:Prompt Engineering基础教程 

启动完成后,打开网页就可以开始愉快的对话了。虽然这个模型比不上ChatGPT,毕竟它只有62亿的参数。但是这也是它的优势,因为它可以在家用显卡上运行。相信在未来,这个模型还会有很多的应用和玩法,因为它是开源的,只需要时间的沉淀。

ChatGLM懒人安装包

微云下载:https://share.weiyun.com/QmWMDyeN

-=||=-收藏赞 (0)

评论 抢沙发

评论前必须登录!

立即登录   注册

登录

找回密码

注册