Text Generation WebUI开源大语言模型本地部署教程

Text Generation WebUI是什么

Text Generation WebUI是oobabooga开发的一个用于人工智能文本生成的可视化工具包，无论是用于商业还是娱乐,它都能给用户带来很好的体验。任何人都可以通过这个项目轻松地与最新的人工智能模型对话和生成文本，并且它很支持多种语言模型，我们可以离线问Ai各种问题，要求翻译、聊天、翻译文本、角色扮演等，并且也可以训练自己的语言模型。这篇文章介绍如何安装以及使用。

硬件要求

它的使用门槛很低，支持GPU和CPU的方式，也就是没有显卡的情况下，也是可以运行会话的。最低4核，GPU最低6G即可运行。

• 系统:windows/Linux/MacOS
• GPU/CPU:最少6GB或至少4核
• 内存：至少16GB
• 硬盘空间：30GB

安装部署教程

下载安装包

作者在Github提供了三种系统一键安装包：windows、Linux、MacOS，下载好安装后进行解压。你也可以点击下方的链接直接下载。

安装部署

下载完毕后，我们把安装包解压到D盘，并双击运行start_windows.bat文件

安装部署的时候是全自动的，中间会询问：A）Nvida、B）AMD 、C）Apple MSeries、D)None（I want to run in CPU mode）

对应选择自己的配置，回复对应的英文字母，并按回车键即可。

安装完成后，会出现URL地址:http://127.0.0.1:7860 ，在终端窗口按Ctrl+鼠标左击，即可直接访问。

如果要关闭运行，按Ctrl+c，但是每次启用都需要运行运行start_windows.bat 文件，和StableDiffusion原理一样的。

下载模型

Text Generation WebUI支持很多种模型，这里我以llama.app格式的为主，用CPU就能跑。

英文模型建议使用最新的WizardLM 13B

中文模型请用Chinese-LLaMA-Alpaca 13B，选择.ggmlv3.q5_K_M.bin的版本。

下载完成后，把模型文件放到text-generation-webui/models/目录中即可。

选择模型

点击顶部导航model，并点击刷新按钮加载我们的模型，并进行选择。

在input输入要聊天的内容，点击Generate产生内容。