AI

langchain+chatglm2 Linux/wsl2部署 说明： 1.ubuntu安装基础gcc 2.ubuntu安装cuda： cuda下载地址： https://developer.nvidia.com/cuda-11-7-1-download-archive?target_os=Linux&target_arch=x86_64&Distribution=Ubuntu&target_version=22.04&target_type=deb_local ubuntu22.04， cuda11.7.1，文件链接 wget https://developer.download.nvidia.cn/compute/cuda/11.7.1/local_installers/cuda-repo-ubuntu2204-11-7-local_11.7.1-515.65.01-1_amd64.deb 3.安装miniconda miniconda下载地址，选择linux： https://docs.conda.io/en/latest/miniconda.html 4.安装miniconda 下载langchain-chatglm2-6B 5.下载embedding模型文件 需要先安装git-lfs,下载地址和安装教程如下： https://github.com/git-lfs/git-lfs/blob/main/INSTALLING.md ubuntu 系统： apt/deb repos: curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash Centos/Redhat系统： yum/rpm repos: curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.rpm.sh | sudo bash 然后 6.下载chatglm2-6B模型文件 chatglm2-6b模型文件地址： chatglm2-6b-int4模型文件地址: https://huggingface.co/THUDM/chatglm-6b-int4 7.修改embedding模型配置和大语言模型配置： 修改chatglm2-6b下的pretrained_model_name为本地chatglm2模型文件地址。 8.启动 启动成功 记得在webui.py中把端口号由默认的7860改为6006，如下图： screen -U -S AI screen -wipe