ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，具体介绍可参阅 ChatGLM2-6B 项目主页telegram最新官网的下载网站哪里有
依据官方数据，同样是生成 8192 长度，量化等级为 FP16 要占用 12.8GB 显存、int8 为 8.1GB 显存、int4 为 5.1GB 显存，量化后会稍微影响性能，但不多。
类型内存显存硬盘空间fp16>=16GB>=16GB>=25GBint8>=16GB>=9GB>=25GBint4>=16GB>=6GB>=25GB
下载地址(需魔法): https://huggingface.co/THUDM/chatglm-6b/tree/main完整版的telegram下载的网站是什么
注意事项: 这里我默认你已经下载好了,并且存放在一个叫做 chatglm-6b 的目录
PS: 把chatglm-6b的模型 放到我们从GitHub下载的 ChatGLM2-6B/models/[chatglm-6b] 目录下面
telegram官网的最新版的下载网址
3.1、运行命令
3.2、运行命令
3.3、运行效果
4.1、安装依赖:
4.2、启动效果:
4.3、PostMan测试:
到这里,我们项目就已经成功部署起来了~
但是我们可能在这过程中会遇到不少问题~
———-
问题一: AssertionError: Torch not compiled with CUDA enabled
报错含义是，在编译torch的时候,CUDA并没有起作用。
【解决办法】:
1、首先命令行输入nvidia-smi，查看CUDA版本：
**2、得到服务器的CUDA版本为12.2: **
**3、然后去torch官网中查看CUDA适配的torch版本: **
下载官网: https://pytorch.org/get-started/locally/
执行成功后终端的提示（最后出现 Successfully 则表示安装成功）:
执行命令后重新运行应该就解决了
如未解决获取你可以参考: https://blog.csdn.net/m0_46948660/article/details/129205116
问题二: quantization_kernels_parallel.so’ (or one of its dependencies). Try using the full path with constructor syntax.
加载失败的原因：
这是因为ctypes在Windows环境下的bug还没修复，python3.10目前还有问题。
参考文章: https://github.com/THUDM/ChatGLM-6B/issues/967
处理方式: 需要对 [模型文件夹]quantization.py 中的 ctypes.cdll.LoadLibrary相关代码进行处理：
问题三: ModuleNotFoundError: No module named ‘transformers_modules.models/chatglm2-6b-int4’
安装的 transformers 包的版本太新导致的。
自己的版本 本地命令行执行 pip list，发现是 4.30.2 版本
然后重新安装了 transformers 4.26.1 后，正常运行了
参考的文章: http://lihuaxi.xjx100.cn/news/1299459.html?action=onClick无障碍中文版telegram下载的地方在哪呢
上述的介绍中我们已经把 ChatGLM2-6B 这个模型部署起来了，接telegram最新中文版的下载的网址在哪呢下来谈谈如何提供给用户使用的问题。上面介绍的ChatGLM2-6B提供了一个比较简易的Web界面给我们使用，满足一下个人的使用还行吧，给用户使用还是强大的好些。下面给大家推荐一款还不错的源码吧。
目前该系统对接了:
智普、ChatGPT、api2d、讯飞星火、问心一言等模型，还接入了AI绘画。
另外也有 VIP会员 和 对话次数充值等 盈利模式的功能。
源码获取: https://www.waitadmin.cn
PS：如你需接入ChatGLM2-6B，请自行获取授权后再接入去商用哦。
【技术架构】最新官方的telegram的下载的地方哪里有
ThinkPHP8 + Layui + NuxtJs3
源码获取渠道: 点击我官方获取
