论坛>计算机科学>软件综合>机器学习
发表于《试用chatgpt进行科创B卷考试且成功通过》
三水合番
3年4个月前IP:四川
922872
25楼
引用客星晨出东方发表于20楼的内容
[图片]部署在本地的chatGLM2-6b模型解决了帅哥衬衫问题

6b的参数量还是太少了，参数少性能就上不去。huggingface的排行榜里，chatglm2-6b的排名还是差点意思

XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX 

image.png

image.png

最前面的模型平均得分在60多，chatglm2-6b是48.2。

大尺寸模型砍精度之后，消费级显卡的内存也能够用。比如有人用4bit量化的mpt30b，只需要大约20GB内存，层主有兴趣的话可以试试

image.png

XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX 

另外在类似尺寸的开源模型里，也有不少能超过chatglm2-6b的，也可以试试


评论(1)
文号 / 922872
三水合番
万流景仰
名片专栏发私信
学术分 5
总主题 98 帖总回复 1710 楼拥有证书：专家 高压局 进士 学者 机友 笔友
注册于 2014/04/30 20:05:43最后登录 2026/10/30 19:07:35
主体类型：个人
所属领域：无
认证方式：手机号
IP归属地：0

个人简介

从事基于天然神经网络的天线拓扑优化

笔记
{{note.content}}
{{n.user.username}}
{{fromNow(n.toc)}} {{n.status === noteStatus.disabled ? "已屏蔽" : ""}} {{n.status === noteStatus.unknown ? "正在审核" : ""}} {{n.status === noteStatus.deleted ? '已删除' : ''}}
  • 编辑
  • 删除
  • {{n.status === 'disabled' ? "解除屏蔽" : "屏蔽" }}
我也是有底线的