论坛>计算机科学>软件综合>机器学习
发表于《本地（家庭电脑）使用大模型与微调（简单入门版）》
zkx8992
1年9个月前IP:湖北
941237
4楼

个人电脑部署AI模型的话，要看量化，一般模型是用FP32进行训练的，如果把模型量化降级到INT8，会略微损失一些精度，但是大大减少算力消耗


另外老黄的CUDA框架是必装的，装了一个我的1060显卡都比较流畅的跑了一个8B模型

评论
文号 / 941237
浪迹天涯
名片发私信
学术分 0
总主题 0 帖总回复 12 楼拥有证书：进士 机友
注册于 2020/12/14 14:19:50最后登录 2025/08/09 11:30:32
主体类型：个人
所属领域：无
认证方式：手机号
IP归属地：湖北

个人简介

暂未填写
笔记
{{note.content}}
{{n.user.username}}
{{fromNow(n.toc)}} {{n.status === noteStatus.disabled ? "已屏蔽" : ""}} {{n.status === noteStatus.unknown ? "正在审核" : ""}} {{n.status === noteStatus.deleted ? '已删除' : ''}}
  • 编辑
  • 删除
  • {{n.status === 'disabled' ? "解除屏蔽" : "屏蔽" }}
我也是有底线的