本地（家庭电脑）使用大模型与微调（简单入门版）

1年9个月前修改于 1年9个月前IP:上海

941239

5楼

给一个参考，我用48G A6000的话，可以（使用或者不使用LoRA）微调Qwen2.5-3B，量化为BF16，BS开到2。家用游戏卡的话，也就勉强BS开到1微调个0.5B或1.5B顶天了，但这种Toy参数量的模型性能很差意义不大，根本没必要微调，效果大概率不如调用Deepseek之类API加上In-Context Learning...

文号 / 941239

UIMicro

百炼成钢

名片专栏发私信
学术分 0
总主题 17 帖总回复 869 楼拥有证书：进士机友笔友
注册于 2019/12/22 09:55:24最后登录 2026/10/30 13:04:21

主体类型：个人

所属领域：无

认证方式：身份证号

IP归属地：浙江

个人简介

Shanghai Jiao Tong University

Incoming PhD Student

Artificial Intelligence

Embodied Intelligence

Physics

Informatics

Aerospace

Inertial Navigation

Energetic Materials

Visit Website

笔记

{{fromNow(n.toc)}} {{n.status === noteStatus.disabled ? "已屏蔽" : ""}} {{n.status === noteStatus.unknown ? "正在审核" : ""}} {{n.status === noteStatus.deleted ? '已删除' : ''}}

编辑
删除
{{n.status === 'disabled' ? "解除屏蔽" : "屏蔽" }}

我也是有底线的