文号
951820
阅读
479
回复
8
收藏
0
AICAD模型后训练与微调学习实战
2026/08/19
IP:0
blki作者
2个月11天前IP:河南
951828
3楼
引用UIMicro发表于1楼的内容
A800,55小时,还要训27B模型,相当于没有试错机会搞一个skill,写一点文档,都比直接训模型靠谱如果楼主能够贴出一些计划用于训练的数据集,无论是由LLM生成还是手动标注,都会让计划更为可信

嗯~ o(* ̄▽ ̄*)o,实际训练大概在75h左右(自己贴点),另外设置了多个checkpoints。

  1. 前 5 小时是链路门禁:环境、图片 forward、两步 LoRA、adapter 链、32 样本过拟合、200 step profile,全部通过才进入正式训练。

  2. stage 1 只占 15 小时,本身就是第一个 checkpoint:loss 不降或 Schema 指标不升,20 小时处止损转文档/skill 路线。

  3. 即便吞吐只有 0.1 samples/s,stage 2 的 33 小时 × 0.9 可用时间 ≈ 10,700 条重建样本,足够验证"小样本监督能否改善多视图重建"这个可证伪的核心问题。

  4. 数据集预计从XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

正在编写转换统一脚本

另外在我的AI CAD项目本身的流程就是skill工程,但是效果不怎么样。

image.jpg

现在版本确保了严格的feature plan。

当然可能是我的提示词不够好或者模型不够强(gpt-5.6 terra)

引用
评论
1
blki作者
2个月11天前IP:河南
951829
4楼
引用三水合番发表于2楼的内容
最好不要用“训练”的方式来实现。ai领域现在依然存在下面图里提到的“主流进展过快”的问题。于是不应该去做“有可能跟主流形成竞争”的事情,要保证主流进展发生之后,你的成果不会因此衰减。[图片]https...

image.jpg

这是目前靠提示词达到的效果,当然很粗糙。。。

也进行了样本测试L:

image.jpg

这样优化也应该有些成果,但是想试试后训练的效果到底怎样。

image.jpg

换基座也不麻烦(就是可能要花钱)

另外deepseek v5又测试了,看例子建模能力大幅增强,或许考虑接入新版skill版本能力可大幅提升

引用
评论
1
blki作者
2个月10天前IP:河南
951859
5楼

image.jpg

目前已在个人vps上完成实例数据集的制作

引用
评论
blki作者
2个月8天前修改于 2个月7天前IP:山东
951884
7楼

8b模型初步验证,4090有些回答爆显存了

Screenshot_20260823_210906_com.tencent.mm.jpg

开源协议更改为LGPL

引用
评论
笔记
{{note.content}}
{{n.user.username}}
{{fromNow(n.toc)}} {{n.status === noteStatus.disabled ? "已屏蔽" : ""}} {{n.status === noteStatus.unknown ? "正在审核" : ""}} {{n.status === noteStatus.deleted ? '已删除' : ''}}
  • 编辑
  • 删除
  • {{n.status === 'disabled' ? "解除屏蔽" : "屏蔽" }}
我也是有底线的