文号
951820
阅读
472
回复
8
收藏
0
AICAD模型后训练与微调学习实战
2026/08/19
IP:0
2个月12天前修改于 2个月11天前IP:上海
951821
1楼

A800,55小时,还要训27B模型,相当于没有试错机会


搞一个skill,写一点文档,都比直接训模型靠谱


如果楼主能够贴出一些计划用于训练的数据集,无论是由LLM生成还是手动标注,都会让计划更为可信

引用
评论
3
2个月11天前IP:四川
951824
2楼

最好不要用“训练”的方式来实现。

ai领域现在依然存在下面图里提到的“主流进展过快”的问题。于是不应该去做“有可能跟主流形成竞争”的事情,要保证主流进展发生之后,你的成果不会因此衰减。

image.jpg

https://www.kechuang.org/p/933861


训练出来的结果是很难迁移的。假如两个月后出现了某个基础能力更强的开源模型,你想换用那个模型,还得再重新花几百块钱搞训练,这就是“成果衰减”了。

相对来说,@UIMicro 说的“写文档”就很好,迁移成本为零,衰减就小。而且人可以直接读懂文档,开发时的速度和可控性好很多。


写文档的缺点是,agent每次都得读一遍文档,每次使用成本比训练好的模型更高。但是这个缺点只有在用量很大的情况下会显现出来,这需要用户数量多,而现在还没有用户,于是相当于只有优点。

引用
评论(5)
3
blki作者
2个月11天前IP:河南
951828
3楼
引用UIMicro发表于1楼的内容
A800,55小时,还要训27B模型,相当于没有试错机会搞一个skill,写一点文档,都比直接训模型靠谱如果楼主能够贴出一些计划用于训练的数据集,无论是由LLM生成还是手动标注,都会让计划更为可信

嗯~ o(* ̄▽ ̄*)o,实际训练大概在75h左右(自己贴点),另外设置了多个checkpoints。

  1. 前 5 小时是链路门禁:环境、图片 forward、两步 LoRA、adapter 链、32 样本过拟合、200 step profile,全部通过才进入正式训练。

  2. stage 1 只占 15 小时,本身就是第一个 checkpoint:loss 不降或 Schema 指标不升,20 小时处止损转文档/skill 路线。

  3. 即便吞吐只有 0.1 samples/s,stage 2 的 33 小时 × 0.9 可用时间 ≈ 10,700 条重建样本,足够验证"小样本监督能否改善多视图重建"这个可证伪的核心问题。

  4. 数据集预计从XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

正在编写转换统一脚本

另外在我的AI CAD项目本身的流程就是skill工程,但是效果不怎么样。

image.jpg

现在版本确保了严格的feature plan。

当然可能是我的提示词不够好或者模型不够强(gpt-5.6 terra)

引用
评论
1
blki作者
2个月11天前IP:河南
951829
4楼
引用三水合番发表于2楼的内容
最好不要用“训练”的方式来实现。ai领域现在依然存在下面图里提到的“主流进展过快”的问题。于是不应该去做“有可能跟主流形成竞争”的事情,要保证主流进展发生之后,你的成果不会因此衰减。[图片]https...

image.jpg

这是目前靠提示词达到的效果,当然很粗糙。。。

也进行了样本测试L:

image.jpg

这样优化也应该有些成果,但是想试试后训练的效果到底怎样。

image.jpg

换基座也不麻烦(就是可能要花钱)

另外deepseek v5又测试了,看例子建模能力大幅增强,或许考虑接入新版skill版本能力可大幅提升

引用
评论
1
blki作者
2个月10天前IP:河南
951859
5楼

image.jpg

目前已在个人vps上完成实例数据集的制作

引用
评论
2个月10天前IP:四川
951860
6楼

该申请采用GPL协议是违规的,科创基金项目的开源条件不能严于LGPL,如果申请人坚持GPL协议,需要撤销申请,退还经费。

引用
评论(3)
blki作者
2个月8天前修改于 2个月7天前IP:山东
951884
7楼

8b模型初步验证,4090有些回答爆显存了

Screenshot_20260823_210906_com.tencent.mm.jpg

开源协议更改为LGPL

引用
评论
29天4时前修改于 27天12时前IP:山西
952406
8楼

已完成基础测试

屏幕录制 2026-10-02 192418.mp4 点击下载


引用
评论(3)
笔记
{{note.content}}
{{n.user.username}}
{{fromNow(n.toc)}} {{n.status === noteStatus.disabled ? "已屏蔽" : ""}} {{n.status === noteStatus.unknown ? "正在审核" : ""}} {{n.status === noteStatus.deleted ? '已删除' : ''}}
  • 编辑
  • 删除
  • {{n.status === 'disabled' ? "解除屏蔽" : "屏蔽" }}
我也是有底线的