A800,55小时,还要训27B模型,相当于没有试错机会
搞一个skill,写一点文档,都比直接训模型靠谱
如果楼主能够贴出一些计划用于训练的数据集,无论是由LLM生成还是手动标注,都会让计划更为可信
A800,55小时,还要训27B模型,相当于没有试错机会
搞一个skill,写一点文档,都比直接训模型靠谱
如果楼主能够贴出一些计划用于训练的数据集,无论是由LLM生成还是手动标注,都会让计划更为可信
最好不要用“训练”的方式来实现。
ai领域现在依然存在下面图里提到的“主流进展过快”的问题。于是不应该去做“有可能跟主流形成竞争”的事情,要保证主流进展发生之后,你的成果不会因此衰减。
https://www.kechuang.org/p/933861
训练出来的结果是很难迁移的。假如两个月后出现了某个基础能力更强的开源模型,你想换用那个模型,还得再重新花几百块钱搞训练,这就是“成果衰减”了。
相对来说,@UIMicro 说的“写文档”就很好,迁移成本为零,衰减就小。而且人可以直接读懂文档,开发时的速度和可控性好很多。
写文档的缺点是,agent每次都得读一遍文档,每次使用成本比训练好的模型更高。但是这个缺点只有在用量很大的情况下会显现出来,这需要用户数量多,而现在还没有用户,于是相当于只有优点。
A800,55小时,还要训27B模型,相当于没有试错机会搞一个skill,写一点文档,都比直接训模型靠谱如果楼主能够贴出一些计划用于训练的数据集,无论是由LLM生成还是手动标注,都会让计划更为可信
嗯~ o(* ̄▽ ̄*)o,实际训练大概在75h左右(自己贴点),另外设置了多个checkpoints。
前 5 小时是链路门禁:环境、图片 forward、两步 LoRA、adapter 链、32 样本过拟合、200 step profile,全部通过才进入正式训练。
stage 1 只占 15 小时,本身就是第一个 checkpoint:loss 不降或 Schema 指标不升,20 小时处止损转文档/skill 路线。
即便吞吐只有 0.1 samples/s,stage 2 的 33 小时 × 0.9 可用时间 ≈ 10,700 条重建样本,足够验证"小样本监督能否改善多视图重建"这个可证伪的核心问题。
数据集预计从XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
正在编写转换统一脚本
另外在我的AI CAD项目本身的流程就是skill工程,但是效果不怎么样。
现在版本确保了严格的feature plan。
当然可能是我的提示词不够好或者模型不够强(gpt-5.6 terra)