机器学习回归问题 - 高维多项式拟合
中文摘要
本文简单介绍了如何利用 Python 语言及第三方库(numpy, sko)来完成梯度下降法与粒子群算法的高阶非线性函数拟合这一基本的机器学习问题。
Abstract
A fundamental mechanical learning task of Multiple higher order nonlinear functions was introduced and achieved by Python programming with the third-party libraries which included numpy and sko.
关键词
机器学习
Mechanical Learning

引言


通过高维多项式,可以拟合任意维度超平面上分布的数据,精度随多项式阶次升高而升高。

如果指导数据分布的具体形式,可以使用自定义的函数进行拟合,通常会有更好的效果。

有一组数据分布如图


不难看出这是一个马鞍面,所以我们以二元二次的拟合函数来进行演示。

原理介绍

首先写出拟合函数的表达形式

$$fpredict=F(x,y)=c00+c10x+c01y+c20x2+c11xy+c02y2.$$

$$f_{predict} = F(x,y)=c_{00}+c_{10}x+c_{01}y+c_{20}x^2+c_{11}xy+c_{02}y^2.$$

$$ f_{predict} = F(x,y) =c_{00}+c_{10}x+c_{01}y+c_{20}x^2+c_{11}xy+c_{02}y^2 . $$

不难看出上面的式子一共有 6 个未知参数。一般来说,对于mmm维nnn次的多项式函数,最多含有$CnmnC_{mn}^nCmnn$个参数。

为了方便描述拟合函数与原数值值间的差异,我们使用均方差函数作为损失函数,损失函数越小,说明拟合函数越准确。

$$loss=1k∑ki=1(fi−F(xi,yi))2loss = \frac{1}{k} \sum_{i=1}^{k}(f_{i}-F(x_i,y_i))^2$$

$$ loss = \frac{1}{k} \sum_{i=1}^{k}(f_{i}-F(x_i,y_i))^2 $$

因为$c_{ab}$属于$f=F(x,y)$内的参数,所以:

$$ loss=L(c_{00},c_{10},c_{01},c_{20},c_{11},c_{02}) $$

至此, 多项式回归问题 转化为了 求损失函数的极小值问题。

可以使用梯度下降法或粒子群算法等一系列最优化求极值的方法进行求解。具体的原理可以看其他博主写的文章。


[修改于 6 个月前 - 2020-09-08 23:13:03]

来自:计算机科学 / 机器学习
三硝基二甲苯 作者
6个月7天前
1楼

稍等我需要研究一下新版科创怎么发帖

回复
评论
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论
虎哥
5个月21天前
2楼

我给过滤了一下格式,不知道对不对。

不能从word之类东西复制黏贴,文字要纯文字(记事本过滤),公式要latex编码。或者直接全文用LaTex写也可以,都支持的。上面帖子烂了是因为里面带有某个软件的特殊格式代码。

回复
评论
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论

想参与大家的讨论?现在就 登录 或者 注册

所属专业
上级专业
同级专业
三硝基二甲苯
进士 学者 机友 笔友
文章
71
回复
366
学术分
1
2011/01/03注册,6 个月前活动

化竟狗一只

%7B%22isDisplay%22%3Atrue%7D

仅供内部学术交流或培训使用,请先保存到本地。本内容不代表科创观点,未经原作者同意,请勿转载。

插入资源
全部
图片
视频
音频
附件
全部
未使用
已使用
正在上传
空空如也~
上传中..{{f.progress}}%
处理中..
上传失败,点击重试
等待中...
{{f.name}}
空空如也~
(视频){{r.oname}}
{{selectedResourcesId.indexOf(r.rid) + 1}}
处理中..
处理失败
插入表情
我的表情
共享表情
Emoji
上传
注意事项
最大尺寸100px,超过会被压缩。为保证效果,建议上传前自行处理。
建议上传自己DIY的表情,严禁上传侵权内容。
点击重试等待上传{{s.progress}}%处理中...已上传
空空如也~
草稿箱
加载中...
此处只插入正文,如果要使用草稿中的其余内容,请点击继续创作。
{{fromNow(d.toc)}}
{{getDraftInfo(d)}}
标题:{{d.t}}
内容:{{d.c}}
继续创作
删除插入插入
{{forum.displayName}}
{{forum.countThreads}}
篇文章,
{{forum.countPosts}}
条回复
{{forum.description || "暂无简介"}}
ID: {{user.uid}}
学术分隐藏
{{submitted?"":"投诉或举报"}}
请选择违规类型:
{{reason.description}}
支持的图片格式:jpg, jpeg, png
插入公式
分享回复:{{shareId}}
加载中...
加载中...
详情
详情
推送到专栏从专栏移除
设为匿名取消匿名
查看作者
回复
只看作者
加入收藏取消收藏
加入关注取消关注
折叠回复
置顶取消置顶
评学术分
鼓励
设为精选取消精选
建议修改
编辑
通过审核
退修或删除
历史版本
违规记录
投诉或举报
加入黑名单移除黑名单
查看IP
{{format('YYYY/MM/DD HH:mm:ss', toc)}}
下载资料
{{fileName}}
大小:{{size}}
下载当前附件将花费 {{costMessage}}
你当前剩余 {{holdMessage}}
{{fileName}}
大小:{{size}}
当前附件免费。
你已购买过此附件,下载当前附件不需要花费积分。
加载中...
{{errorInfo}}
附件已丢失
当前账号的附件下载数量限制如下:
时段 个数
{{f.startingTime}}点 - {{f.endTime}}点 {{f.fileCount}}