论坛>计算机科学>软件综合
发表于《数据抓取艺术——以KC网为例》
CIT天行科技
2年9个月前IP:广东
929146
4楼
引用虎哥发表于2楼的内容
楼主润了吗。帮忙想想，假设是N台肉鸡IP不重复的实施楼主的操作，应该如何识别并拦截？😂现实是，大约有90多家爬虫（其中相当数量估测为AI公司）每天都来爬KC，并学会了检查新帖。每天有数万次访问是爬虫...

还有一种方法，kc可以搞点人机识别之类的东西，稍微用点方法应该就能很容易区分kcer和爬虫了，如果是无脑的游客kc也没必要放他们进来


+0.5
科创币
全桥整流
2024/02/07
谷歌是吧，请找出下图中所有正确向上的图案（）
评论(4)
文号 / 929146
十步芳草
名片发私信
学术分 0
总主题 14 帖总回复 148 楼拥有证书：进士 机友 笔友
注册于 2023/10/21 11:16:20最后登录 2026/07/09 23:55:56
主体类型：个人
所属领域：无
认证方式：手机号
IP归属地：广东

个人简介

暂未填写
笔记
{{note.content}}
{{n.user.username}}
{{fromNow(n.toc)}} {{n.status === noteStatus.disabled ? "已屏蔽" : ""}} {{n.status === noteStatus.unknown ? "正在审核" : ""}} {{n.status === noteStatus.deleted ? '已删除' : ''}}
  • 编辑
  • 删除
  • {{n.status === 'disabled' ? "解除屏蔽" : "屏蔽" }}
我也是有底线的