论坛>软件综合
发表于《数据抓取艺术——以KC网为例》
虎哥
2年9个月前修改于 2年9个月前IP:四川
929113
2楼

楼主润了吗。帮忙想想，假设是N台肉鸡IP不重复的实施楼主的操作，应该如何识别并拦截？😂

现实是，大约有90多家爬虫（其中相当数量估测为AI公司）每天都来爬KC，并学会了检查新帖。每天有数万次访问是爬虫贡献的。但这种“攻击”非常难屏蔽，毕竟对方也采用各种手段伪装成正常访问。

+0.5
科创币
全桥整流
2024/02/06
哈哈我这个程序跑一次就访问kc上千次了，这么想给了服务器不少压力
评论(5)
7
文号 / 929113
虎哥
盖世豪杰
名片专栏发私信
学术分 39
总主题 1659 帖总回复 14315 楼拥有证书：专家 进士 学者 机友 笔友
注册于 2005/08/24 21:16:00最后登录 2026/10/31 13:23:35
主体类型：个人
所属领域：无
认证方式：手机号
IP归属地：0

个人简介

刘 虎

创新工程局主席

笔记
{{note.content}}
{{n.user.username}}
{{fromNow(n.toc)}} {{n.status === noteStatus.disabled ? "已屏蔽" : ""}} {{n.status === noteStatus.unknown ? "正在审核" : ""}} {{n.status === noteStatus.deleted ? '已删除' : ''}}
  • 编辑
  • 删除
  • {{n.status === 'disabled' ? "解除屏蔽" : "屏蔽" }}
我也是有底线的