文号
t72881
阅读
9229
回复
7
收藏
4
python制作的简单的爬虫
暗夜幽灵
2015/07/27
软件综合
IP:黑龙江
没事写的一个python爬虫,目前只提供了抓取贴吧小说的分析脚本,想要分析别的从analyser/XXXXXXXXXXX里的analyser类派生分析器.分析器怎样写参考XXXXXXXX
用法: 
ncap.py -u url -a analyser -o output [-g agent] [analyser_parameters]
url是啥不用说了,analyser是analyser目录下的分析脚本,打文件名就行了,不要打py.output是输出的文件,agent是浏览器的user-agent标识

像这样 
ncap.py -u  http://tieba.baidu.com/p/xxxxx?see_lz=1 -a tieba -o xxx.txt
然后这个帖子所有楼都被抓到xxx.txt里了
点完只看楼主在复制url的话只抓楼主
东西在github上,github地址:XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
来自：
软件综合/计算机编程
7
全部只看作者
smith
11年5个月前IP:广东
781993
1楼
楼主有现在python登陆贴吧可用的代码吗，直接账户密码非cookie模式的。
貌似现在只能用cookie登陆了，这样使得做一些事情[s::lol]很不方便。
引用
评论
暗夜幽灵作者
11年5个月前IP:黑龙江
782142
2楼
引用 smith:
楼主有现在python登陆贴吧可用的代码吗，直接账户密码非cookie模式的。
貌似现在只能用cookie登陆了，这样使得做一些事情很不方便。
没注意过这方面,直接构造HTTP GET提交或POST提交登录不了么?
引用
评论
smith
11年5个月前IP:广东
782159
3楼
引用 暗夜幽灵:
没注意过这方面,直接构造HTTP GET提交或POST提交登录不了么?
你试试就知道了，登陆不了。百度这么做使得一大批发帖机爆吧机都用不了
引用
评论
phpskycn
11年4个月前IP:浙江
783285
4楼
建议LZ把代码作为附件传到论坛上一份，github有时候会被墙，国内有些地方即使没被墙访问也巨慢
引用
评论
暗夜幽灵作者
11年4个月前IP:黑龙江
783328
5楼
引用 phpskycn:
建议LZ把代码作为附件传到论坛上一份，github有时候会被墙，国内有些地方即使没被墙访问也巨慢
安装一个git直接clone不卡
引用
评论
暗夜幽灵作者
11年4个月前IP:黑龙江
783330
6楼
引用
评论
全部只看作者
笔记
{{note.content}}
{{n.user.username}}
{{fromNow(n.toc)}} {{n.status === noteStatus.disabled ? "已屏蔽" : ""}} {{n.status === noteStatus.unknown ? "正在审核" : ""}} {{n.status === noteStatus.deleted ? '已删除' : ''}}
  • 编辑
  • 删除
  • {{n.status === 'disabled' ? "解除屏蔽" : "屏蔽" }}
我也是有底线的