下载链接:http://pan.baidu.com/s/1jIBixLk 密码:qylv 一小时采集了6.67GB的小说,太多了只传了3000多部 简单爬虫,没什么好说的直接贴代码吧 #

下载链接:http://pan.baidu.com/s/1jIBixLk 密码:qylv 一小时采集了6.67GB的小说,太多了只传了3000多部 简单爬虫,没什么好说的直接贴代码吧 #
要求:爬百度某个贴吧,可以设置爬取的页数,将每个帖子和回复存入mysql数据库。 运行效果如下,合理设置threadNum和maxURL可以把网速顶满~ 数据库结构: # # Structure fo