python3_spider_mine

《一》、python爬虫的例子

一、爬取csdn论坛数据csdn_spider

二、爬取安智应用市场的数据anzhi_selenium_spider

peewee + selenium + chromedriver

三、京东某个商品详情页的数据jd_selenium_spider

peewee + selenium + chromedriver

四、b站滑动验证码，自动识别登录(2020-06-07)bilibili_slenium_login

五、使用scrapy爬取糗事百科(2020-06-08)qiushibaike

六、通过CrawlSpider对拉勾网站进行整站爬取(2020-06-09) lagou

七、线程池下载资源网的视频资源(2020-06-13) video

《二》、基础知识

一、区分动态和静态网页

打开网页的源代码(view-source:http://xxx.com)，复制需要爬的元素，查看source源码中是否有该元素，没有的话说明这个元素是动态加载的

二、免费代理ip网站

https://www.zdaye.com/dayProxy/ip/321750.html 站大爷

https://www.xicidaili.com/nn/8 高匿代理IP

三、收费代理ip网站

阿布云