#这里的源码都是很久前刚开始入手python时候的练习代码,已经没有太大价值,代码规范、抓取思路都非常幼稚,关闭更新,仅作初学者参考使用
- 京东、天猫、淘宝单功能爬虫Demo
- 京东评论多线程爬取,并存入json
- 单线程-爬取天猫单个商品所有评论Demo
- 单线程-根据天猫店铺域名获取所有商品的ID返回为SET对象
- 多线程-爬取天猫某商品所有评论
====================京东、天猫、淘宝单功能爬虫Demo测试结果=====================
商品ID 价格(原价) 1星 2星 3星 4星 5星 评论数 平均评分 好评数 好评率 中评数 中评率 差评数 差评率 :
967821 3199.00(3800.00) 19 7 35 175 556 792 5 731 0.924 42 0.053 19 0.023
本次京东爬虫执行时间约为: 0.48 s
商品ID、价格、评论数、评分、月销量、总库存:
39086934885 85.00 0 4.6 3 1315
本次淘宝爬虫执行时间约为: 1.13 s
商品ID、价格、评论数、评分、月销量、总库存:
36879577205 null 3730 4.8 3911 4309
本次天猫爬虫执行时间约为: 10.32 s
#下次补充多线程爬另2个电商网站的评论内容,以及天猫淘宝的根据店铺ID爬取所有产品