JavDB: 403 禁止访问: https://javdb365.com/

[yanwuhuo1]

问题详情

运行方式

我运行的是打包后的exe程序

代理

是

日志

2024-08-29 23:58:03 main:426 INFO: 正在整理: BH-012.mp4
2024-08-29 23:58:04 main:87 DEBUG: web.airav: 未找到影片: 'BH-012'
2024-08-29 23:58:04 main:96 DEBUG: web.mgstage: 网络错误，正在重试 (1/3):
HTTPError('403 Client Error: Forbidden for url: https://www.mgstage.com/product/product_detail/BH-012/')
2024-08-29 23:58:04 main:96 DEBUG: web.javlib: 网络错误，正在重试 (1/3):
HTTPError('403 Client Error: Forbidden for url: https://www.javlibrary.com/cn/vl_searchbyid.php?keyword=BH-012')
2024-08-29 23:58:04 main:93 ERROR: JavDB: 403 禁止访问: https://javdb365.com/search?q=BH-012
2024-08-29 23:58:04 main:96 DEBUG: web.prestige: 网络错误，正在重试 (1/3):
HTTPError('403 Client Error: Forbidden for url: https://www.prestige-av.com/goods/goods_detail.php?sku=BH-012')
2024-08-29 23:58:05 main:96 DEBUG: web.mgstage: 网络错误，正在重试 (2/3):
HTTPError('403 Client Error: Forbidden for url: https://www.mgstage.com/product/product_detail/BH-012/')
2024-08-29 23:58:05 main:96 DEBUG: web.javlib: 网络错误，正在重试 (2/3):
HTTPError('403 Client Error: Forbidden for url: https://www.javlibrary.com/cn/vl_searchbyid.php?keyword=BH-012')
2024-08-29 23:58:05 main:96 DEBUG: web.prestige: 网络错误，正在重试 (2/3):
HTTPError('403 Client Error: Forbidden for url: https://www.prestige-av.com/goods/goods_detail.php?sku=BH-012')
2024-08-29 23:58:05 main:87 DEBUG: web.jav321: 未找到影片: 'BH-012'
2024-08-29 23:58:05 main:87 DEBUG: web.javbus: 未找到影片: 'BH-012'
2024-08-29 23:58:05 main:96 DEBUG: web.mgstage: 网络错误，正在重试 (3/3):
HTTPError('403 Client Error: Forbidden for url: https://www.mgstage.com/product/product_detail/BH-012/')
2024-08-29 23:58:05 main:96 DEBUG: web.prestige: 网络错误，正在重试 (3/3):
HTTPError('403 Client Error: Forbidden for url: https://www.prestige-av.com/goods/goods_detail.php?sku=BH-012')
2024-08-29 23:58:05 main:96 DEBUG: web.javlib: 网络错误，正在重试 (3/3):
HTTPError('403 Client Error: Forbidden for url: https://www.javlibrary.com/cn/vl_searchbyid.php?keyword=BH-012')
2024-08-29 23:58:14 main:96 DEBUG: web.avsox: 网络错误，正在重试 (1/3):
ProxyError(MaxRetryError("HTTPSConnectionPool(host='avsox.click', port=443): Max retries exceeded with url: /cn/search/BH-012 (Caused by ProxyError('Cannot connect to proxy.', timeout('_ssl.c:1114: The handshake operation timed out')))"))
2024-08-29 23:58:26 main:96 DEBUG: web.avsox: 网络错误，正在重试 (2/3):
ProxyError(MaxRetryError("HTTPSConnectionPool(host='avsox.click', port=443): Max retries exceeded with url: /cn/search/BH-012 (Caused by ProxyError('Cannot connect to proxy.', timeout('_ssl.c:1114: The handshake operation timed out')))"))
2024-08-29 23:58:34 main:496 DEBUG: 为其配置的8个抓取器均未获取到影片信息
Traceback (most recent call last):
File "JavSP.py", line 432, in RunNormalMode
File "JavSP.py", line 418, in check_step
Exception: 为其配置的8个抓取器均未获取到影片信息

2024-08-29 23:58:34 main:497 ERROR: 整理失败: 为其配置的8个抓取器均未获取到影片信息

运行截图（可选）

No response

提交须知

• 我确认使用的是最新版本并且阅读过Wiki帮助文档

[lixz123007]

如果你不在国内。。我猜要你懂得

[yanwuhuo1]

如果你不在国内。。我猜要你懂得

我开了科技啊

[Yuukiy]

触发了javdb的反爬虫机制，如果你第一部影片能刮削成功，可以尝试把sleep_after_scraping = 1改成更大的数字

[niech1112]

第一部都下载不下来，还有办法么，是否能添加IP代理池？

[Yuukiy]

第一部都下载不下来，还有办法么，是否能添加IP代理池？

换个机场试试？我这边要抓很多数据才会触发反爬

[xilochen]

配置文件里把免代理地址改一下：
javdb = https://javdb368.com
javbus = https://www.busjav.help/

[glyh]

我之前在Downstream fork里考虑过添加一个request pool模型，使得对于任意一个域名的request per sec 不超过一定频率。我会考虑将这个模型添加到JavSP中