请选择 进入手机版 | 继续访问电脑版
查看: 333|回复: 35

关于javhd脚本的一些问题

[复制链接]

8

主题

47

帖子

106

积分

注册会员

Rank: 2

积分
106
发表于 2018-3-14 09:49:51 | 显示全部楼层 |阅读模式

  首先我承认,我写的脚本很容易被识别为机器,然后就爬不成了。
解决办法很简单,让它每爬一页休息一会就好了。


spider.zip
(1.4 KB, 下载次数: 411)
2018-3-14 09:48 上传
点击文件名下载附件

关于限速问题:
将线程放少点就好了,具体 就是将37行的10改的小一点就好了
python问题建议百度,centos下python3安装https://eqblog.com/centos-install-python3-6-4.html
安装好后使用pip3安装所需库就好了
回复

使用道具 举报

0

主题

38

帖子

82

积分

注册会员

Rank: 2

积分
82
发表于 2018-3-14 09:51:15 | 显示全部楼层
试用会员爬不了全部视频,建议要爬全站的来一个月正式会员
回复

使用道具 举报

8

主题

47

帖子

106

积分

注册会员

Rank: 2

积分
106
 楼主| 发表于 2018-3-14 09:51:56 | 显示全部楼层

yeshan 发表于 2018-3-14 09:51
试用会员爬不了全部视频,建议要爬全站的来一个月正式会员


谢谢mjj提醒
回复

使用道具 举报

0

主题

4

帖子

12

积分

新手上路

Rank: 1

积分
12
发表于 2018-3-14 09:51:00 | 显示全部楼层
手上没有大盘鸡可以爬下全部视频就个7o
回复

使用道具 举报

4

主题

29

帖子

72

积分

注册会员

Rank: 2

积分
72
发表于 2018-3-14 09:56:28 | 显示全部楼层

yeshan 发表于 2018-3-14 09:51
试用会员爬不了全部视频,建议要爬全站的来一个月正式会员

有不能爬的链接吗,为啥我爬了900多部好像没遇到,,,
回复

使用道具 举报

13

主题

78

帖子

179

积分

注册会员

Rank: 2

积分
179
发表于 2018-3-14 17:25:44 | 显示全部楼层
我最近两天用的,反正爬1分钟不到就识别为爬虫了,估计是最近改动的。
回复

使用道具 举报

1

主题

223

帖子

483

积分

中级会员

Rank: 3Rank: 3

积分
483
发表于 2018-3-14 09:51:00 | 显示全部楼层
早上还好好的,想在不知道原因爬不见了
回复

使用道具 举报

13

主题

78

帖子

179

积分

注册会员

Rank: 2

积分
179
发表于 2018-3-14 17:38:47 | 显示全部楼层
还是不行。我在原来目录下运行,脚本跳过几十个已下载的文件后还是同样报错,这时候去网站登录就是脚本被识别为爬虫并要求非机器人验证。
补充下,我环境没问题的,之前已经下了600G多。
[ol]
  • Traceback (most recent call last):
  •   File "javhd.py", line 85, in
  •     run()
  •   File "javhd.py", line 75, in run
  •     mp4_dict=s.find_mp4(i[0],reqget)
  •   File "javhd.py", line 24, in find_mp4
  •     return req.json()
  •   File "/usr/local/lib/python3.6/site-packages/requests/models.py", line 892, in json
  •     return complexjson.loads(self.text, **kwargs)
  •   File "/usr/local/lib/python3.6/json/__init__.py", line 354, in loads
  •     return _default_decoder.decode(s)
  •   File "/usr/local/lib/python3.6/json/decoder.py", line 339, in decode
  •     obj, end = self.raw_decode(s, idx=_w(s, 0).end())
  •   File "/usr/local/lib/python3.6/json/decoder.py", line 357, in raw_decode
  •     raise JSONDecodeError("Expecting value", s, err.value) from None
  • json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
  • [/ol]复制代码
  • 回复

    使用道具 举报

    1

    主题

    223

    帖子

    483

    积分

    中级会员

    Rank: 3Rank: 3

    积分
    483
    发表于 2018-3-14 17:45:47 | 显示全部楼层
    感觉我和楼上大佬一样的,跳过几十个以后就报错了,一脸懵逼
    回复

    使用道具 举报

    0

    主题

    7

    帖子

    18

    积分

    新手上路

    Rank: 1

    积分
    18
    发表于 2018-3-14 17:50:19 | 显示全部楼层

    savior 发表于 2018-3-14 17:57
    感觉我和楼上大佬一样的,跳过几十个以后就报错了,一脸懵逼

    跳过几十个之后因为快速访问大量网址所以IP直接被ban了。换ip就行。
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    Archiver|手机版|小黑屋| 主机之家 |网站地图

    返回顶部