请选择 进入手机版 | 继续访问电脑版
查看: 157|回复: 13

redtube爬虫发布~~~~~~~~~~~~~~~~~~~~~~~~~~~~

[复制链接]

8

主题

47

帖子

106

积分

注册会员

Rank: 2

积分
106
发表于 2018-5-4 13:34:20 | 显示全部楼层 |阅读模式

标题一定要长


spider.zip
(1.63 KB, 下载次数: 376)
2018-5-4 13:33 上传
点击文件名下载附件

默认爬取720P的清晰度,如果需要更低清晰度请修改代码87行。
爬取的页面是https://www.redtube.com/mostviewed
回复

使用道具 举报

5

主题

597

帖子

1203

积分

金牌会员

Rank: 6Rank: 6

积分
1203
发表于 2018-5-4 14:28:47 | 显示全部楼层
权限1其实是游客也可见的。。。
回复

使用道具 举报

1

主题

48

帖子

101

积分

注册会员

Rank: 2

积分
101
发表于 2018-5-4 13:35:46 | 显示全部楼层
本帖最后由 全球资源提供商 于 2018-5-4 15:19 编辑
没什么卵用
我会告诉你我有超100T的资源
光tumblr就有20w
Update #0
分享不现实, 文件太多太大, 而且流量很贵
Update #1
看来你们对汤不热很有兴趣, 我给个逻辑
首先 你要维护一个用户列表, 就是更新资源的用户
然后循环这个列表去采集 就好了, 注意维护一个URL队列 去重用途
我是用的官方API来采集
逻辑这样
内容服务器
#1 采集
判断用户内容数量 如果和上次采集的数量一样
如果多 则代表有更新 采集 自动去重
标记为未下载
存储服务器
#2 下载
读取队列 查询未下载的
下载文件和图片 存储本地
#3 效验
我用的最简单的方法 判断文件是不是存在,且文件大小大于0
这样就好了
回复

使用道具 举报

8

主题

47

帖子

106

积分

注册会员

Rank: 2

积分
106
 楼主| 发表于 2018-5-6 03:03:00 | 显示全部楼层

全球资源提供商 发表于 2018-5-4 13:35
没什么卵用
我会告诉你我有超100T的资源


有用就不会发布了 呵呵
回复

使用道具 举报

2

主题

29

帖子

64

积分

注册会员

Rank: 2

积分
64
发表于 2018-5-4 13:38:00 | 显示全部楼层

yongs 发表于 2018-5-4 13:40
求gd分享。

tongqiu
回复

使用道具 举报

19

主题

323

帖子

693

积分

高级会员

Rank: 4

积分
693
发表于 2018-5-4 13:36:21 | 显示全部楼层

全球资源提供商 发表于 2018-5-4 13:35
没什么卵用
我会告诉你我有超100T的资源

赶紧的,分享一下,让我也瞧瞧
回复

使用道具 举报

0

主题

11

帖子

28

积分

新手上路

Rank: 1

积分
28
发表于 2018-5-4 13:35:00 | 显示全部楼层

全球资源提供商 发表于 2018-5-4 13:35
没什么卵用
我会告诉你我有超100T的资源

不分享  让论坛兄弟bao你菊花  不用润滑油 用辣椒酱!

回复

使用道具 举报

17

主题

273

帖子

591

积分

高级会员

Rank: 4

积分
591
发表于 2018-5-4 13:40:39 | 显示全部楼层
大佬10元的鸡鸡可以下载吗?
回复

使用道具 举报

5

主题

45

帖子

99

积分

注册会员

Rank: 2

积分
99
发表于 2018-5-4 14:14:19 | 显示全部楼层
想要看日韩的,欧美的简直不是人
回复

使用道具 举报

16

主题

54

帖子

146

积分

注册会员

Rank: 2

积分
146
发表于 2018-5-4 13:40:00 | 显示全部楼层

全球资源提供商 发表于 2018-5-4 13:35
没什么卵用
我会告诉你我有超100T的资源

汤不热怎么采?
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋| 主机之家 |网站地图

返回顶部