请选择 进入手机版 | 继续访问电脑版
查看: 138|回复: 14

有精通爬虫和采集的吗?

[复制链接]

38

主题

61

帖子

176

积分

注册会员

Rank: 2

积分
176
发表于 2018-5-16 09:24:11 | 显示全部楼层 |阅读模式
我把百度经验的链接抓取到有近亿条记录,用服务器的话硬盘估计不够,准备用家用宽带100m本地电脑抓取,10线并发,平均2秒10篇,算了一下,采完要好几个月,还不算采集期间增加的,在最低成本的条件下,有何良策?
回复

使用道具 举报

5

主题

597

帖子

1203

积分

金牌会员

Rank: 6Rank: 6

积分
1203
发表于 2018-5-16 15:54:22 | 显示全部楼层

sora 发表于 2018-5-16 09:54
也采集了百度经验, 不过尴尬的是, 百度不怎么收录, 可能.cc域名的原因, 又或者百度经验的标题相似度太高. ...

采集港台的娱乐新闻换成简体中文收录好
回复

使用道具 举报

1

主题

48

帖子

105

积分

注册会员

Rank: 2

积分
105
发表于 2018-5-16 09:54:00 | 显示全部楼层
我也想问问.....  我才怕去了 几十万数据  觉得到上亿也有会存储不够
回复

使用道具 举报

0

主题

48

帖子

108

积分

注册会员

Rank: 2

积分
108
发表于 2018-5-16 16:45:00 | 显示全部楼层

传奇1900 发表于 2018-5-16 09:27
第一眼看到的是
精。。。。。。。。。。虫。。。。。。。。。。。


回复

使用道具 举报

4

主题

87

帖子

184

积分

注册会员

Rank: 2

积分
184
发表于 2018-5-16 09:27:01 | 显示全部楼层
也采集了百度经验, 不过尴尬的是, 百度不怎么收录, 可能.cc域名的原因, 又或者百度经验的标题相似度太高.
回复

使用道具 举报

18

主题

55

帖子

134

积分

注册会员

Rank: 2

积分
134
发表于 2018-5-16 09:27:17 | 显示全部楼层
你需要海量的代理和过验证码。曾经采集百度知道被验证到吐
回复

使用道具 举报

11

主题

43

帖子

101

积分

注册会员

Rank: 2

积分
101
发表于 2018-5-16 09:27:52 | 显示全部楼层
百度经验百度的排重很厉害吧。
除非你是拼接文章。
回复

使用道具 举报

3

主题

22

帖子

51

积分

注册会员

Rank: 2

积分
51
发表于 2018-5-16 09:27:00 | 显示全部楼层


真是个大水笔
回复

使用道具 举报

7

主题

200

帖子

435

积分

中级会员

Rank: 3Rank: 3

积分
435
发表于 2018-5-16 09:33:53 | 显示全部楼层


做分布式吧
回复

使用道具 举报

38

主题

61

帖子

176

积分

注册会员

Rank: 2

积分
176
 楼主| 发表于 2018-5-16 09:54:25 | 显示全部楼层

sora 发表于 2018-5-16 09:54
也采集了百度经验, 不过尴尬的是, 百度不怎么收录, 可能.cc域名的原因, 又或者百度经验的标题相似度太高. ...

不做编辑不光不收,还K
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋| 主机之家 |网站地图

返回顶部