请选择 进入手机版 | 继续访问电脑版
查看: 200|回复: 27

爬个数据就挂掉一个网站

[复制链接]

1

主题

6

帖子

17

积分

新手上路

Rank: 1

积分
17
发表于 2018-1-14 00:17:04 | 显示全部楼层 |阅读模式
我一直使用python的requests爬取数据,有个网站的数据单线程,5分钟可以爬完.
刚才用了nodejs的request库, 从启动任务到结束10秒钟结束,以为自己眼瞎, 但是数据确实下载成功了.
然后那个网站离线了.


从来不知道nodejs这么牛叉.
回复

使用道具 举报

1

主题

6

帖子

17

积分

新手上路

Rank: 1

积分
17
 楼主| 发表于 2018-1-14 09:55:48 | 显示全部楼层
数据都入库了,没报错,10秒钟,42万行数据。
nodejs的异步第一次领略,确实很牛逼。

回复

使用道具 举报

6

主题

60

帖子

132

积分

注册会员

Rank: 2

积分
132
发表于 2018-1-15 11:28:27 | 显示全部楼层
python写得慢 是你技术有问题。。
https://luodaoyi.com/p/python-yi-bu-duo-xian-cheng-chao-gao-xing-neng-pa.html
回复

使用道具 举报

0

主题

44

帖子

92

积分

注册会员

Rank: 2

积分
92
发表于 2018-1-16 09:10:00 | 显示全部楼层
应该不会是完全都爬完了吧。。。
回复

使用道具 举报

12

主题

71

帖子

180

积分

注册会员

Rank: 2

积分
180
发表于 2018-1-14 08:12:49 | 显示全部楼层
不会那么巧 等你把数据爬完了再挂吧?
看看你的数据完整不?
回复

使用道具 举报

29

主题

187

帖子

427

积分

中级会员

Rank: 3Rank: 3

积分
427
发表于 2018-1-14 04:54:13 | 显示全部楼层
我的想法是:你10秒并没有爬完。因为它网站不会等你爬完了才挂。
回复

使用道具 举报

5

主题

77

帖子

179

积分

注册会员

Rank: 2

积分
179
发表于 2018-1-14 00:37:48 | 显示全部楼层
不太懂爬虫,能科普下吗,主要爬去什么数据?
回复

使用道具 举报

3

主题

170

帖子

373

积分

中级会员

Rank: 3Rank: 3

积分
373
发表于 2018-1-14 00:18:51 | 显示全部楼层
这说明
python垃圾, js牛逼

回复

使用道具 举报

1

主题

6

帖子

17

积分

新手上路

Rank: 1

积分
17
 楼主| 发表于 2018-1-14 00:19:17 | 显示全部楼层

jarvan 发表于 2018-1-14 00:18
不太懂爬虫,能科普下吗,主要爬去什么数据?

彩票历史开奖数据,
用途:反正不是买彩票
回复

使用道具 举报

5

主题

77

帖子

179

积分

注册会员

Rank: 2

积分
179
发表于 2018-1-14 00:20:02 | 显示全部楼层

wfion 发表于 2018-1-14 00:19
大姐姐

那东西有毛用
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋| 主机之家 |网站地图

返回顶部