请选择 进入手机版 | 继续访问电脑版
查看: 84|回复: 7

有个难题请教爬虫大佬

[复制链接]

3

主题

12

帖子

33

积分

新手上路

Rank: 1

积分
33
发表于 2018-3-26 12:53:13 | 显示全部楼层 |阅读模式
本帖最后由 kumotobi 于 2018-3-26 12:54 编辑
因为项目需要,想用Python爬虫爬LinkedIn上的公司公开主页信息,页面总数可能上百万,但是LinkedIn号称有全球最强反爬虫技术,通过谷歌搜索进入公司页面前几次可以不用登录之后则出现登录界面,挂VP/N、清cookies无效。同一账号登录后大量爬去则被封号。据说谷歌爬虫可以无限制爬LinkedIn页面,有没有可能利用这一点伪装成谷歌爬虫?其他目前能想到的就是找大量IP代理池,注册大量账号轮换使用,那么哪里能低价买到大量账号?或者还有什么思路?谢谢各位大佬
回复

使用道具 举报

3

主题

55

帖子

129

积分

注册会员

Rank: 2

积分
129
发表于 2018-3-26 14:34:39 | 显示全部楼层
直接抓谷歌的不是一样的效果?
回复

使用道具 举报

0

主题

16

帖子

36

积分

新手上路

Rank: 1

积分
36
发表于 2018-3-26 14:09:47 | 显示全部楼层
google爬虫估计linkedin家有白名单的,不是那么好伪装的
回复

使用道具 举报

8

主题

47

帖子

106

积分

注册会员

Rank: 2

积分
106
发表于 2018-3-26 14:35:51 | 显示全部楼层
楼上说的对 直接抓谷歌就好了  别自己给自己找麻烦

回复

使用道具 举报

15

主题

159

帖子

351

积分

中级会员

Rank: 3Rank: 3

积分
351
发表于 2018-3-26 14:45:54 | 显示全部楼层
"

eq大佬现身,最近还有什么新爬虫教程吗
回复

使用道具 举报

8

主题

47

帖子

106

积分

注册会员

Rank: 2

积分
106
发表于 2018-3-26 14:35:00 | 显示全部楼层

fei2018 发表于 2018-3-26 14:45
eq大佬现身,最近还有什么新爬虫教程吗


没什么好玩的网站啊,没动力
回复

使用道具 举报

7

主题

200

帖子

435

积分

中级会员

Rank: 3Rank: 3

积分
435
发表于 2018-3-26 14:49:24 | 显示全部楼层


那就试试谷歌UA咯
回复

使用道具 举报

7

主题

200

帖子

435

积分

中级会员

Rank: 3Rank: 3

积分
435
发表于 2018-3-26 14:45:00 | 显示全部楼层
另外挂微屁恩的话,识别很方便,服务器的段早就被盯上了
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋| 主机之家 |网站地图

返回顶部