请选择 进入手机版 | 继续访问电脑版
查看: 10|回复: 0

python 多线程批量下载图片问题

[复制链接]

3

主题

11

帖子

27

积分

新手上路

Rank: 1

积分
27
发表于 2019-1-6 23:32:56 | 显示全部楼层 |阅读模式
本帖最后由 mingtian 于 2019-1-6 23:34 编辑
最近学了下python,打算写个批量下载图片的。单线程搞定了,多线程就不行了(网上找的多线程代码)。因为我发现单线程和多线程的下载耗时差不多。。哪位大佬帮忙琢磨下。谢谢
[ol]
  • #coding=utf-8
  • import requests
  • import re
  • import json
  • import os
  • import time
  • import threading
  • #自定义函数啦
  • #漫画下载函数
  • def mh_down(url):
  •         r = requests.get(url)
  •         r.encoding = 'UTF-8'
  •         relink = 'chapterImages = (.*);var chapterPath'
  •         cinfo = re.findall(relink,r.text)
  •         mh_json = json.loads(cinfo[0])
  •         #获取图片地址中间部分
  •         relink1 = 'var chapterPath = "(.*)";var chapterPrice ='
  •         cinfo1 = re.findall(relink1,r.text)
  •         mh_zj = cinfo1[0]
  •         #单线程下载图片
  •         '''
  •         start = time.time()
  •         for key in mh_json:
  •                 #https://img001.yayxcc.com/images/comic/111/221325/1526971083Mw1MsFzdRMx9Pedi.jpg
  •                 mh_pic = 'https://img001.yayxcc.com/%s%s'%(mh_zj,key)
  •                 response = requests.get(mh_pic)
  •                 with open(os.path.join(r'C:\py\mh', key), 'wb') as f:
  •                         f.write(response.content)
  •         end = time.time()
  •         return 'Running time: %s Seconds'%(end-start)
  •         '''
  •         #多线程下载图片
  •         start = time.time()
  •         thread_list = []
  •         threads_max_count = 100 # 线程总数
  •         count = 0
  •         num = 0
  •         for item in mh_json:
  •                 if count  judge_alive_count: # 如果线程计数值大于判断存活的计数值
  •                                         count = judge_alive_count # 将当前的线程数值置为存活数量
  •         end = time.time()
  •         return 'Running time: %s Seconds'%(end-start)
  • #下载图片啦
  • def mh_down_dxc(url,key):
  •         response = requests.get(url)
  •         with open(os.path.join(r'C:\py\mh', key), 'wb') as f:
  •                 f.write(response.content)
  • print(mh_down('https://www.36mh.com/manhua/zhanlansedeshijie/327505.html'))[/ol]复制代码
  • 回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    Archiver|手机版|小黑屋| 主机之家 |网站地图

    返回顶部