Python爬虫如何加速？异步、协程还是多进程？分享一个常用做法，小白也能看懂。

最近在知识星球：Python读者圈，遇到读者提问：Python爬虫如何加速？

这个问题涉及到一个爬虫里，甚至是整个Python编程里都非常重要的问题：

如果同时下载1w张图片，如何有效地加速程序运行，缩短下载时间？

今天我们一起来看一下常用的解决方案。

1、为什么慢？

首先我们先看一下，原来的代码里，是什么原因导致程序慢的？
下面是代码和运行结果：

1
2
3
4
5
import office

for i in range(1, 18):
    url = 'https://www.python-office.com/api/img-cdn/test/spider/{}.jpg'.format(str(i))
    office.image.down4img(url, output_name=str(i))

顺序执行看起来很完美，但是完美的背后是不是有陷阱呢？

为了更好的理解这个代码，我们先举一个例子：你面前有10台洗衣机编号是从1到10，里面转满了衣服需要你清洗，有的脏可能要强力洗洗的久，有的干净只需要速洗洗的快。

清洗以后，需要你记录下他们的清理顺序，有下列2种方案供你选择：

  1. 一个挨一个的洗完。先启动洗衣机1号，等1号洗完了，再启动2号，依次类推。这样你记录的结果和上图一样，是完美的按顺序完成。
  2. 先同时打开所有的洗衣机，哪一个洗完了就记录哪一个。因为有的洗得快，有的洗得慢，这样你记录的结果是混乱的。

哪种方式最快呢？毫无疑问是第2种，因为可以让所有的洗衣机同时工作，时间资源可以复用。

回到我们的程序，我们下载一张图片也是分为2步：请求图片资源，保存到本地。

上面的代码之所以慢，就是因为它是请求到第1张的资源，保存到本地之后，再去请求第2张的资源。看起来很完美，但其实问题很大。

如何加快速度呢？我们如果可以先请求到所有的图片资源（打开所有的洗衣机），然后再统一保存图片（哪台洗完衣服，就先记录哪台），这样是不是就会快很多呢？

下面我们按照第2种思路，在Python里的实现实现一下。

2、解决代码

Talk is cheap,show me the code.
先上代码和运行结果。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
import asyncio
from aiohttp import ClientSession

tasks = []
url = "https://www.python-office.com/api/img-cdn/test/spider/{}.jpg"

async def hello(url, i='wanfeng', type='jpg'):
    async with ClientSession() as session:
        async with session.get(url) as response:
            if response.status==200:
                response = await response.read()
                # print(response)
                async with aiofiles.open('.'.join((str(i), type)), 'wb') as output_img:
                    # for chunk in response:
                    await output_img.write(response)
                    output_img.close()
                print(f"下载成功，图片名称：{'.'.join((str(i), type))}")


def run():
    for i in range(1, 18):
        task = asyncio.ensure_future(hello(url.format(i), i))
        tasks.append(task)

def main():
    loop = asyncio.get_event_loop()
    run()
    loop.run_until_complete(asyncio.wait(tasks))

if __name__ == '__main__':
    main()


主要使用的库是：

  • asyncio：协程，让图片下载不按顺序，可以加快速度
  • aiohttp：替代requests，用来异步发送请求。
  • aiofiles：异步写入文件内容

3、还有其它方法吗？

还有多进程也可以试试，但是多进程更大的优势体现在计算密集型的场景下。
爬虫获取网络请求属于I/O密集型操作，多进程的优势不大。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
# -*- coding:utf-8 -*-
import multiprocessing
import os, time
from multiprocessing import Pool

import requests

url = "https://www.python-office.com/api/img-cdn/test/spider/{}.jpg"

def down4img(url, output_name, type):
    """
    下载指定url的一张图片，支持所有格式:jpg\png\gif .etc
    """
    # print("子进程开始执行>>> pid={},ppid={},编号{}".format(os.getpid(), os.getppid(), output_name))

    response = requests.get(url, stream=True)
    with open('.'.join((output_name, type)), 'wb') as output_img:
        for chunk in response:
            output_img.write(chunk)
        output_img.close()
        print(f"下载成功，图片名称：{'.'.join((output_name, type))}")
    # print("子进程终止>>> pid={},ppid={},编号{}".format(os.getpid(), os.getppid(), output_name))



def main():
    print("主进程开始执行>>> pid={}".format(os.getpid()))
    ps = Pool(multiprocessing.cpu_count())
    ps = Pool(3)
    for i in range(1, 18):
        # ps.apply(worker,args=(i,))          # 同步执行
        output_name = str(i)
        type = 'jpg'
        ps.apply_async(down4img, args=(url.format(str(i)), output_name, type,))  # 异步执行
        # ps.apply(down4img, args=(url.format(str(i)), output_name[0], type,))  # 同步执行

    # 关闭进程池，停止接受其它进程
    ps.close()
    # 阻塞进程
    ps.join()
    print("主进程终止")


if __name__ == '__main__':
    main()

主要使用的库是：

  • multiprocessing：创建进程池

4、写在最后

希望能给你带来帮助。如果想系统的学习Python，欢迎大家扫码加入我的知识星球👉Python读者圈，我们一起学习提高~

             

展开全文 >>

python-star-group

大家好，这里是程序员晚枫。

今年下半年开始，我打算做一个知识星球，和你一起学习。

0、介绍一下我自己

我是一名3年工作经验的Python程序员，2019年硕士毕业于华南理工大学。
也是从毕业这一年开始做编程自媒体，2个全网同名的系列账号：Python自动化办公（社区）、程序员晚枫。
截止今天（22年7月）全网粉丝20w+，获得过多个技术平台的专家博主称号。

但是：

  • 说实话，以上这些只能说明我自己曾经努力过，
  • 然而学习Python的重点是你自己，
  • 那么，我能给你的学习带来什么呢？

今年下半年开始，我建立了一个知识星球：Python读者圈，来帮助你学习Python。

门票：365元/位，以下是星球能提供的服务。

1、如何白嫖？

知道你想学习，又不想付费。那我就给你说一下，如何白嫖这个星球？

打卡返现：全额返款365元

加入以后，你可以每天更新一个自己学习总结的Python知识点，连续更新n天返现。规则如下：

  • 连续打卡天数和返现金额，3个梯度：30天返现50元；60天返现100元；90天返现150元。每个梯度都可以领一次，一共返现300元，完成全部梯度，额外返现65元，所以一共返现全部的门票365元：50+100+150+65。建议先从30天打卡开始，循序渐进。
  • 每条带上序号：N/30，带上标签：#打卡返现。禁止先占位，第二天再写内容，每次断更，需要重新开始。
  • 打卡字数需要200字以上+自己的代码截图，一定要是自己的原创，禁止复制粘贴或者洗稿等其它欺骗性行为，一经发现不诚信的朋友，取消返现资格。整个星球通告。
  • 不参加打卡返现也没关系，不影响其它星球权益和服务。如果确认参加，可以加一下我的微信：CoderWanFeng，我拉你进打卡群。

投稿有稿费

如果你在学习的过程中，有一些精彩的总结或者案例实践，欢迎整理成优美的文章投稿在我的公众号：Python自动化办公社区（方向：小白案例）或者Python图书馆（方向：专业分享）。

稿件一经发布，我会付你稿费50元。如果阅读满1000元，再奖励50元。投稿要求：

  • 没在其它平台发布过，作者写你的名字，我标记原创。
  • 不用复杂的排版，但是需要自己的代码配图，可以用word的形式提交给我。如果自己有公众号，也可以写在自己的公众号里，用预览的形式给我。
  • 发布后可以转发朋友圈、微信群，但是禁止机器刷量。

参与开源项目有奖励

我在做一个开源项目：python-office，目前该项目获得了开源中国的推荐，GitHub star 160+。

等你的python开发技术驾轻就熟了，我会指导你参与开源项目的开发。仅限加入星球的朋友：

  • 首次提交有效PR，会获得一本Python进阶图书。具体是哪本书，我会挑一本通过我对你的了解，对你当前阶段技术进步最有帮助的。

  • 如果连续贡献有效开源代码，我会邀请你成为星球合伙人or自媒体合伙人，我和你共享更多的行业资源~

成为星球合伙人

点赞评论别人的分享，积极参与技术讨论。我会从星球里挑选星球合伙人，和你一起运营这个星球，分享其中的荣誉和收益，成为一名靠谱的斜杠青年。

2、核心价值

好了，说完如何白嫖，再详细说一下这个星球提供的核心价值：学习Python。

每月1次：1对1的语音沟通，保姆式的陪伴学习

从你加入星球开始，我就会详细了解关于你：

  • 你现阶段是什么水平；
  • 你的学习目标是什么；
  • 结合你的水平和目标，给你一个量身定制的学习计划。

每月10次：星球提问，每次不少于500字的回复

我在星球里设置了每人每月10次的提问机会，不论你在星球里提什么问题，不论问题是复杂还是简单，每次我会给你一个500字以上的回复。

  • 10次会不会太少了？如果你需要每天都提问1次以上，只能说明1个问题：
    • 我给你制定的学习计划不适合你，不能有效的带领你学习，给你造成了很多问题。那么请你联系我，我们重新制定学习计划。
    • 我希望你的每次提问都是经过认真思考的，每次提问都难度递增，让我感受到你的进步。

专栏免费看

我自己是Python开发，我在持续地整理几个专栏，提供给大家阅读和讨论：

  • 搭建个人网站
  • Python基础解析
  • pandas源码解析
  • flask源码解析
  • 自动化办公
  • 面试经验分享

其它福利

另外星球里还会提供其它福利：

  • 我用心推荐的电子书
  • 各种办公黑科技软件
  • 不定时的抽奖、周边包邮的礼物

这个星球适合什么样的人？

最后我想说一下，我个人希望在星球里看到的朋友是：不论你是业余爱好者、还是Python开发，你是在认真学习Python，我们可以通过不断的学习、讨论和实践，熟练的掌握Python这门技术。

以下这些朋友，不适合加入星球：

  • 伸手党。学习是一个双向的事情，你一定要确保，你有这个学习能力。如果是完全对计算机操作、对Python开发不感兴趣，是想来让我替你写代码的。我实在是没时间接这种私活。
  • 善良比聪明重要。这句话是我在另一个博主那里看到的。我本身就是个Python开发，不是很喜欢去猜别人的套路。如果你是带着学习Python以外的目的来的，要么你就直接告诉我，要么你就别加入。

最后我要说清楚，我只是个普通的Python程序员，在我们这行里也绝对不是技术最好的，但应该会比小白，或者刚入行的新人接触的多一些。

另外我自己也在学习Python进阶的技术，我只能提供力所能及的技术分享和支持。

如果我是最顶级的Python程序员，我的星球也不是这个价格了，你说是吧？

另外，这个星球永远都不会做优惠活动，例如：提供60元门票优惠券什么的。如果你觉得我的定价高了，或者我的星球不够好，我再继续努力学习提高就是了，365元提供1年的服务，是我目前的底线。未来我的技术越来越好、星球服务越来越完善了，我会继续涨价。

我的微信：CoderWanFeng，希望接下来和你一起进步~

  • 看到这里的朋友，记得加我哟，免费送你1套付费课程📕

展开全文 >>

学习pandas应该看哪本书？pandas创始人，推荐了1本《利用Python进行数据分析》

学习pandas应该看哪本书？pandas创始人，推荐了1本《利用Python进行数据分析》

大家好，这里是程序员晚枫。

我最近在原创一个系列👉pandas玩转excel，从入门到精通

很多读者问了一个同样的问题：晚枫，我在学习pandas，想找本书来看看，你推荐哪一本呢？

每次我的回复都是一致的：《利用Python进行数据分析》，我愿称之为地表最强pandas教材。

为什么？

1、因为它是Pandas创始人写的

对，没错，这本书是pandas的创始人Wes McKinney自己写的，有且仅有一本。

这本书可能不是最好的，但是你必须看的，这就相当于你想学儒家思想，必须要看孔子的那本《论语》。

甚至在我看来，这是唯一一本需要看的，市场上其它的pandas书，都只不过是对这本书的解释。

最新的一个版本是2017年的第2版。（电子版见文末）

pandas诞生于2008年，它的开发者是Wes McKinney，一个量化金融分析工程师。

因为疲于应付繁杂的财务数据，Wes McKinney便自学python，并开发了pandas。

所以pandas的开发初衷，是为了处理金融和商业数据。但后来，Wes McKinney把pandas的目标设置到了一个新的高度：立志于成为所有编程语言里，最强大的数据分析工具。

２、懂外行的学习目标

只想使用python、pandas，对python涉及的计算机原理、语法规范毫无兴趣的同学，在评论区打个666好吗？

别害羞，大部分学习pandas的人都是这么想的。包括创始人自己：创始人本身也只是把python、pandas当作一个工具使用，所以自己在书的第2章开头说了这么一段话：

pandas创始人：在我看来，在Python中高效地分析数据并不需要完全精通如何利用Python语言开发软件。

pandas创始人：尽管“数据分析”出现在书名里，但本书将明确专注于Python语言的编程、类库、工具而不是数据分析方法论。

很多python书，都是从计算机原理开始讲起，这本书不。它直接从应用讲起，而且循序渐进的带你深入使用padnas，完全不提原理方面的内容。即使你对计算机，甚至对python一知半解，你都能看懂作者是怎么想的，作者是怎么做的。

3、提供了全套代码

一本编程书，提供源代码很重要；提供符合编程规范的免费代码和资料更重要。

本书的代码和资料，全部在github仓库里：https://github.com/wesm/pydata-book/

悄悄说一嘴，我去看了一下，作者最近正在更新第3版的代码分支。

4、给开发者的建议

pandas主要是用来处理数据的，但excel数据只是数据的一种，这也就是为什么外行也在学pandas，开发者也在用pandas。

对于开发者，作者也推荐了深入学习python的书。

其中有一本，我们之前也分享过👉1022页PDF：《流畅的Python》，Python程序员进阶必备图书~

5、写在最后

我的本职是Python程序员，很多时候收到读者的提问或者报错，我都有一股冲动：与其解释半天，不如给你远程把代码写好。

但是这样做对读者的进步帮助不大，而且随着关注人数的增多，我也没有时间去给别人一行一行的解决代码问题。

所以我现在除了自己在这里分享学习总结，更多的是给私信我的朋友提供学习资料，更重要的是提供学习计划和学习经验。

如果有任何学习问题，欢迎在评论区和我交流哟~

参考资料：

  1. https://blog.csdn.net/SeizeeveryDay/article/details/117719227
  2. https://github.com/wesm/pydata-book/
  3. https://cloud.tencent.com/developer/article/2038531

展开全文 >>

1行Python代码，合并100个Excel文件，原来这么方便？

bar
大家好，这里是程序员晚枫。

❤先说一个好消息，python-office自动化办公的官网上线了，点击直达👉https://www.python-office.com

今天开源项目python-office发布了一个新功能:

1行代码，合并你指定的多个Excel文件。

本文给大家详细介绍一下~

需求说明

有一位老师，现在有全校1年级12个班级所有同学,一共12个成绩单Excel文件，现在老师想把它们合并到一个文件：一年级.xlsx里，每个班级作为一个单独的sheet存放。如图所示，

more >>

展开全文 >>

第一次10w+播放，我发现了3个流量密码，原来成功才是成功之母

做短视频的第4个月，最近终于看到了一点希望：周六在快手发了一条视频，2天获得了10w+播放。

之前也做过一些十几万、几十万播放的视频教程，但1、2天的时间迅速达到10w+播放，这是第一次。

失败不是成功之母，成功才是成功她妈。

今天给大家分享一下，这一次我找到了哪些播放10w+的秘诀？按照重要程度排序。

more >>

展开全文 >>

【DNS 解析】Nginx+SSL+DNS解析+腾讯云服务器，免费给自己的个人网站开启HTTPS防护

​

大家好，这里是程序员晚枫。
之前给大家介绍了如何通过DNS解析把自己的域名绑定到腾讯云服务器上，在使用的过程中我发现了一个问题：


域名的访问协议有http和https（更加安全）。

我现在有2个域名：python-office.com 和 python4office.cn，在不开启https的情况下，以
① .cn为结尾的python4office.cn所有的浏览器都可以打开；

② 但是以.com结尾的python-office.com则存在：部分浏览器默认使用https进行访问导致打不开网页的问题。

在这种情况下，就必须给python-office.com加上ssl证书，这样就可以对https://python-office.com进行访问了。

我们一起操作一下~

more >>

展开全文 >>

本站总访问量次

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

编程博主，全网粉丝30w+，开源项目：python-office，我的微信：CoderWanFeng