php爬虫多线程技巧_看几段爬虫代码详解Python多线程多进程协程

优质文章，第一韶光投递！

一、序言

很多时候我们写了一个爬虫，实现了需求后会创造了很多值得改进的地方，个中很主要的一点便是爬取速率。
本文就通过代码讲解如何利用多进程、多线程、协程来提升爬取速率。
把稳：我们不深入先容理论和事理，统统都在代码中。

二、同步

首先我们写一个简化的爬虫，对各个功能细分，故意识进行函数式编程。
下面代码的目的是访问300次百度页面并返回状态码，个中parse_1函数可以设定循环次数，每次循环将当前循环数（从0开始）和url传入parse_2函数。

import requestsdef parse_1:url = 'https://www.baidu.com'for i in range(300):parse_2(url)def parse_2(url):response = requests.get(url)print(response.status_code)if __name__ == '__main__':parse_1

性能的花费紧张在IO要求中，当单进程单线程模式下要求URL时一定会引起等待

示例代码便是范例的串行逻辑，parse_1将url和循环数通报给parse_2，parse_2要求并返回状态码后parse_1连续迭代一次，重复之前步骤

三、多线程

由于CPU在实行程序时每个韶光刻度上只会存在一个线程，因此多线程实际长进步了进程的利用率从而提高了CPU的利用率

实现多线程的库有很多，这里用concurrent.futures中的ThreadPoolExecutor来演示。
先容ThreadPoolExecutor库是由于它比较其他库代码更简洁

为了方便解释问题，下面代码中如果是新增加的部分，代码行前会加上 > 符号便于不雅观察解释问题，实际运行须要去掉

import requests> from concurrent.futures import ThreadPoolExecutordef parse_1:url = 'https://www.baidu.com'# 建立线程池> pool = ThreadPoolExecutor(6)for i in range(300):> pool.submit(parse_2, url)> pool.shutdown(wait=True)def parse_2(url):response = requests.get(url)print(response.status_code)if __name__ == '__main__':parse_1

跟同步相对的便是异步。
异步便是彼此独立,在等待某事宜的过程中连续做自己的事，不须要等待这一事宜完成后再事情。
线程便是实现异步的一个办法，也便是说多线程是异步处理异步就意味着不知道处理结果，有时候我们须要理解处理结果，就可以采取回调

import requestsfrom concurrent.futures import ThreadPoolExecutor# 增加回调函数> def callback(future):> print(future.result)def parse_1:url = 'https://www.baidu.com'pool = ThreadPoolExecutor(6)for i in range(300):> results = pool.submit(parse_2, url)# 回调的关键步骤> results.add_done_callback(callback)pool.shutdown(wait=True)def parse_2(url):response = requests.get(url)print(response.status_code)if __name__ == '__main__':parse_1

Python实现多线程有一个无数人诟病的GIL(全局阐明器锁)，但多线程对付爬取网页这种多数属于IO密集型的任务依旧很得当。

四、多进程

多进程用两个方法实现：ProcessPoolExecutor和multiprocessing

1. ProcessPoolExecutor

和实现多线程的ThreadPoolExecutor类似

import requests> from concurrent.futures import ProcessPoolExecutordef parse_1:url = 'https://www.baidu.com'# 建立线程池> pool = ProcessPoolExecutor(6)for i in range(300):> pool.submit(parse_2, url)> pool.shutdown(wait=True)def parse_2(url):response = requests.get(url)print(response.status_code)if __name__ == '__main__':parse_1

可以看到改动了两次类名，代码依旧很简洁，同理也可以添加回调函数

import requestsfrom concurrent.futures import ProcessPoolExecutor> def callback(future):> print(future.result)def parse_1:url = 'https://www.baidu.com'pool = ProcessPoolExecutor(6)for i in range(300):> results = pool.submit(parse_2, url)> results.add_done_callback(callback)pool.shutdown(wait=True)def parse_2(url):response = requests.get(url)print(response.status_code)if __name__ == '__main__':parse_1