在这个以数据驱动为特色的时期，数据是最根本的。数据既可以通过研发产品得到，也可以通过爬虫采集公开数据得到，因此爬虫技能在这个快速发展的时期就显得尤为主要，高端爬虫人才的收人也在逐年提高。
本日给小伙伴们分享的这份手册是Python 之父Guido van Rossum推举的爬虫入门书，紧张先容了如何利用Python 3开拓网络爬虫（文末有最新版的爬虫案例整理）。
限于文章篇幅缘故原由，只能以截图的形式展示出来，有须要的小伙伴帮忙转发文章后，关注私信回答【Python】凭本文截图即可获取！
第1章先容了学习爬虫之前须要理解的根本知识，如HTTP、爬虫、代理、网页构造、多进程、多线程等内容。对爬虫没有任何理解的读者，建议好好理解这一章的知识。
第2章 基本库的利用
第2章先容了最基本的爬出操作，爬虫常日是从这一步学起的。这一章先容了最基本的要求库(urllib、requests、httpx)和正则表达式的基本用法。学完这一章，就可以节制最基本的爬虫技能了。
第3章 网页数据的解析提取
第3章先容了网页解析库的基本用法，包括Beautiful Soup、XPath、pyquery、parsel的基本利用方法，这些库可以使信息的提取更加方便、快捷，是爬虫必备的利器。
第4章 数据的存储
第4章先容了数据存储的常见形式及存储操作，包括TXT文件、JSON文件、CSV文件的存储以及关系型数据库MySQL和非关系型数据库MongoDB，Redis的基本存储操作，其余还先容了Elasticsearch搜索引擎存储、RabbitMQ行列步队的用法。学完这一章，就可以灵巧、方便地保存爬取下来的数据。
第5章 Ajax数据爬取
第5章先容了Ajax数据爬取的过程。一些网页数据可能是通过 Ajax 要求 API接口的办法加载的用常规方法无法爬取，这一章先容了Ajax剖析和爬取实战案例。
第6章 异步爬虫
第6章先容了异步爬虫的干系知识，如支持更高并发的协程的基本事理、aiohttp库的利用和实战案例。有了异步爬虫，爬虫的爬取效率将会大大提高。
第7章 JavaScript动态浪染页面爬取
第7章先容了爬取动态渲染页面的干系内容。现在越来越多的网站内容是由JavaScript渲染得到的原始HTML文本可能不包含任何有效内容，同时渲染过程会涉及某些JavaScript加密算法，对此可以利用Selenium、Splash、Pyppetcer，Playwright等工具仿照浏览器来进行数据爬取。
第8章 验证码的识别
第8章先容了验证码的干系处理方法。验证码是网站反爬虫的主要方法，我们可以通过这一章理解各种验证码的应对方案，包括图形验证码，滑动验证码、点选验证码、手机验证码，个中会涉及 OCR、OpenCV、深度学习、打码平台的干系知识。
第9章 代理的利用
第9章先容了代理的利用方法。限定IP的访问也是网站反爬虫的主要方法，利用代理可以有效办理这个问题，我们可以利用代理来伪装爬虫的真实IP。通过这一章，我们能学习代理的利用方法，代理池的掩护方法，以及ADSL拨号代理的利用方法。
第10章 仿照登录
第10章先容了仿照登录爬取的方法。某些网站须要录才可以看到须要的内容，这时就须要用爬虫仿照登录网站再进行爬取了。这一章先容了最基本的仿照登录方法，包括基于Session+Cookie的仿照登录和基于 JWT的仿照登录。
第11章 JavaScript逆向爬虫
第11章先容了 JavaScript 逆向的干系知识，包括网站的稠浊技能、JavaScript 逆向常用的调试和Hook 技能、JavaScript 仿照实行的各个方案，接着先容了AST技能来还原JavaScript 稠浊代码，其余也对WebAssembly技能进行了基本先容。
第12章 APP数据的爬取
第12章先容了App的爬取方法，包括基本的抓包软件(Charles、mitmproxy)如何利用，然后先容了利用mitmdump对接 Python 脚本的方法进行实时抓取，以及利用Appium、Airtest 仿照手机 App的操作进行数据爬取。
第13章 Android逆向
第13章先容了 Android逆向的干系知识，包括反编译工具jadx、JEB和常用的Hook框架Xposed、Frida等工具的利用方法，其余还先容了SSL Pining、脱壳、反汇编、so 文件仿照实行等技能。
第14章 页面智能解析
第14章先容了页面智能解析干系的技能，比如新闻详情页面中标题、正文、作者等信息以及新闻列表页面中标题、链接等信息的智能提取，其余还先容了如何智能分辨详情页和列表页。有了页面智能解析技能，在提取很多内容时就可以免去写规则的困扰。
第15章 Scrapy框架的利用
第15章先容了Scrapy爬虫框架及用法。Scrapy 是目前利用最广泛的爬虫框架，这章先容了它的基本架构、事理及各个组件的利用方法，其余还先容了Scrapy对接Selenium、Pyppeteer 等的方法。
第16章 分布式爬虫
第16章先容了分布式爬虫的基本事理及实现方法。为了提高爬取效率，分布式爬虫是必不可少的，这章先容了利用 Scrapy-Redis、RabbitMQ实现分布式爬虫的方法。
第17章 爬虫的管理和支配
第17章先容了分布式爬虫的支配及管理方法。方便、快速地完成爬虫的分布式支配，可以节省开拓者大量的韶光。这一章先容了两种管理方案，一种是基于Scrapy、Scrapyd、Gerapy的方案，另一种是基于Kubernetes、Docker、Prometheus、Grafana的方案。
末了再给小伙伴们分享一个最新版的爬虫案例平台（https://scrape.center/），书中提到的案例可以在该平台看到最新版的哦~
限于文章篇幅缘故原由，就展示到这里了 ，有须要的小伙伴帮忙转发文章后，关注私信回答【Python】凭本文截图即可获取！
