- Madman
- ·
Python 3 爬虫｜第12章：并发下载大文件 支持断点续传
本文介绍如何流式下载大文件，并实现断点续传功能。根据顺序下载大文件的字节和乱序下载大文件的各个分段，分别进行了多线程或协程并发，还实现了多个大文件并发下载
- Madman
- ·
Python 3 爬虫｜第9章：使用 asyncio ...
支持 HTTP 协议的异步网络 I/O 库：aiohttp，我们的爬虫需要使用该库的 Client 功能。需要结合 asyncio 一起使用，经过测试，单线程的异步编程比多线程版本的性能还要好一些，毕竟没有创建线程的开销和线程间上下文切换。另外，如果你下载的是视频等大文件，此时，将网络数据保存到本地磁盘的这个过程，本身是阻塞的，所以它会阻塞事件循环。asyncio 不支持磁盘 I/O...
- Madman
- ·
Python 3 爬虫｜第8章：使用 asyncio 模块实现并发
asyncio 模块于 Python 3.4 添加到标准库中，它在单线程中使用事件循环来驱动协程从而实现并发。对事件循环来说，调用回调与在暂停的协程上调用 .send() 方法效果差不多。各个暂停的协程是要消耗内存，但是比线程消耗的内存数量级小。而且，协程能避免可怕的 "回调地狱"。使用 asyncio 包时，我们编写的协程被包装成 Task...
- Madman
- ·
Python 3 爬虫｜第7章：协程 Coroutines
生成器可以作为协程（coroutine）使用，称为 "基于生成器的协程"。协程和生成器类似，都是定义体中包含 yield 关键字的函数。但它们也有本质区别，生成器用于 "生成" 供迭代的数据，next() 方法只允许调用方从生成器中获取数据； 而协程与迭代无关，协程是数据的消费者，调用方会把数据推送给协程。PEP 342 给生成器增加了 send()...