• Madman
• ·
• 2018-10-02T07:03:00Z

Python 3 爬虫｜第2章：Python 并发编程

本文是整个爬虫系列的理论基础，试想一下，如果你的爬虫只能一次下载一张图片，那要爬完整个图片网站的时间会让人抓狂，所以我们需要让程序能够并发，同时请求多张图片资源，因为网络传输时间对于 CPU 来说太漫长了，并发的好处是可以合理的解决 CPU 和网络 I/O 之间的速度鸿沟

• concurrent programming
• asynchronous programming
• 多进程
• 多线程
• 爬虫
• 协程