spider 02-min.jpg
  • Madman
  • ·

Python3爬虫系列02 (理论) - Python并发编程

本文是整个爬虫系列的理论基础,试想一下,如果你的爬虫只能一次下载一张图片,那要爬完整个图片网站的时间会让人抓狂,所以我们需要让程序能够并发,同时请求多张图片资源,因为网络传输时间对于CPU来说太漫长了,并发的好处是可以合理的解决CPU和网络I/O之间的速度鸿沟