Logo - LIFE & SHARE - 王颜公子
Loading... RSS
Python 3 爬虫-min.png
  • Madman
  • ·

Python 3 爬虫｜第3章：同步阻塞下载

从这一篇开始，将介绍如何用 Python 3 实现网络爬虫，多任务快速抓取你想要的数据。每一次 HTTP 请求/响应都要经过 TCP 连接、客户端发送请求数据、服务端分多次返回响应数据，这个过程中，客户端的 CPU 在等待网络 I/O 时会阻塞。Python 依序下载是一个主线程依次等待每个网络 I/O 完成，而多线程是多个线程并发（不是并行）等待多个网络 I/O，当一个线程因为等待网络...

Python 3 爬虫-min.png
  • Madman
  • ·

Python 3 爬虫｜第2章：Python 并发编程

本文是整个爬虫系列的理论基础，试想一下，如果你的爬虫只能一次下载一张图片，那要爬完整个图片网站的时间会让人抓狂，所以我们需要让程序能够并发，同时请求多张图片资源，因为网络传输时间对于 CPU 来说太漫长了，并发的好处是可以合理的解决 CPU 和网络 I/O 之间的速度鸿沟