• Madman
• ·
• 2018-10-04T06:16:00Z

Python 3 爬虫｜第4章：多进程并发下载

I/O 密集型适合使用多线程，CPU 密集型适合使用多进程。当然，我们还是可以利用多进程将下载速度有一定的提升。Python 3 中可以使用 multiprocessing 模块和 concurrent.futures.ProcessPoolExecutor 进程池模块，实现多进程

• ProcessPoolExecutor
• multiprocessing
• concurrent
• futures
• requests
• 爬虫
• 协程