之前有一次抓取x浪图片库的时候200w图片跑了一整天的时间,
后来采取多进程抓取提高了很高的效率。
多进程的实现可以参考这个方法:
http://blog.csdn.net/u014017080/article/details/46925725
主进程文件--调用子进程 每一个分类对应单独的一个进程 并发抓取
子进程实现具体的抓取功能
总结:大致就是这个样子,具体的实现大家可以发挥自己的想象力。
我只是给大家提供一个参考而已。
谢谢读到这里。
原文链接:https://blog.csdn.net/u014017080/article/details/52369761