多个scrapy同时执行

项目中单机使用shell脚本进行多个scrapy命令的运行,即同个shell进行多个scrapy命令的执行,这样会大大提高爬取效率,好好利用CPU使用率

 

在shell命令行一次执行多个scrapy命令,可以有三种方式:

(一)每个命令之间用 隔开

scrapy crawl a;scrapy crawl b

(二)每个命令之间用 && 隔开

前面的命令执行成功后,才会执行后面的命令。这样就可以保证所有的命令执行成功了 。 与的意思

scrapy crawl a && scrapy crawl b

(三) 每个命令之间用 || 或者是 |隔开

|| 也是或的意思,但是这里是只有前面的命令执行失败后,我才会进行下一条的命令执行,直到执行成功为止。

shell的管道就是这个原理,比如我们打log,将错误日志输出到某个log上用的就是这个原理

cd /home/admin/123 || echo "error123"

总结:

虽然上面三种情况列出来了,但是我们这里使用第一种方式:

scrapy crawl a;scrapy crawl b

 

上一篇:QT软件开发之入门基础--1.7 容器类


下一篇:scrapy命令行