python scrapy项目下spiders内多个爬虫同时运行

原文链接:https://blog.csdn.net/qq_38282706/article/details/80977576

 

一般创建了scrapy文件夹后,可能需要写多个爬虫,如果想让它们同时运行而不是顺次运行的话,得怎么做?

python scrapy项目下spiders内多个爬虫同时运行

 

a、在spiders目录的同级目录下创建一个commands目录,并在该目录中创建一个crawlall.py,将scrapy源代码里的commands文件夹里的crawl.py源码复制过来,只修改run()方法即可!

 

  1. import os
  2. from scrapy.commands import ScrapyCommand
  3. from scrapy.utils.conf import arglist_to_dict
  4. from scrapy.utils.python import without_none_values
  5. from scrapy.exceptions import UsageError
  6. class Command(ScrapyCommand):
  7. requires_project = True
  8. def syntax(self):
  9. return "[options] <spider>"
  10. def short_desc(self):
  11. return "Run all spider"
  12. def add_options(self, parser):
  13. ScrapyCommand.add_options(self, parser)
  14. parser.add_option("-a", dest="spargs", action="append", default=[], metavar="NAME=VALUE",
  15. help="set spider argument (may be repeated)")
  16. parser.add_option("-o", "--output", metavar="FILE",
  17. help="dump scraped items into FILE (use - for stdout)")
  18. parser.add_option("-t", "--output-format", metavar="FORMAT",
  19. help="format to use for dumping items with -o")
  20. def process_options(self, args, opts):
  21. ScrapyCommand.process_options(self, args, opts)
  22. try:
  23. opts.spargs = arglist_to_dict(opts.spargs)
  24. except ValueError:
  25. raise UsageError("Invalid -a value, use -a NAME=VALUE", print_help=False)
  26. if opts.output:
  27. if opts.output == '-':
  28. self.settings.set('FEED_URI', 'stdout:', priority='cmdline')
  29. else:
  30. self.settings.set('FEED_URI', opts.output, priority='cmdline')
  31. feed_exporters = without_none_values(
  32. self.settings.getwithbase('FEED_EXPORTERS'))
  33. valid_output_formats = feed_exporters.keys()
  34. if not opts.output_format:
  35. opts.output_format = os.path.splitext(opts.output)[1].replace(".", "")
  36. if opts.output_format not in valid_output_formats:
  37. raise UsageError("Unrecognized output format '%s', set one"
  38. " using the '-t' switch or as a file extension"
  39. " from the supported list %s" % (opts.output_format,
  40. tuple(valid_output_formats)))
  41. self.settings.set('FEED_FORMAT', opts.output_format, priority='cmdline')
  42. def run(self, args, opts):
  43. #获取爬虫列表
  44. spd_loader_list=self.crawler_process.spider_loader.list()#获取所有的爬虫文件。
  45. print(spd_loader_list)
  46. #遍历各爬虫
  47. for spname in spd_loader_list or args:
  48. self.crawler_process.crawl(spname, **opts.spargs)
  49. print ('此时启动的爬虫为:'+spname)
  50. self.crawler_process.start()

b、还得在里面加个_init_.py文件

python scrapy项目下spiders内多个爬虫同时运行

 

 

c、到这里还没完,settings.py配置文件还需要加一条。

  COMMANDS_MODULE = ‘项目名称.目录名称’ 

COMMANDS_MODULE = 'ds1.commands'

 

d、最后启动crawlall即可!

    当然,安全起见,可以先在命令行中进入该项目所在目录,并输入scrapy -h,可以查看是否有命令crawlall 。如果有,那就成功了,可以启动了

我是写了个启动文件,放在第一级即可

python scrapy项目下spiders内多个爬虫同时运行

要不直接在命令台cmd里输入 scrapy crawlall 就行了

 

##注意的是,爬虫好像是2个同时运行,而且运行时是交叉的?

还有settings里的文件,只针对其中一个?

上一篇:2020最新最全Python面试题整理(三)


下一篇:scrapy 一个项目里同时运行多个爬虫