开源通用爬虫框架YayCrawler-运行与调试

本节我将向大家介绍如何运行与调试YayCrawler。该框架是采用SpringBoot开发的,所以可以通过java –jar  xxxx.jar的方式运行,也可以部署在tomcat等容器中运行。

首先让我们介绍一下运行环境:

1、jdk8

2、安装mysql数据库,用作存储解析规则等数据,需要创建一个“yayCrawler”的数据库实例,并执行quartz相关的数据库脚本:quartz.sql(见发布包或源码)。

3、安装redis,用作任务队列

4、安装mongoDB用于存放结果数据

5、安装ftp服务器软件ftpserver(可选,用于存放下载图片)

一、运行发布包

首先从https://github.com/liushuishang/YayCrawler.Release.git获取release包,目录如下:

开源通用爬虫框架YayCrawler-运行与调试

每个文件夹里面的文件结构是一样的,以admin文件夹为例

开源通用爬虫框架YayCrawler-运行与调试

casperjs和phantomjs两个文件夹是为了执行某些特殊操作准备的,这里先不用理会。xxx_local.properties是一个服务配置文件,里面有配置端口、数据库连接等参数,可以按照实际参数来调整;quartz.sql是运行quartz框架需要的数据库表脚本,方在这里是为了方便;start.bat和start.vbs都是启动脚本,双击就可以启动admin端,start.bat会在控制台输出日志内容,start.vbs是在后台执行,不会弹出控制台,启动后会在该文件夹产生一个“catalina.base_IS_UNDEFINED”的文件夹,里面存放的是输出日志;双击stop.bat就可以停止admin端程序。我们双击start.bat来启动admin端程序:

开源通用爬虫框架YayCrawler-运行与调试

可以看到admin端已经成功启动,浏览器http://localhost:8069/admin/即可访问管理界面:

开源通用爬虫框架YayCrawler-运行与调试

Master与Worker的启动与上面Admin端一致,只是没有web界面,这里不再赘述。

二、源码的运行与调试

首先从https://github.com/liushuishang/YayCrawler.git拉取源码,然后用Intellij Idea打开(Eclipse也可以),可以看到如下的目录解构:

开源通用爬虫框架YayCrawler-运行与调试

yaycrawler-admin:Web管理控制台,用户可以这里配置解析规则、测试规则、查看任务队列情况和发布任务等。

yaycralwer-master:管理任务队列和任务调度,与admin和worker互相通信。

yaycralwer-worker:爬虫任务的工作端,定时向master发送心跳,接收并执行任务,负责数据的持久化。

yaycralwer-spider:与WebMagic结合,负责下载页面、解析页面、定义爬虫任务的处理流程和接口。

yaycrawler-common:公用的实体模型和工具包。

yaycralwer-monitor:提供反监控的工具包,比如验证码刷新、自动登陆等

yaycralwer-proxy:工具包,用于从网上搜索可用的ip代理

yaycrawler-cache:为框架提供数据缓存功能的组件。

yaycrawler-quartz:通用的定时任务调度组件,可以通过配置定时调度不同的任务。可以用来做定时爬虫任务。

yaycrawler-dao:提供与mysql数据库交互的功能。

yaycrawler-ftpserver:ftpserver客户端工具包。

我们分别为admin、master和worker配置三个TomcatServer,各占用的http端口如下图所示。

开源通用爬虫框架YayCrawler-运行与调试

然后分别修改各自工程下的src/main/resources/application.properties文件,如(请注意红色的部分配置)

Admin端:

signature.token=2c91d29854a2f3fc0154a30959f40003
#Master的服务地址
master.server.address=http://127.0.0.1:8068/master/
# EMBEDDED SERVER CONFIGURATION (ServerProperties)
server.port=8069
# bind to a specific NIC
server.address=127.0.0.1
# the context path, defaults to '/'
server.context-path=/admin
# the servlet path, defaults to '/'
server.servlet-path=/
# base dir (usually not needed, defaults to tmp)
server.tomcat.basedir=/tmp
# in seconds
server.tomcat.background-processor-delay=30
# number of threads in protocol handler
server.tomcat.max-threads = 0
# character encoding to use for URL decoding
server.tomcat.uri-encoding = UTF-8
#(这里是限制的文件大小)
multipart.max-file-size=50Mb
#(这里是限制请求的文件大小)
multipart.max-request-size=50Mb
# SPRING MVC (HttpMapperProperties)
# pretty print JSON
http.mappers.json-pretty-print=false
# sort keys
http.mappers.json-sort-keys=false
# set fixed locale, e.g. en_UK
spring.mvc.locale=zh_CN
# set fixed date format, e.g. dd/MM/yyyy
spring.mvc.date-format=yyyy-MM-dd
# PREFIX_ERROR_CODE / POSTFIX_ERROR_CODE
spring.resources.cache-period=60000
# cache timeouts in headers sent to browser
spring.mvc.message-codes-resolver-format=PREFIX_ERROR_CODE # THYMELEAF (ThymeleafAutoConfiguration)
spring.thymeleaf.cache=false
spring.thymeleaf.check-template-location=true
spring.thymeleaf.content-type=text/html
spring.thymeleaf.enabled=true
spring.thymeleaf.encoding=UTF-8
#spring.thymeleaf.excluded-view-names= # Comma-separated list of view names that should be excluded from resolution.
spring.thymeleaf.mode=HTML5
spring.thymeleaf.prefix=classpath:/templates/
spring.thymeleaf.suffix=.html
#spring.thymeleaf.template-resolver-order= # Order of the template resolver in the chain.
#spring.thymeleaf.view-names= # Comma-separated list of view names that can be resolved. #配置Mysql数据库
spring.datasource.url = jdbc:mysql://localhost:3306/yaycrawler?autoReconnect=true

&characterEncoding=utf8&useSSL

=false
spring.datasource.username = root
spring.datasource.password = root
spring.datasource.driverClassName = com.mysql.jdbc.Driver
# Specify the DBMS
spring.jpa.database = MYSQL
# Show or not log for each sql query
spring.jpa.show-sql = true
# Hibernate ddl auto (create, create-drop, update)
spring.jpa.hibernate.ddl-auto = update //首次运行请修改为create来创建数据表,完成后更改为update
# Naming strategy
#spring.jpa.hibernate.naming-strategy = org.hibernate.cfg.DefaultNamingStrategy
spring.jpa.hibernate.naming-strategy = org.hibernate.cfg.ImprovedNamingStrategy
# stripped before adding them to the entity manager)
spring.jpa.properties.hibernate.dialect = org.hibernate.dialect.MySQL5Dialect #配置MongoDB数据库
# MONGODB (MongoProperties)
#spring.data.mongodb.authentication-database= # Authentication database name.
spring.data.mongodb.database=crawler
#spring.data.mongodb.field-naming-strategy= # Fully qualified name of the FieldNamingStrategy to use.
#spring.data.mongodb.grid-fs-database= # GridFS database name.
spring.data.mongodb.host=localhost
spring.data.mongodb.port=27017
# Enable Mongo repositories.
spring.data.mongodb.repositories.enabled=true
#spring.data.mongodb.uri=mongodb://localhost/test # Mongo database URI. When set, host and port are ignored.
#spring.data.mongodb.username=
#spring.data.mongodb.password=

master端:

signature.token=2c91d29854a2f3fc0154a30959f40003
#一次分配给worker的任务大小
worker.task.batchSize=500
#worker的刷新时间
worker.refreshInteval=20000
#处理中队列超时时间
task.queue.timeout=5400000
#批量加入队列时的批量包含的任务数
task.queue.batchSize=1000
# EMBEDDED SERVER CONFIGURATION (ServerProperties)
server.port=8068
# bind to a specific NIC
server.address=127.0.0.1
#server.address=127.0.0.1
# the context path, defaults to '/'
server.context-path=/master
# the servlet path, defaults to '/'
server.servlet-path=/
# base dir (usually not needed, defaults to tmp)
server.tomcat.basedir=/tmp
# in seconds
server.tomcat.background-processor-delay=30
# number of threads in protocol handler
server.tomcat.max-threads = 0
# character encoding to use for URL decoding
server.tomcat.uri-encoding = UTF-8 spring.redis.host=127.0.0.1
spring.redis.port=6379
spring.redis.database=1
#spring.redis.password=

Worker端:

signature.token=2c91d29854a2f3fc0154a30959f40003
master.server.address=http://127.0.0.1:8068/master/
context.path=http://127.0.0.1:8086/worker/
worker.heartbeat.inteval=60000
worker.spider.threadCount=10 # ftpserver服务器地址
ftp.server.url=172.17.82.46
# ftpserver 端口
ftp.server.port=2121
# ftpserver 用户名
ftp.server.username=admin
# ftpserver 密码
ftp.server.password=admin # EMBEDDED SERVER CONFIGURATION (ServerProperties)
server.port=8086
# bind to a specific NIC
server.address=127.0.0.1
# the context path, defaults to '/'
server.context-path=/worker
# the servlet path, defaults to '/'
server.servlet-path=/
# base dir (usually not needed, defaults to tmp)
server.tomcat.basedir=/tmp
# in seconds
server.tomcat.background-processor-delay=30
# number of threads in protocol handler
server.tomcat.max-threads = 0
# character encoding to use for URL decoding
server.tomcat.uri-encoding = UTF-8 #Spring JPA
spring.datasource.url = jdbc:mysql://localhost:3306/yaycrawler?autoReconnect=true

&characterEncoding=utf8&useSSL=false

spring.datasource.username = root
spring.datasource.password = root
spring.datasource.driverClassName = com.mysql.jdbc.Driver
# Specify the DBMS
spring.jpa.database = MYSQL
# Show or not log for each sql query
spring.jpa.show-sql = false
# Hibernate ddl auto (create, create-drop, update)
spring.jpa.hibernate.ddl-auto = none
# Naming strategy
#spring.jpa.hibernate.naming-strategy = org.hibernate.cfg.DefaultNamingStrategy
spring.jpa.hibernate.naming-strategy = org.hibernate.cfg.ImprovedNamingStrategy
# stripped before adding them to the entity manager)
spring.jpa.properties.hibernate.dialect = org.hibernate.dialect.MySQL5Dialect # MONGODB (MongoProperties)
#spring.data.mongodb.authentication-database= # Authentication database name.
spring.data.mongodb.database=crawler
#spring.data.mongodb.field-naming-strategy= # Fully qualified name of the FieldNamingStrategy to use.
#spring.data.mongodb.grid-fs-database= # GridFS database name.
spring.data.mongodb.host=localhost
spring.data.mongodb.port=27017
# Enable Mongo repositories.
spring.data.mongodb.repositories.enabled=true
#spring.data.mongodb.uri=mongodb://localhost/test # Mongo database URI. When set, host and port are ignored.
#spring.data.mongodb.username=
#spring.data.mongodb.password=

启动Master、Admin和Worker,在浏览器中输入http://localhost:8069/admin/,即可访问管理界面。

三、案例演示

前面已经介绍如何启动项目,现在我们以抓取博客园的博客为例讲解如何使用框架。假设我要通过框架抓取http://www.cnblogs.com/yuananyun/页面的所有博客的标题和摘要,让我们来开始创建奇迹吧,哈哈。

开源通用爬虫框架YayCrawler-运行与调试

首先打开我们的管理控制台界面,可以看到我们已经有一个worker等待我们发布任务了:
开源通用爬虫框架YayCrawler-运行与调试
然后我们来配置页面和解析规则:
1、新建页面
开源通用爬虫框架YayCrawler-运行与调试
2、新建区域
打开http://www.cnblogs.com/yuananyun/,然后通过调试工具查看源码:
开源通用爬虫框架YayCrawler-运行与调试
我们感兴趣的区域是包含class为“day”的div,这就是我们区域的选择依据,我们来新建一个区域:
开源通用爬虫框架YayCrawler-运行与调试
可以看到我们已经正确的抓取到我们所需要的div片段了,说明我们的区域选择器是正确的!下面让我们来配置规则来抓取文章的标题。点击页面上的“字段规则”,弹出配置页面:
开源通用爬虫框架YayCrawler-运行与调试
点击测试我们可以看到已经抓到了文章的标题了,点击保存。我们在来新建一个字段规则来抓取文章的摘要:
开源通用爬虫框架YayCrawler-运行与调试
好,让我们看看已经配置的规则的情况:
开源通用爬虫框架YayCrawler-运行与调试
实际上我们还可以创建子链接的抓取规则,也可以创建更多的区域,后面的章节会有详细的讲解。现在让我们来测试这个页面的抓取结果,点击页面上的“测试区域”将会弹出如下结果界面:
开源通用爬虫框架YayCrawler-运行与调试
是不是已经看到我们想要的结果了呢?
好,上面的种种还只是在Admin端的测试,我们把这个任务发布出去到worker上执行以下看看:
开源通用爬虫框架YayCrawler-运行与调试
提交后查看任务队列:
开源通用爬虫框架YayCrawler-运行与调试
然后很快任务就执行完成了:
开源通用爬虫框架YayCrawler-运行与调试
点击页面上的“查看结果”按钮查看结果:
开源通用爬虫框架YayCrawler-运行与调试
这个便是从MongoDB中查询出来的结果了。
最后,本节我们主要讲解了如何运行与调试YayCrawler框架,并以抓取博客园博客为例演示了框架的使用流程,后面的内容更精彩,谢谢关注!
上一篇:Tarjan 算法 自学整理


下一篇:npm saveError ENOENT: no such file or directory