项目设计day1

项目内容:一个实时监控斗鱼TV某个主播弹幕的设计

通过python爬虫获取当前弹幕,通过flume采集数据,接下来数据分为线上和线下两种方案:

线上:实时分析,分为两种方案:(1) flume+kafka+storm+redis

(2) flume+kafka+spark streaming+ redis

线下:离线分析,两种方案:(1)hadoop1 + (hive/hbase)

(2) spark RDD / spark SQL

上一篇:1028阿里RDS如何恢复云数据库MySQL的备份文件到自建数据库


下一篇:负载均衡(四)Nginx负载均衡策略