冬季实战营第五期:轻松入门学习大数据学习小结

冬季实战营第五期:轻松入门学习大数据学习小结

时光飞逝,冬季实战营第五期已结束,短短5天的学习之旅让我收获了很多。

这一期的学习内容是主要是关于大数据的。

第一天的实践是基于EMR离线数据分析,

我们可以先了解一下EMR的概念,那么什么是EMR?

E-MapReduce(简称“EMR”)是云原生开源大数据平台,向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、Clickhouse、Delta、Hudi等开源大数据计算和存储引擎。EMR计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK、专有云平台。本实验免费提供EMR集群,让我们基于EMR集群进行离线数据分析。通过本次实验,让我对EMR集群的基本操作,对EMR产品有初步的了解。

第二天,使用阿里云Elasticsearch快速搭建智能运维系统,通过创建登录阿里云Elasticsearch集群,使用Beats采集器收集ECS上的系统数据和Nginx服务数据,配置基础的指标分析看板,简单展示数据采集、分析的过程和操作方式。通过本次实验,让我对Elasticsearch也有了初步的了解。

这一期的实战营让我对大数据有了新的认识,本次实战营到此圆满结束,让我们一起期待未来还有更多的实战营!

 

上一篇:Eclipse导入web项目发布项目时报Tomcat version 7.0 only supports J2EE 1.2, 1.3, 1.4, and Java EE 5 and 6 Web错误解决方案


下一篇:冬季实战营第五期学习报告5:基于Elasticsearch+Fink的日志全观测最佳实践