阿里巴巴高档技能专家章剑锋:大数据开展的
栏目:w66利来手机版 发布时间:2019-10-10 23:56

原标题:阿里巴巴高档技能专家章剑锋:大数据开展的 8 个关键

笔者从 2008 年开端作业到现在也有 11 个年初了,一路走来都在和数据打交道,做过大数据底层结构内核的开发(Hadoop,Pig,Tez,Spark,Livy),也做过上层大数据运用开发(写 MapReduce Job 做 ETL ,用 Hive 做 Ad hocquery,用 Tableau 做数据可视化,用 R 做数据剖析)。今日我想借此机会和咱们聊聊我所了解的大数据现状和未来。

首要让咱们来聊聊什么是大数据。大数据这个概念现已出来许多年了(超越10年),但一向没有一个精确的界说(或许也并不需求)。数据工程师(DataEngineer)对大数据的了解会更多从技能和体系的视点去了解,而数据剖析人员(Data Analyst)对大数据了解会从产品的视点去了解,所以数据工程师(Data Engineer) 和数据剖析人员(Data Analyst)所了解的大数据肯定是有差异的。我所了解的大数据是这样的,大数据不是单一的一种技能或许产品,它是一切与数据相关的归纳学科。看大数据我会从 2 个维度来看,一个是数据流的维度(下图的水平轴),别的一个是技能栈的维度(下图的纵轴)。

其实我一向不太喜爱张口沉默讲“大数据”,我更喜爱说“数据”。由于大数据的实质在于“数据”,而不是“大”。由于媒体一向关键宣传大数据的“大”,所以有时分咱们往往会遽然大数据的实质在“数据”,而不是“大”,“大”仅仅你看到的表相,实质仍是数据自身。

在咱们讲清楚大数据的意义之后,咱们来聊聊大数据现在究竟处在一个什么样的方位。从前史开展的视点来看,每一项新技能都会阅历下面这样一个技能老练度曲线。

打开全文

当一项新技能刚出来的时分人们会十分达观,常常认为这项技能会给人类带来巨大的革新,对此持有过高的期望,所以这项技能一开端会以十分快的速度遭到咱们追捧,然后抵达一个高峰,之后人们开端认识到这项新技能并没有最初料想的那么具有革命性,然后会过于失望,之后就会阅历泡沫阶段。等沉寂必定阶段之后,人们开端回归理性,正视这项技能的价值,然后开端正确的运用这项技能,从此这项技能开端走向稳步向前开展的路途。(题外话,笔者在看这幅图的时分也联想到了一个男人对婚姻观点的曲线图,咱们自己脑补)。


服务热线