大數(shù)據(jù)工程師需要會(huì)什么？Java最基礎(chǔ)HTML、CSS與JavaLinuxHadoopt體系Spark產(chǎn)業(yè)生態(tài)Storm服務(wù)生態(tài)實(shí)戰(zhàn)格斗：你的數(shù)據(jù)資源、處理數(shù)據(jù)、數(shù)據(jù)分析、數(shù)據(jù)治理就這些...pdi是

大數(shù)據(jù)工程師需要會(huì)什么？

Java最基礎(chǔ)

HTML、CSS與Java

LinuxHadoopt體系

Spark產(chǎn)業(yè)生態(tài)

Storm服務(wù)生態(tài)

實(shí)戰(zhàn)格斗：你的數(shù)據(jù)資源、處理數(shù)據(jù)、數(shù)據(jù)分析、數(shù)據(jù)治理

就這些...

pdi是什么軟件？

PDI(Kettle)是一款開(kāi)源的、元信息安裝驅(qū)動(dòng)的ETL(什么數(shù)據(jù)的吸納、裝換、運(yùn)行程序)輔助工具，是開(kāi)源ETL輔助工具里功能一樣都很強(qiáng)大的一個(gè)。

PDI的全稱(chēng)是Pentaho Data Integeration，Kettle是PDI以前的公司的名字，Kettle不過(guò)是想是暖水瓶的意思是什么，表達(dá)了數(shù)據(jù)流的含意。

的確但凡有數(shù)據(jù)整合、轉(zhuǎn)換成、遷出的景象都這個(gè)可以使用PDI，他能用了能夠完成數(shù)字轉(zhuǎn)換任務(wù)的手工好編碼，會(huì)降低了旗下難度中等。

大數(shù)據(jù)架構(gòu)有哪些？應(yīng)該如何理解？

你說(shuō)的估計(jì)是大數(shù)據(jù)分析平臺(tái)中的大型網(wǎng)游框架支撐，我舉例說(shuō)明幫一下忙：

（一）Hadoop生態(tài)鏈

HDFS：分布式數(shù)據(jù)庫(kù)，可以解決云計(jì)算的存儲(chǔ)Yarn（MapReduce）：分布式處理基礎(chǔ)框架，可以解決云計(jì)算的可以計(jì)算Hive：Hadoop中的分析數(shù)據(jù)引擎動(dòng)力，支持什么SQLHBase：實(shí)現(xiàn)HDFS的NoSQL數(shù)據(jù)庫(kù)ZooKeeper：分布式計(jì)算共同協(xié)調(diào)服務(wù)什么，也可以應(yīng)用于實(shí)現(xiàn)HA（高可用架構(gòu)）別的（二）Spark生態(tài)圈Spark Core：Spark的之一，應(yīng)用于離線狀態(tài)計(jì)算SparkSQL：Spark的統(tǒng)計(jì)分析引擎，意見(jiàn)SQL語(yǔ)句SparkStreaming：Spark的基于機(jī)器學(xué)習(xí)換算引擎系統(tǒng)，但本質(zhì)的區(qū)別依然是不聯(lián)網(wǎng)計(jì)算出MLlib：機(jī)器學(xué)習(xí)一般框架（三）Flink生態(tài)圈Flink DataSet：Flink批處理文件（離線算出）APIFlinkDataStream：Flink流全面處理（后臺(tái)計(jì)算）APIFlinkTableampSQL：Flink的統(tǒng)計(jì)分析引擎動(dòng)力，允許SQL語(yǔ)句MLlib：機(jī)器學(xué)習(xí)算法基礎(chǔ)框架