• 欢迎访问MACD实战投资网站,推荐使用最新版谷歌Chrome浏览器访问本网站,关注公众号 丁火甲木庚金 www.macd11.com/subscriptions

大数据架构师技能图谱

未分类 丁火 9年前 (2016-06-15) 11719次浏览 1个评论

大数据通用处理平台

  1. Spark
  2. Flink
  3. Hadoop

分布式存储

HDFS

资源调度

Yarn

Mesos

机器学习工具

Mahout

  1. Spark Mlib
  2. TensorFlow (Google 系)
  3. Amazon Machine Learning
  4. DMTK (微软分布式机器学习工具)

数据分析/数据仓库(SQL类)

  1. Pig
  2. Hive
  3. kylin
  4. Spark SQL,
  5. Spark DataFrame
  6. Impala
  7. Phoenix
  8. ELK

8.1 ElasticSearch

8.2Logstash

8.3Kibana

消息队列

  1. Kafka(纯日志类,大吞吐量)
  2. RocketMQ
  3. ZeroMQ
  4. ActiveMQ
  5. RabbitMQ

流式计算

  1. Storm/JStorm
  2. Spark Streaming
  3. Flink

日志收集

Scribe

Flume

编程语言

  1. Java
  2. Python
  3. R
  4. Ruby
  5. Scala

数据分析挖掘

MATLAB

SPSS

SAS

数据可视化

  1. R
  2. D3.js
  3. ECharts
  4. Excle
  5. Python

机器学习

机器学习基础

  1. 聚类
  2. 时间序列
  3. 推荐系统
  4. 回归分析
  5. 文本挖掘
  6. 决策树
  7. 支持向量机
  8. 贝叶斯分类
  9. 神经网络

机器学习工具

  1. Mahout
  2. Spark Mlib
  3. TensorFlow (Google 系)
  4. Amazon Machine Learning
  5. DMTK (微软分布式机器学习工具)

算法

一致性

  1. paxos
  2. raft
  3. gossip

数据结构

  1. 栈,队列,链表
  2. 散列表
  3. 二叉树,红黑树,B树

常用算法

1.排序

插入排序

桶排序

堆排序

2.快速排序

3,最大子数组

4.最长公共子序列

5.最小生成树

最短路径

6.矩阵的存储和运算

云计算

云服务

  1. SaaS
  2. PaaS
  3. IaaS
  4. Openstack
  5. Docker

End.

转自:http://www.36dsj.com/archives/4520


macd11.com 和 丁火甲木庚金 公众号版权所有丨如未注明 , 均为原创丨转载请注明原文链接。
喜欢 (0)
[sp91@qq.com]
分享 (0)

您必须 登录 才能发表评论!

(1)个小伙伴在吐槽
  1. 高大上的技能图谱。大数据架构师要求还是很高的。