随着大数据越来越被重视,数据采集的挑战变的尤为突出。今天为大家介绍几款数据采集平台:
Apache Flume
Fluentd
Logstash
Chukwa
Scribe
Splunk Forwarder
大数据平台与数据采集
任何完整的大数据平台,一般包括以下的几个过程:
数据采集
数据存储
数据处理
数据展现(可视化,报表和监控)
其中,数……继续阅读 »
博客教主
9年前 (2016-05-24) 6177浏览 0评论
0个赞
在当前的互联网领域,大数据的应用已经十分广泛,尤其以企业为主,企业成为大数据应用的主体。大数据真能改变企业的运作方式吗?答案毋庸置疑是肯定的。随着企业开始利用大数据,我们每天都会看到大数据新的奇妙的应用,帮助人们真正从中获益。大数据的应用已广泛深入我们生活的方方面面,涵盖医疗、交通、金融、教育、体育、零售等各行各业。
目前国内外做大数据的厂商依旧分为两类:……继续阅读 »
博客教主
9年前 (2016-05-16) 3751浏览 0评论
0个赞
MySQL
MySQL Connector/J Driver
驱动程序包名:MySQL-connector-Java-x.x.xx-bin.jar
驱动程序类名: com.mysql.jdbc.Driver
JDBC URL: jdbc:mysql://<host>:<port>/<database_name>
默认端口3……继续阅读 »
博客教主
9年前 (2016-05-03) 2616浏览 0评论
0个赞
PS:本人所在的公司使用OpenStack核心开发的私有云也有3年多时间了,感觉比较可惜的是2012年年底做私有云技术选型时部署测试过的CloudStack(以前折腾CloudStack的记录在http://www.macd11.com/index.php?s=CloudStack),现在发现其中国社区网站已经关闭了,也看到今天大公司越来越多基于Openst……继续阅读 »
博客教主
9年前 (2016-05-02) 3140浏览 0评论
0个赞
现在机器学习逐渐成为行业热门,经过20多年的发展,机器学习目前也有了十分广泛的应用,如:数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、DNA序列测序、语音和手写识别、战略游戏和机器人等方面。
云栖社区特意翻译整理了目前GitHub上最受欢迎的28款机器学习开源项目,以供开发者参考使用。
1. TensorFlow
TensorFl……继续阅读 »
博客教主
9年前 (2016-05-02) 2307浏览 0评论
0个赞