大数据分析一般用什么工具分析

Python014

大数据分析一般用什么工具分析,第1张

1、SPSS:主要用于数据建模工作,功能稳定且强大,能够满足中小企业在业务模型建立过程中的需求。

2、BitDeliBitDeli是今年11月份在旧金山成立的一家初创公司。它能衡量出任何使用Python脚本的应用程序的指标,联合创始人兼CEO Ville Tuulos告诉Derrick,脚本可以很简单,也可以很复杂——甚至未来可以延伸到机器学习。不过和“重量级选手”Hadoop相比,BitDeli自认为是一个轻量级的Ruby。

3. ContinuuityContinuuity是前Yahoo首席云架构师Todd Papaioannou和Facebook HBase的工程师Jonathan Gray的心血结晶,Continuuity想让所有的公司都能像Yahoo、Facebook一样运营。该团队创建了一个大数据工具,它可以简化Hadoop以及HBase集群的复杂性,而且包含一系列开发套件,旨在帮助程序员开发大数据应用,该平台采用Hadoop技术,允许开发者在防火墙内外对大数据应用软件进行部署、扩展和管理。

公司联合创始人兼首席执行官Todd Papaioannou表示,作为一家初创企业,Continuuity正在试图掀起下一波大数据应用软件的浪潮,公司所提供的工具能够大大提高处于开发状态的软件不同部分与阶段的扩展性。

4. FlurryFlurry是移动应用统计分析领域里的标杆,正因为在行业内独特的优势,它每年的营收高达一亿美元。Flurry拥有非常全面的功能,不仅仅只是帮助开发者构建移动应用,它还帮助开发者分析所有的数据,进而产生更大的效益。

其实数据也支撑了该公司的广告网络,他们通过数据分析可以帮助开发者推送准确的广告到需要的用户面前。不过单纯从移动应用的数据统计功能来看,Flurry绝对是处于领先地位。其功能模块设置合理,分析维度全面,分析流程也易于理解。

1、日志管理工具Splunk(http://www.splunk.com/)

<img src="https://pic4.zhimg.com/dc12bcb29978de2e4b6f08c61d9c752f_b.png" data-rawwidth="1894" data-rawheight="902" class="origin_image zh-lightbox-thumb" width="1894" data-original="https://pic4.zhimg.com/dc12bcb29978de2e4b6f08c61d9c752f_r.png">

面向使用的人群主要有:

<img src="https://pic1.zhimg.com/b386af077eee844ce3e1509e3f697194_b.png" data-rawwidth="841" data-rawheight="366" class="origin_image zh-lightbox-thumb" width="841" data-original="https://pic1.zhimg.com/b386af077eee844ce3e1509e3f697194_r.png">

Splunk的功能组件主要有Forwarder、Serch Head、Indexer三种,然后支持了查询搜索、仪表盘和报表(效果真不是吹的,很精致呀),另外还支持SaaS服务模式。其中,Splunk支持的数据源也是多种类型的,基本上还是可以满足客户的需求。

<img src="https://pic1.zhimg.com/febd403d3caeeca3be36aca189109a5c_b.png" data-rawwidth="554" data-rawheight="389" class="origin_image zh-lightbox-thumb" width="554" data-original="https://pic1.zhimg.com/febd403d3caeeca3be36aca189109a5c_r.png">

目前支持Hadoop1.x(MRv1)、Hadoop2.x(MRv2)、Hadoop2.x(Yarn)三个版本的Hadoop集群的日志数据源收集,在日志管理运维方面还是处于一个国际领先的地位,目前国内有部分的数据驱动型公司也正在采用Splunk的日志管理运维服务。

<img src="https://pic3.zhimg.com/27e89af398e3dfc732f967976c31e55e_b.png" data-rawwidth="834" data-rawheight="396" class="origin_image zh-lightbox-thumb" width="834" data-original="https://pic3.zhimg.com/27e89af398e3dfc732f967976c31e55e_r.png">

可视化部分效果也是很不错的

<img src="https://pic2.zhimg.com/4dfbdbac48469bf91015aae4788e765d_b.png" data-rawwidth="554" data-rawheight="260" class="origin_image zh-lightbox-thumb" width="554" data-original="https://pic2.zhimg.com/4dfbdbac48469bf91015aae4788e765d_r.png"><img src="https://pic3.zhimg.com/1e862734a2e975ca8f3aa8660ac4ff7a_b.png" data-rawwidth="554" data-rawheight="259" class="origin_image zh-lightbox-thumb" width="554" data-original="https://pic3.zhimg.com/1e862734a2e975ca8f3aa8660ac4ff7a_r.png"><img src="https://pic4.zhimg.com/54b19d0edaf441f0d26acaaaa2aa6357_b.png" data-rawwidth="554" data-rawheight="258" class="origin_image zh-lightbox-thumb" width="554" data-original="https://pic4.zhimg.com/54b19d0edaf441f0d26acaaaa2aa6357_r.png">

2、EverString(Home - EverString)

<img src="https://pic1.zhimg.com/76990502519cfa8bd861700811188904_b.png" data-rawwidth="479" data-rawheight="159" class="origin_image zh-lightbox-thumb" width="479" data-original="https://pic1.zhimg.com/76990502519cfa8bd861700811188904_r.png">

everstring主要是通过大数据的预测分析建模为企业提供业务和客户推荐的SaaS服务,获取和积累了两个数据信息资源库,一个行业外部的资源库(公有SaaS收费形式),一个行业自己内部的资源库(私有),然后再通过机器学习和人工智能的方法对数据进行相应行业或是领域的建模,最后得到一个比较不错的结果,优化于人工可以得到的结果,而且Everstring也成为了初创大数据公司里面估值很高的公司。

3、国外的Tableau(http://www.tableau.com/)

可视化界面还是做得不错的

<img src="https://pic2.zhimg.com/a3e7a0c498b221079a0e8446dad1acc9_b.png" data-rawwidth="660" data-rawheight="407" class="origin_image zh-lightbox-thumb" width="660" data-original="https://pic2.zhimg.com/a3e7a0c498b221079a0e8446dad1acc9_r.png">

<img src="https://pic1.zhimg.com/c6d202e7a1d88ae6d2f314c5016883bc_b.png" data-rawwidth="1272" data-rawheight="754" class="origin_image zh-lightbox-thumb" width="1272" data-original="https://pic1.zhimg.com/c6d202e7a1d88ae6d2f314c5016883bc_r.png">

可是对于价格还是按需掏腰包吧。

<img src="https://pic3.zhimg.com/d15a86c317b747c41886343987163cde_b.png" data-rawwidth="1603" data-rawheight="847" class="origin_image zh-lightbox-thumb" width="1603" data-original="https://pic3.zhimg.com/d15a86c317b747c41886343987163cde_r.png">

4、国内的大数据魔镜分析工具(魔镜—行业领先的大数据可视化分析平台 6.0)

魔镜的大数据平台主要提供的还是数据清洗和ETL、Hadoop数据仓库以及一系列的数据分析服务,可提供的数据分析视图工具类型丰富:

<img src="https://pic1.zhimg.com/3b2d284f36c60900f7b4b3bc8b4ee9d4_b.png" data-rawwidth="1256" data-rawheight="688" class="origin_image zh-lightbox-thumb" width="1256" data-original="https://pic1.zhimg.com/3b2d284f36c60900f7b4b3bc8b4ee9d4_r.png">

目前国外还时候有很多从事大数据业务的公司,像协助美国CIA找到本拉登的Panlatir,可以预测未来的Recorded Future和,6sence,ETL方向的Etleap,CRM系统方向的Salesforce等,如果说到可视化工具,它应该是大数据处理流程里面的最后展现环节。

国内有个不错的链接,实属干货呀。

盘点:55个最实用大数据可视化分析工具(http://tech.it168.com/a2015/0318/1712/000001712286.shtml)

就写到这里吧,分析的不到位的地方,还请指出,谢谢。

补充

----------------------

刚有人问,哪些是目前国内可以用得到的一些数据科学家分析的工具,正好公司有同事是这方面的专家,请教了下,如下:

1、SPSS:主要用于数据建模工作,功能稳定且强大,能够满足中小企业在业务模型建立过程中的需求。

2、BitDeli

BitDeli是今年11月份在旧金山成立的一家初创公司。它能衡量出任何使用Python脚本的应用程序的指标,联合创始人兼CEO Ville Tuulos告诉Derrick,脚本可以很简单,也可以很复杂——甚至未来可以延伸到机器学习。不过和“重量级选手”Hadoop相比,BitDeli自认为是一个轻量级的Ruby。

3. Continuuity

Continuuity是前Yahoo首席云架构师Todd Papaioannou和Facebook HBase的工程师Jonathan Gray的心血结晶,Continuuity想让所有的公司都能像Yahoo、Facebook一样运营。该团队创建了一个大数据工具,它可以简化Hadoop以及HBase集群的复杂性,而且包含一系列开发套件,旨在帮助程序员开发大数据应用,该平台采用Hadoop技术,允许开发者在防火墙内外对大数据应用软件进行部署、扩展和管理。公司联合创始人兼首席执行官Todd Papaioannou表示,作为一家初创企业,Continuuity正在试图掀起下一波大数据应用软件的浪潮,公司所提供的工具能够大大提高处于开发状态的软件不同部分与阶段的扩展性。

4. Flurry

Flurry是移动应用统计分析领域里的标杆,正因为在行业内独特的优势,它每年的营收高达一亿美元。Flurry拥有非常全面的功能,不仅仅只是帮助开发者构建移动应用,它还帮助开发者分析所有的数据,进而产生更大的效益。其实数据也支撑了该公司的广告网络,他们通过数据分析可以帮助开发者推送准确的广告到需要的用户面前。不过单纯从移动应用的数据统计功能来看,Flurry绝对是处于领先地位。其功能模块设置合理,分析维度全面,分析流程也易于理解。