海量数据分析用什么工具比较好?只有ORACLE的OLAP和DM?R语言和MATLAB计算超过300万条数据就没内存了。

Python08

海量数据分析用什么工具比较好?只有ORACLE的OLAP和DM?R语言和MATLAB计算超过300万条数据就没内存了。,第1张

数据量处理可以用IBM的DB2,它也有完整的OLAP及DM工具。其分析报表生成等工具是cognos。

另外微软的SQL SERVER也有这方面工具,但是却只能运行在没有稳定可靠名声的windows上。

市场上的数据挖掘工具一般分为三个组成部分:a、通用型工具;b、综合/DSS/OLAP数据挖掘工具;c、快速发展的面向特定应用的工具。常用的数据挖掘工具有很多,例如:

1、思迈特软件Smartbi的大数据挖掘平台:通过深度数据建模,为企业提供预测能力支持文本分析、五大类算法和数据预处理,并为用户提供一站式的流程式建模、拖拽式操作和可视化配置体验。

2、Enterprise Miner 这是一种在我国的企业中得到采用的数据挖掘工具,比较典型的包括上海宝钢配矿系统应用和铁路部门在春运客运研究中的应用。SAS Enterprise Miner是一种通用的数据挖掘工具,按照“抽样——探索——转换——建模——评估”的方法进行数据挖掘。可以与SAS数据仓库和OLAP集成,实现从提出数据、抓住数据到得到解答的“端到端”知识发现。

3、SPSS Clementine是一个开放式数据挖掘工具,曾两次获得英国政府SMART 创新奖,它不但支持整个数据挖掘流程,从数据获取、转化、建模、评估到最终部署的全部过程,还支持数据挖掘的行业标准——CRISP-DM。

更多的了解我们可以到思迈特软件Smartbi了解一下。 在金融行业,全球财富500强的10家国内银行中,有8家选用了思迈特软件Smartbi;国内12家股份制银行,已覆盖8家;国内六大银行,已签约4家;国内排名前十的保险公司已经覆盖6家;国内排名前十的证券公司已经覆盖5家。

数据是平台运营商的重要资产,可能提供API接口允许第三方有限度地使用,但是显然是为了增强自身的业务,与此目的抵触的行为都会受到约束。

收集数据主要是通过计算机和网络。凡是经过计算机处理的数据都很容易收集,比如浏览器里的搜索、点击、网上购物、……其他数据(比如气温、海水盐度、地震波)可以通过传感器转化成数字信号输入计算机。

收集到的数据一般要先经过整理,常用的软件:Tableau和Impure是功能比较全面的,Refine和Wrangler是比较纯粹的数据整理工具,Weka用于数据挖掘。

Hadoop是一个能够对大量数据进行分布式处理的软件框架。用于统计分析的R语言有个扩展R + Hadoop,可以在Hadoop集群上运行R代码。更具体的自己搜索吧。

可视化输出的工具很多。建议参考wikipedia的“数据可视化”条目。

Tableau、Impure都有可视化功能。R语言也可以绘图。

还有很多可以用来在网页上实现可视化输出的框架或者控件。

大致基于四种技术:Flash(Flex)或者JS(HTML5)或者Java或者ASP.NET(Silverlight)

Flash的有Degrafa、BirdEye、Axiis、Open Flash Chart

JS的有Ajax.org、Sencha Ext JS、Filament、jQchart、Flot、Sparklines、gRaphael、TufteGraph、Exhibit、PlotKit、ExplorerCanvas、MilkChart、Google Chart API、Protovis

Java的有Choosel、google-visualization-java、GWT Chronoscope、JFreeChart

ASP.NET的有Telerik Charts、Visifire、Dundas Chart

目前我比较喜欢d3(Data-Driven Documents),图形种类丰富,有交互能力,你可以去d3js.org看看,有很多种图形的demo。