多元统计分析概述

2023-02-24 11:31:01Python08

多元统计分析概述,第1张

后期会把每一章的学习笔记链接加上

多元统计分析 是研究多个随机变量之间相互依赖关系及其内在统计规律的一门学科

在统计学的基本内容汇总，只考虑一个或几个因素对一个观测指标（变量）的影响大小的问题，称为 一元统计分析 。

若考虑一个或几个因素对两个或两个以上观测指标（变量）的影响大小的问题，或者多个观测指标（变量）的相互依赖关系，既称为 多元统计分析 。

有两大类，包括：

将数据归类，找出他们之间的联系和内在规律。

构造分类模型一般采用 聚类分析 和 判别分析 技术

在众多因素中找出各个变量中最佳的子集合，根据子集合所包含的信心描述多元系统的结果及各个因子对系统的影响，舍弃次要因素，以简化系统结构，认识系统的内核（有点做单细胞降维的意思）

可采用 主成分分析 、 因子分析 、 对应分析 等方法。

多元统计分析的内容主要有: 多元数据图示法 、 多元线性相关 与 回归分析 、 判别分析 、 聚类分析 、 主成分分析 、 因子分析 、 对应分析 及 典型相关分析 等。

多元数据是指具有多个变量的数据。如果将每个变量看作一个随机向量的话，多个变量形成的数据集将是一个随机矩阵，所以多元数据的基本表现形式是一个矩阵。对这些数据矩阵进行数学表示是我们的首要任务。也就是说，多元数据的基本运算是矩阵运算，而R语言是一个优秀的矩阵运算语言，这也是我们应用它的一大优势。

直观分析即图示法，是进行数据分析的重要辅助手段。例如，通过两变量的散点图可以考察异常的观察值对样本相关系数的影响，利用矩阵散点图可以考察多元之间的关系，利用多元箱尾图可以比较几个变量的基本统计量的大小差别。

相关分析就是通过对大量数字资料的观察，消除偶然因素的影响，探求现象之间相关关系的密切程度和表现形式。在经济系统中，各个经济变量常常存在内在的关系。例如，经济增长与财政收人、人均收入与消费支出等。在这些关系中，有一些是严格的函数关系，这类关系可以用数学表达式表示出来。还有一些是非确定的关系，一个变量产生变动会影响其他变量，使其产生变化。这种变化具有随机的特性，但是仍然遵循一定的规律。函数关系很容易解决，而那些非确定的关系，即相关关系，才是我们所关心的问题。

回归分析研究的主要对象是客观事物变量间的统计关系。它是建立在对客观事物进行大量实验和观察的基础上，用来寻找隐藏在看起来不确定的现象中的统计规律的方法。回归分析不仅可以揭示自变量对因变量的影响大小，还可以用回归方程进行预测和控制。回归分析的主要研究范围包括:

(1) 线性回归模型: 一元线性回归模型 ， 多元线性回归模型 。

(2) 回归模型的诊断: 回归模型基本假设的合理性，回归方程拟合效果的判定，选择回归函数的形式。

(3) 广义线性模型: 含定性变量的回归 ， 自变量含定性变量 ， 因变量含定性变量 。

(4) 非线性回归模型: 一元非线性回归 ， 多元非线性回归 。

在实际研究中，经常遇到一个随机变量随一个或多个非随机变量的变化而变化的情况，而这种变化关系明显呈非线性。怎样用一个较好的模型来表示，然后进行估计与预测，并对其非线性进行检验就成为--个重要的问题。在经济预测中，常用多元回归模型反映预测量与各因素之间的依赖关系，其中，线性回归分析有着广泛的应用。但客观事物之间并不一定呈线性关系，在有些情况下，非线性回归模型更为合适，只是建立起来较为困难。在实际的生产过程中，生产管理目标的参量与加工数量存在相关关系。随着生产和加工数量的增加，生产管理目标的参量（如生产成本和生产工时等）大多不是简单的线性增加，此时，需采用非线性回归分析进行分析。

鉴于统计模型的多样性和各种模型的适应性，针对因变量和解释变量的取值性质，可将统计模型分为多种类型。通常将自变量为定性变量的线性模型称为 一般线性模型 ，如实验设计模型、方差分析模型将因变量为非正态分布的线性模型称为 广义线性模型 ，如 Logistic回归模型 、 对数线性模型 、 Cox比例风险模型 。

1972年，Nelder对经典线性回归模型作了进一步的推广，建立了统一的理论和计算框架，对回归模型在统计学中的应用产生了重要影响。这种新的线性回归模型称为广义线性模型( generalized linear models，GLM)。

广义线性模型是多元线性回归模型的推广，从另一个角度也可以看作是非线性模型的特例，它们具有--些共性，是其他非线性模型所不具备的。它与典型线性模型的区别是其随机误差的分布 不是正态分布 ，与非线性模型的最大区别则在于非线性模型没有明确的随机误差分布假定，而广义线性模型的 随机误差的分布是可以确定的 。广义线性模型 不仅包括离散变量，也包括连续变量 。正态分布也被包括在指数分布族里，该指数分布族包含描述发散状况的参数，属于双参数指数分布族。

判别分析是多元统计分析中用于 判别样本所属类型 的一种统计分析方法。所谓判别分析法，是在已知的分类之下，一旦有新的样品时，可以利用此法选定一个判别标准，以判定将该新样品放置于哪个类别中。判别分析的目的是对已知分类的数据建立由数值指标构成的 分类规则 ，然后把这样的规则应用到未知分类的样品中去分类。例如，我们获得了患胃炎的病人和健康人的一些化验指标，就可以从这些化验指标中发现两类人的区别。把这种区别表示为一个判别公式，然后对那些被怀疑患胃炎的人就可以根据其化验指标用判别公式来进行辅助诊断。

聚类分析是研究 物以类聚 的--种现代统计分析方法。过去人们主要靠经验和专业知识作定性分类处理，很少利用数学方法，致使许多分类带有主观性和任意性，不能很好地揭示客观事物内在的本质差别和联系，特别是对于多因素、多指标的分类问题，定性分类更难以实现准确分类。为了克服定性分类的不足，多元统计分析逐渐被引人到数值分类学中，形成了聚类分析这个分支。

聚类分析是一种分类技术，与多元分析的其他方法相比，该方法较为粗糙，理论上还不完善，但应用方面取得了很大成功。 聚类分析 与 回归分析 、 判别分析 一起被称为多元分析的三个主要方法。

在实际问题中，研究多变量问题是经常遇到的，然而在多数情况下，不同变量之间有一定相关性，这必然增加了分析问题的复杂性。主成分分析就是一种 通过降维技术把多个指标化为少数几个综合指标 的统计分析方法。如何将具有错综复杂关系的指标综合成几个较少的成分，使之既有利于对问题进行分析和解释，又便于抓住主要矛盾作出科学的评价，此时便可以用主成分分析方法。

因子分析是主成分分析的推广，它也是一种把多个变量化为少数几个综合变量的多元分析方法，但其目的是 用有限个不可观测的隐变量来解释原变量之间的相关关系 。主成分分析通过线性组合将原变量综合成几个主成分，用较少的综合指标来代替原来较多的指标（变量)。在多元分析中，变量间往往存在相关性，是什么原因使变量间有关联呢? 是否存在不能直接观测到的但影响可观测变量变化的公共因子呢?

因子分析就是寻找这些公共因子的统计分析方法，它是 在主成分的基础上构筑若干意义较为明确的公因子，以它们为框架分解原变量，以此考察原变量间的联系与区别 。例如，在研究糕点行业的物价变动中，糕点行业品种繁多、多到几百种甚至上千种，但无论哪种样式的糕点,用料不外乎面粉、食用油、糖等主要原料。那么，面粉、食用油、糖就是众多糕点的公共因子，各种糕点的物价变动与面粉、食用油、糖的物价变动密切相关，要了解或控制糕点行业的物价变动，只要抓住面粉、食用油和糖的价格即可。

对应分析又称为相应分析，由法国统计学家J.P.Beozecri于 1970年提出。对应分析是在因子分析基础之上发展起来的一种多元统计方法，是Q型和R型因子分析的联合应用。在经济管理数据的统计分析中，经常要处理三种关系，即 样品之间的关系（Q型关系)、变量间的关系（R型关系）以及样品与变量之间的关系（对应型关系) 。例如，对某一行业所属的企业进行经济效益评价时，不仅要研究经济效益指标间的关系，还要将企业按经济效益的好坏进行分类，研究哪些企业与哪些经济效益指标的关系更密切一些，为决策部门正确指导企业的生产经营活动提供更多的信息。这就需要有一种统计方法， 将企业（样品〉和指标（变量）放在一起进行分析、分类、作图，便于作经济意义.上的解释 。解决这类问题的统计方法就是对应分析。

在相关分析中，当考察的一组变量仅有两个时，可用 简单相关系数 来衡量它们当考察的一组变量有多个时，可用 复相关系数 来衡量它们。大量的实际问题需要我们把指标之间的联系扩展到两组变量，即 两组随机变量之间的相互依赖关系 。典型相关分析就是用来解决此类问题的一种分析方法。它实际上是利用主成分的思想来讨论两组随机变量的相关性问题，把两组变量间的相关性研究化为少数几对变量之间的相关性研究，而且这少数几对变量之间又是不相关的，以此来达到化简复杂相关关系的目的。

典型相关分析在经济管理实证研究中有着广泛的应用，因为许多经济现象之间都是多个变量对多个变量的关系。例如，在研究通货膨胀的成因时，可把几个物价指数作为一组变量，把若干个影响物价变动的因素作为另一组变量，通过典型相关分析找出几对主要综合变量，结合典型相关系数对物价上涨及通货膨胀的成因，给出较深刻的分析结果。

多维标度分析（ multidimensional scaling，MDS）是 以空间分布的形式表现对象之间相似性或亲疏关系 的一种多元数据分析方法。1958年，Torgerson 在其博士论文中首次正式提出这一方法。MDS分析多见于市场营销，近年来在经济管理领域的应用日趋增多,但国内在这方面的应用报道极少。多维标度法通过一系列技巧，使研究者识别构成受测者对样品的评价基础的关键维数。例如，多维标度法常用于市场研究中，以识别构成顾客对产品、服务或者公司的评价基础的关键维数。其他的应用如比较自然属性（比如食品口味或者不同的气味)，对政治候选人或事件的了解，甚至评估不同群体的文化差异。多维标度法 通过受测者所提供的对样品的相似性或者偏好的判断推导出内在的维数 。一旦有数据，多维标度法就可以用来分析:①评价样品时受测者用什么维数②在特定情况下受测者可能使用多少维数③每个维数的相对重要性如何④如何获得对样品关联的感性认识。

20世纪七八十年代，是现代科学评价蓬勃兴起的年代，在此期间产生了很多种评价方法，如ELECTRE法、多维偏好分析的线性规划法（LINMAP)、层次分析法（AHP)、数据包络分析法（EDA）及逼近于理想解的排序法（TOPSIS)等，这些方法到现在已经发展得相对完善了，而且它们的应用也比较广泛。

而我国现代科学评价的发展则是在20世纪八九十年代，对评价方法及其应用的研究也取得了很大的成效，把综合评价方法应用到了国民经济各个部门，如可持续发展综合评价、小康评价体系、现代化指标体系及国际竞争力评价体系等。

多指标综合评价方法具有以下特点: 包含若干个指标，分别说明被评价对象的不同方面 评价方法最终要 对被评价对象作出一个整体性的评判，用一个总指标来说明被评价对象的一般水平 。

目前常用的综合评价方法较多， 如综合评分法、综合指数法、秩和比法、层次分析法、TOPSIS法、模糊综合评判法、数据包络分析法 等。

R -- 永远滴神~

什么是R语言？应该如何开始学习/使用R语言呢？

学习R有几个月了，总算是摸着了一点门道。

写一些自己的心得和经验，方便自己进一步鼓捣R。如果有人看到我写的东西而得到了帮助，那就更好了。

什么是R？R的优点何在？

R是一个数据分析软件。简单点说，R可以看做MATLAB的“替代品”，而且具有免费开源的优势。R可以像MATLAB一样解决有关数值计算的问题，而且具有强大的数据处理，绘图功能。

R拥有大量的统计分析工具包，我的感觉是——只有我们没听说过的工具，绝对没有R没有的工具包。配合着各种各样的工具包，你可以毁灭任何关于数据和统计的问题。因为数据包的数量庞大，所以查找自己需要的数据包，可能很烦恼。

如果有以下技能，学R会很方便：

1.已经了解些高级程序语言（非常重要）

2.英语不坏

3.概率统计理论基础

4.看数据不头疼

5.看cmd or terminal 也不头疼

你需要一本适合你的R语言教材

我开始学习R的时候，找到了这个帖子

非常强大的关于R语言教材综述。我非常感谢原帖作者。你可以参考这个帖子选一本适合你的教材。

我这里在说一下我主要使用的几本教材的心得：

1. 统计建模与R软件（薛毅著）：非常优秀的R语言入门教材，涵盖了所有R的基础应用&方法，示例代码也很优秀。作为一本中文的程序语言教材，绝对是最优秀的之一。但是要看懂这本书，还是需要“已经了解些高级程序语言”。PS：我亲爱的吉林大学图书馆，有两本该教材流通，我常年霸占一本。

2. R in Nutshell：从讲解内容上看，与上一本差别不大，在R语言的应用上都是比较初级的入门，但是有些R软件&语言上的特性，写得比薛毅老师的教材深刻。这本书最大的优点就是工具书，方便开始入门时候，对有些“模棱两可”的东西的查询。PS：我将这本书打印了出来，简单的从头到尾翻过，最大的用途就是像一本字典一样查询。

3. ggplot2 Elegant Graphics for Data：这是一本介绍如何使用ggplot2包，进行绘图的书。ggplot2包，非常强大的绘图工具，几乎可以操作任何图中的元素，而且是提供添加图层的方式让我们可以一步步的作图。提到ggplot2包，应该提到一个词——“潜力无穷”，每一个介绍

ggplot2的人，都会用这个形容词。这本书最大的作用也是当做一本绘图相关的工具书，书中讲解详细，细致，每个小参数的变动都会配图帮你理解。PS：这本书我也打印出来了，非常适合查询。

几个可以逐步提高R能力的网站

1.R-bloggers: 这里有关于R和数据的一切讨论，前沿的问题，基础的问题，应有尽有。可以说这些家伙们让R变得越来越强大。我RSS了这个网站，每天都看一下有什么我感兴趣的方法和话题，慢慢的积累一些知识，是一个很有意思的过程。

2.统计之都：这是一个有大量R使用者交流的论坛，你可以上去提问题，总有好心人来帮助你的。

3.R客：是关于R的一个博客，更新不快，偏重国内R的一些发展。

R的使用环境

如果你看见terminal or cmd就打怵的话，一定要使用Rstudio。Rstudio的优点是，集成了Rconsole、脚本编辑器、可视化的数据查询、历史命令、帮助查询等，还有的完美的脚本和console的互动。毕竟是可视化的界面，有许多按钮可以用。R 的脚本编辑器很蛋疼，就比记事本多了个颜色高亮吧，不适合编写脚本，但适合调试脚本。

最后，说一下，刚开始学习R或者其他什么语言，都有一个通病，就是一些小细节的不知道，或者是记得不清楚，往往一个蛋疼的bug就可以耗掉大量的时间，这是一个让人想砸电脑的过程。我往后，会在博客里记录一些让我蛋很疼的小细节。本文分为6个部分，分别介绍初级入门，高级入门，绘图与可视化，计量经济学，时间序列分析，金融等。

1.初级入门

《An Introduction to R》，这是官方的入门小册子。其有中文版，由丁国徽翻译，译名为《R导论》。《R4Beginners》，这本小册子有中文版应该叫《R入门》。除此之外，还可以去读刘思喆的《153分钟学会R》。这本书收集了R初学者提问频率最高的153个问题。为什么叫153分钟呢？因为最初作者写了153个问题，阅读一个问题花费1分钟时间，全局下来也就是153分钟了。有了这些基础之后，要去读一些经典书籍比较全面的入门书籍，比如《统计建模与R软件》，国外还有《R Cookbook》和《R in action》，本人没有看过，因此不便评论。

最后推荐，《R in a Nutshell》。对，“果壳里面的R”！当然，是开玩笑的，in a Nutshell是俚语，意思大致是“简单的说”。目前，我们正在翻译这本书的中文版，大概明年三月份交稿！这本书很不错，大家可以从现在开始期待，并广而告知一下！

2.高级入门

读了上述书籍之后，你就可以去高级入门阶段了。这时候要读的书有两本很经典的。《Statistics with R》和《The R book》。之所以说这两本书高级，是因为这两本书已经不再限于R基础了，而是结合了数据分析的各种常见方法来写就的，比较系统的介绍了R在线性回归、方差分析、多元统计、R绘图、时间序列分析、数据挖掘等各方面的内容，看完之后你会发现，哇，原来R能做的事情这么多，而且做起来是那么简洁。读到这里已经差不多了，剩下的估计就是你要专门攻读的某个方面内容了。下面大致说一说。

3.绘图与可视化

亚里斯多德说，“较其他感觉而言，人类更喜欢观看”。因此，绘图和可视化得到很多人的关注和重视。那么，如何学习R画图和数据可视化呢？再简单些，如何画直方图？如何往直方图上添加密度曲线呢？我想读完下面这几本书你就大致会明白了。

首先，画图入门可以读《R Graphics》，个人认为这本是比较经典的，全面介绍了R中绘图系统。该书对应的有一个网站，google之就可以了。更深入的可以读《Lattice：Multivariate Data Visualization with R》。上面这些都是比较普通的。当然，有比较文艺和优雅的——ggplot2系统，看《ggplot2：Elegant Graphics for Data Analysis》。还有数据挖掘方面的书：《Data Mining with Rattle and R》，主要是用Rattle软件，个人比较喜欢Rattle!当然，Rattle不是最好的，Rweka也很棒！再有就是交互图形的书了，著名的交互系统是ggobi，这个我已经喜欢两年多了，关于ggobi的书有《Interactive and Dynamic Graphics for Data Analysis With R and GGobi》，不过，也只是适宜入门，更多更全面的还是去ggobi的主页吧，上面有各种资料以及包的更新信息！

特别推荐一下，中文版绘图书籍有《现代统计图形》。

4.计量经济学

关于计量经济学，首先推荐一本很薄的小册子:《Econometrics In R》，做入门用。然后，是《Applied Econometrics with R》，该书对应的R包是AER，可以安装之后配合使用，效果甚佳。计量经济学中很大一部分是关于时间序列分析的，这一块内容在下面的地方说。

5.时间序列分析

时间序列书籍的书籍分两类，一种是比较普适的书籍，典型的代表是：《Time Series Analysis and Its Applications ：with R examples》。该书介绍了各种时间序列分析的经典方法及实现各种经典方法的R代码，该书有中文版。如果不想买的话，建议去作者主页直接下载，英文版其实读起来很简单。时间序列分析中有一大块儿是关于金融时间序列分析的。这方面比较流行的书有两本《Analysis of financial time series》，这本书的最初是用的S-plus代码，不过新版已经以R代码为主了。这本书适合有时间序列分析基础和金融基础的人来看，因为书中关于时间序列分析的理论以及各种金融知识讲解的不是特别清楚，将极值理论计算VaR的部分就比较难看懂。另外一个比较有意思的是Rmetrics推出的《TimeSeriesFAQ》，这本书是金融时间序列入门的东西，讲的很基础，但是很难懂。对应的中文版有《金融时间序列分析常见问题集》，当然，目前还没有发出来。经济领域的时间序列有一种特殊的情况叫协整，很多人很关注这方面的理论，关心这个的可以看《Analysis of Integrated and Cointegrated Time Series with R》。最后，比较高级的一本书是关于小波分析的，看《Wavelet Methods in Statistics with R》。附加一点，关于时间序列聚类的书籍目前比较少见，是一个处女地，有志之士可以开垦之！

6.金融

金融的领域很广泛，如果是大金融的话，保险也要被纳入此间。用R做金融更多地需要掌握的是金融知识，只会数据分析技术意义寥寥。我觉得这些书对于懂金融、不同数据分析技术的人比较有用，只懂数据分析技术而不动金融知识的人看起来肯定如雾里看花，甚至有人会觉得金融分析比较低级。这方面比较经典的书籍有：《Advanced Topics in Analysis of Economic and Financial Data Using R》以及《Modelling Financial Time Series With S-plus》。金融产品定价之类的常常要用到随机微分方程，有一本叫《Simulation Inference Stochastic Differential Equations：with R examples》的书是关于这方面的内容的，有实例，内容还算详实!此外，是风险度量与管理类。比较经典的有《Simulation Techniques in Financial Risk Management》、《Modern Actuarial Risk Theory Using R》和《Quantitative Risk Management：Concepts, Techniques and Tools》。投资组合分析类和期权定价类可以分别看《Portfolio Optimization with R》和《Option Pricing and Estimation of Financial Models with R》。

7.数据挖掘

这方面的书不多，只有《Data Mining with R:learing with case studies》。不过，R中数据挖掘方面的包已经足够多了，参考包中的帮助文档就足够了。

总体上来讲，数据分析挖掘体系可分为数据预处理、分析挖掘、数据探索、数据展现和分析工具。

数据预处理

数据预处理包含数据清洗、数据集成、数据变换和数据规约几种方法。

而数据清洗包括缺失值处理和异常值处理；

数据集成包括同名同义、异名同义、单位不统一的实体识别和冗余性识别。数据变化包括函数变换、规范化、连续属性离散化、属性沟通和小波变换。数据规约包括属性规约和数值规约。

分析挖掘

分析挖掘的内容就多了。包括假设检验、方差分析、回归分析、主成分分析、因子分析、典型相关分析、对应分析、多维尺度分析、信度分析、生存分析、分类预测、聚类分析、关联规则、时间序列分析和著名的灰色理论。后几个应用较多。

分类预测的方法包括决策树、神经网络、支持向量机(SVM)、Logistic回归、判别分析和贝叶斯网络。

聚类分析包括K-Means聚类、kohonen网络聚类、两步聚类和层次聚类。

关联规则的算法有Apriori算法、GRI算法和Carma算法。