【R语言入门与数据分析-5】 数据分析实战

Python018

【R语言入门与数据分析-5】 数据分析实战,第1张

老师的吐槽大会,乐死我了。hhh

regression,通常指用一个或者多个预测变量,也称自变量或者解释变量,来预测响应变量,也称为因变量、效标变量或者结果变量的方法

存在多个变量

AIC 考虑模型统计拟合度、用来拟合的参数数目

AIC值越小,越好

更多的变量:

图一:是否呈线性关系, 是

图二:是否呈正态分布,一条直线,正态分布

图三:位置与尺寸图,描述同方差性,如果方差不变,水平线周围的点应该是随机分布

图四:残差与杠杆图,对单个数据值的观测,鉴别离群点、高杠杆点、强影响点

模型建好,用predict函数对剩余500个样本进行预测,比较残差值,若预测准确,说明模型可以。

analysis of variance,简称ANOVA,也称为变异数分析。用于两个及两个以上样本均数差别的显著性检验。广义上,方差分析也是回归分析的一种,只不过线性回归的因变量一般是连续型变量。自变量是因子时,研究关注的重点通常会从预测转向不同组之间的差异比较。也就是方差分析。

power analysis,可以帮助在给定置信度的情况下,判断检测到给定效应值所需的样本量。也可以在给定置信度水平情况下,计算在某样本量内能检测到给定效应值的概率

拓展了线性模型的框架,包含了非正态因变量的分析。线性回归、方差分析都是基于正态分布的假设

-泊松回归 ,用来为计数资料和列联表建模的一种回归分析。泊松回归假设因变量是泊松分布,并假设它平均值的对数可被未知参数的线性组合建模

-logistic 回归

通过一系列连续型或者类别型预测变量来预测二值型结果变量是,logistic 回归是一个非常有用的工具。流行病学研究中用的多。

Principal Component Analysis,PCA,探索和简化多变量复杂关系的常用方法。 是一种数据降维技巧。可以将大量相关变量转化为一组很少的不相关变量。这些无关变量成为主成分。主成分是对原始变量重新进行线性组合,将原先众多具有一定相关性的指标,重新组合为一组的心得相互独立的综合指标。

探索性因子分析法 exploratory factor analysis,简称为EFA,是一系列用来发现一组变量的潜在结构的方法。通过找寻一组更小的、潜在的活隐藏的结构来解释已观测到的、显式的变量间的关系

因子分析步骤与PCA一致

啤酒与尿布

R,线性回归)R语言里的模型诊断图(Residuals vs Fitted,Normal QQ , Scale-Location ,Residuals Leverage)

线性回归,是概率统计学里最重要的统计方法,也是机器学习中一类非常重要的算法。线性模型简单理解非常容易,但是内涵是非常深奥的。尤其是线性回归模型中的Diagnostics plot的阅读与理解一直被认为是线性回归中的一个难点。 在任何线性模型中,能够直接“lm”(模型有意义),既要考虑各个参数的t-test所得出的p-value,也要考虑总体模型F-检验得出的p-value。...

查看原文

广义相加模型(GAM)及R实现

dimensionality)。 R中的实现主要有两个包:gam和mgcv,前者为旧版本的包,后者为新版本。两个包的基本建模过程是相似的(两个函数都是gam 要小心同时加载两个库),但幕后计算方法不同,优化和模型的参数也...分析。 5.模型参数的解释 以下面例子为例: 结果为 Day的影响水平p-value=0.473,解释能力为14.3%,说明影响不明显。 其中,edf为自由度,理论上,当自由度接近1时,表示是线性

如何用R语言做线性回归?

说明:斜体为R语言代码 01数据准备:下载数据集 在进行线性回归模拟之前,我们需先准备具有线性关系的数据集。 这里以机械工业出版社出版出版的丘祐玮著的《数据科学:R语言实现 (数据科学与工程技术丛书...的优劣,一元线性回归中R方等于皮尔逊积矩相关系数(Pearson product moment correlation coefficient 或Pearson’s r)的平方。这种方法

R in action读书笔记(9)-第八章:回归 -回归诊断

”( Residuals vs Fitted,左上)中可以清楚的看到一个曲线关系,这暗示着你可能需要对回归模型加上一个二次项。 口同方差性若满足不变方差假设,那么在位置尺度图(Scale-Location Graph,左下)中,水平线周围的点应该随机分布。该图似乎满足此假设。最后一幅“残差与杠杆图”(Residuals vs Leverage,右下)提供了你可能关注的

主成分分析应用之主成分回归

整体拟合效果来看,R^2为0.8618,调整的R^2为0.7697,整体拟合效果可以通过。最后,p值为0.00198说明,拒绝原假设,即有理由认为回归模型从整体上拟合效果比较好。 下面针对系数通不过... R-squared: 0.8345 F-statistic: 26.2 on 3 and 12 DF, p-value: 1.49e-05 使用逆变换法,得到原始变量的回归方程: beta<

R语言 一元线性回归、多元线性、多项式回归

#Estimate 表示估计系数 # Std. Error表示估计系数的差异性,这个值要比估计系数小一个数量级 #t value 表示用于变量的回归系数是否对模型有帮助 #Pr(>|t|) 变量之间不相关的...关注微信号:小程在线 关注CSDN博客:程志伟的博客 R版本:3.6.1 本节主要介绍了一元线性回归、多元线性、多项式回归。 重点介绍了summary里面每个参数的意义; 创建训练集、测试集

智能推荐

MobileNetV2:Inverted Residuals and Linear Bottlenecks

论文阅读笔记 论文链接(CVPR2018)https://arxiv.org/abs/1801.04381 For example, the depthwise layer may work on a tensor with 144 channels, which the projection layer will then shrink down to only 24 channels. Thi...

MobileNetV2: Inverted Residuals and Linear Bottlenecks

MobileNetV2: Inverted Residuals and Linear Bottlenecks论文翻译 摘要 1. Introduction 2. Related Work 3. 预备知识 3.1 深度分离卷积(Depthwise Separable Convolutions) 3.2 线性瓶颈(Linear Bottlenecks) 3.3 倒残差(Inverted residua...

Leverage—杠杆真是个好的社会财富变速箱

首先我们必须承认金融创新与科技革命加速了社会资源的流速。举个例子,在封建社会如果一个贫农想要变为地主如果通过合法的手段可以需要几代的积累才能在一定的概率上成为现实,在现在的社会如果你足够聪明在杠杆较低的期货市场可以用20个交易日的时间使得自己从十万户,变为千万户。 金融创新使得人类有更多可以利用的工具,科技创新尤其是IT技术使得这种创新可以让更多人使用这个金融工具。从这个角度来讲杠杆无疑是加速了社...

【论文学习记录】MobileNetV2: Inverted Residuals and Linear Bottlenecks

这篇文章是对MobileNetV1的改进,论文原文《MobileNetV2: Inverted Residuals and Linear Bottlenecks》。 MobileNetV2延续了MobileNetV1的depthwise separable convolution,不同的是V2引入了一个linear bottlenecks的概念。因为depthwise convolution没有改...

MobileNetV2笔记:linear bottleneck与Inverted residuals

先讲Inverted residuals 就是普通卷积变为Depthwise Convolution+Pointwise Convolution,并且在前面增加一个1*1卷积升维,当然在做Pointwise Convolution的时候也会做相应降维 并且加了一个residuals的shortcut,这样就可以更多地叠加模块增加网络深度 为什么这么做? =》DW+PW的卷积减少了参数量,但会损失特...

猜你喜欢

论文阅读:MobileNetV2: Inverted Residuals and Linear Bottlenecks(MobileNetV2)

文章目录 1 摘要 2 存在问题 3 亮点 3.1 Linear Bottlenecks 3.2 Inverted residual block 3.4 总的结构体 4 部分结果 4.1 部分数据对比 4.2 部分效果对比 5 结论 5.1 优势 5.2 不足 6 参考资料 1 摘要 本文基于MobileNetV1(戳这可以先了解一下MobileNetV1)的缺陷提出了MobileNetV2结构,...

分形网络结构——FractalNet: Ultra-Deep Neural Networks without Residuals论文笔记

转自:http://blog.csdn.net/wspba/article/details/73251731 前言 自从ResNet提出以来,倍受人们的追捧,在ResNet基础上延伸出来的模型结构越来越多,如:Wide ResNet、ResNet in ResNet、Stochastic Depth ResNet等等,都取得了非常好的效果,而Residual的结构也被认为对于构建极深网络非常重要的...

【MobileNet V2】《MobileNetV2:Inverted Residuals and Linear Bottlenecks》

CVPR-2018 caffe 版本的代码:https://github.com/shicai/MobileNet-Caffe/blob/master/mobilenet_v2_deploy.prototxt caffe 代码可视化工具:http://ethereon.github.io/netscope/#/editor 文章目录 1 Background and Motivation 2 Ad...

【FractalNet】Ultra-Deep Neural Networks Without Residuals (2017) 全文翻译

作者 Gustav Larsson(University of Chicago,[email protected]) Michael Maire(TTI Chicago,[email protected]) Gregory Shakhnarovich(TTI Chicago,[email protected]) 摘要 提出了一种基于自相似性的神经网络宏结构设计策略。重复应用一个简单的扩展规则生成深...

must set key for <rc-animate> children问题

在使用React开发的时候,其中数据回显的时候用到了upload组件回显图片,遇到这个问题 发现是图片数组长度虽然不为0,但是里面的参数没有值,所以组件回显遍历的时候不成功!提示这种错误 修改方法 判断没有传图片的时候 我觉得出现这种情况的原因是新增的时候没有判断图片数组为空的时候不传给后端,所以有个默认为空的时候...