R语言-统计学 描述性统计

Python017

R语言-统计学 描述性统计,第1张

R语言-统计学 描述性统计

描述定量数据的数值方法:中心趋势度量 变异的度量 相对位置的度量。

1.中心趋势度量 : 算数平均 中位数 众数

1.1 在R中计算平均数的函数 mean( )常规的mean() 函数用法mean(x, trim = 0, na.rm = FALSE, ...) 参数说明: x 对象名称trim 过滤掉异常值 ,按照距离平均值的远近距离排除,如对象中含有10个数据,排除最高和最低值,trim=0.2na.rm 默认为F 表示是否计入空值实例1: 做一个稍微复杂点的操作,用r做数据透视表并把结果转换为matrix ,对行列求和。(仅娱乐,无实用价值)

demo <- mtcars[1:6,] # 调用R自带函数集,并去前6行

toushi <- aggregate(mtcars[,5:6] ,by = list(cyl = mtcars$cyl),sum) # 数据透视表求和

toushi <- as.matrix(toushi) # 将结果的数据框转化成矩阵

#(toushi <- apply(toushi,c(1,2),sum))

(rowSums(toushi)) # 行求和

(colSums(toushi)) # 列求和

toushi <- rbind(toushi,rowSums(toushi)) #将行求和结果并入最后一行

toushi <- cbind(toushi,colSums(toushi)) #将列求和结果并入最后一列

1.2 中位数和众数

对于偏度极大的数据集,中位数能更好的描述数据分布的中心。

很少用众数作为数据数据趋势的度量,只有当对y出现的相对频率感兴趣时,才会考虑到众数。

R实现中位数 :

median(x, na.rm = FALSE)

R中没有直接插找众数的命令

which.max(table(x))

2.变异的度量 : 极差 方差 标准差

2.1 .极差 = max()- min()

2.2 方差和标准差

对一个有n个测量值的有限总体来说,方差计算公式的分母为n。关于样本方差和总体方差分母的差异原因,可自行百度搜索。

R语言计算方差的函数: var(x,)

w<-c(75.0,64.0,47.4,66.9,62.2,62.2,58.7,63,5,66.6,64.0,57.0,69.0,56.9,50.0,72.0)

var(w)

# 附加指数点:标准差的两个有用法则:经验法则 和 切比雪夫法则,共同说明一个问题,对于任意大于1的正数k,至少有(1-1/k^2)的测试值落在平均值的k个标准值范围内。

3.变异的度量 : 百分位数 Z得分

3.1 .最常见的四分位数(一般从大到小)

quantile(x, probs = seq(0, 1, 0.25), na.rm = FALSE,names = TRUE, type = 7, ...)

你真的了解大数据分析吗_数据分析师考试

本文将介绍大数据分析的主要步骤和面临的挑战。大数据分析包括以下步骤:

数据采集——从各种常规和非常规来源收集非结构化和结构化数据,包括机器传感器。

数据存储——将数据存储到稳定、分布式和可扩展的存储中,它们位于有复制副本的消费类硬件中。

描述性分析——汇总数据并开发数据可视化。

预测分析——使用可用数据通过监督学习算法开发模型。

规范性分析——开发利用预测结果的场景。

我们仍然没有涉及到帮助我们优化大数据分析步骤的挑战。我将介绍探寻大数据真实价值过程中会遇到的一些挑战。下面是一些问题及解决方法。

缺少数据源或隐藏数据源的标识:有可能数据采集步骤中没有隐藏的数据源。大数据并不限制数据源的数量,并且鼓励从所有可用数据源采集所有的数据。一个经验法则是采集所有用于解决大数据问题的数据。在这种情况下,我们需要保证采集所有数据的方法有足够的安全性。可以有多个团队参与数据采集。

数据安全性、缺少统一数据服务层和统一数据建模可能导致数据存储步骤产生数据孤岛。我们可以使用统一数据模型来定义业务实体、统一服务层和采用身份验证与授权形式的安全实现,以此来解决这个问题。有一个新概念叫数据湖(DataLake),它需要将数据存储为生产者和消费者之间预先协定的模式。

传统上,分析一直与较小规模数据集相关联,并且在OLAP模式中执行。除非我们能够说服干系人接受大数据的分析优势——实时分析与较大规模数据集并行处理能力,否则我们很难替代现有的分析/BI工具,也很难改进这些工具。一些算法也已经移植到大数据软件包,这是一个令人兴奋的消息。大数据技术将能够利用现有的分析平台——R语言、Python、SAS,并且能够提供统一的分析平台。此外,大数据人才也具备了分析技能,有能力执行描述性、预言性和规范性分析。

以上是小编为大家分享的关于你真的了解大数据分析吗的相关内容,更多信息可以关注环球青藤分享更多干货