那么，我们可以定义这样的一个量：它由a表示，但它的分布，却不依赖于a。我们将这个量称作枢轴量。
例如，如果a是方差已知的正态分布的均指，设样本均值是，那么，服从已知的正态分布，我们就可以称作b是枢轴量。
容易看出，枢轴量有两点性质：1.分布已知，2.包含未知参数的信息。
我们将估计a的枢轴量记作f（a，X），这里，X表示样本。因为枢轴量的分布已知，我们便有可能找到这样的区间[bl,bh]，使得的概率大于95%，更近一步，如果能够求出和不等式等价的不等式，我们便可断定，a落在区间的概率不低于95%，即该区间是a的置信度为95%的置信区间。
参数估计的requisites我默认大家已经掌握了基本的概率论知识，例如了解概率空间、随机变量、概率的含义，会求随机变量的分布函数、数字特征，对基本的大数定理和中心极限定理有一些了解，最好还要知道三大抽样分布的性质。
但是还是简单提一下统计量的概念吧：统计量是从样本中得到的，是样本的函数，统计量不含有任何未知参数。
2.参数估计的目的
我们在统计中，总是想要通过样本去推断总体的性质，而引进统计量，就是对样本进行描述的过程。实际中，我们感兴趣的问题总是与总体分布中的未知参数有关系，所以，我们要对参数进行估计和检验。
这里的参数是指：
分布中的未知参数和未知参数的函数
分布的各种特征函数
3.参数估计的类型和使用
在此之间，我们必须要明确一点，估计是一个方法，不是一个具体算出来的值；只是，在给定样本以后，用这种估计的方法，可以算出数值。
3.1 点估计
点估计，顾名思义是对某个未知参数的值的估计，就像是数轴上的一个点。因此我们的目的也就是找到一个未知参数的好的估计量。
知道点估计的含义以后，我们先来看看常用的找估计量的方法：
矩估计
最大似然估计
最小方差无偏估计
贝叶斯估计
3.1.1 矩估计
矩估计的基本原理就是：替换原理通过样本的矩替换总体的矩，用样本矩的函数替换总体矩的函数。
这么做的好处是：在总体分布函数未知的情况下，通过样本的特征数可以对各种参数进行估计。
矩估计的实质是：用样本的经验分布函数去替换总体的分布，理论基础是格里纹科定理。
具体的操作就是：
假设已知总体的概率密度函数，但其中的参数未知，通过这个带有未知参数的密度函数去求总体的各阶矩；
利用样本的数据，求各阶矩；
通过总体各阶矩和样本各阶矩相等，构造方程组，解出参数。
3.1.2 最大似然估计（MLE）
最大似然估计，也可以叫做极大似然估计，从字面理解非常到位就是，找到一个未知参数的估计，使得在这个估计的条件下，由总体概率密度函数推算的分布下，样本发生的可能性最大。即是，最大的像这样的估计。
具体操作就是：
将未知参数的估计设为x，带入总体密度函数。
建立在样本的独立性的条件下，根据样本求出样本取得当下值的概率。
通过分析计算出使得概率达到最大的x，就是未知参数的极大似然估计。
最大似然估计具有不变性。
3.1.3 最小方差无偏估计
首先引进均方误差（MSE）的概念，均方误差是用于衡量点估计好坏的一种标准，关于衡量点估计好坏的标准在后文还会详细介绍，这里为了需要，先简单提一下。首先明确一点，均方误差是对点估计进行的计算。具体的计算公式是，参数估计值与真实值之差的平方的期望，通过分解，也等于估计值的方差加估计值的期望与真实值之差的平方。
一致最小均方误差估计，是需要在一个确定的估计类里，找到均方误差相对最小的那个。但由于是在估计类里找，如果不对估计加任何限制，则一致最小均方误差估计是不存在的，所以没有意义。
最小方差无偏估计，这里是指一致最小方差无偏估计，就是对于一个参数的无偏估计而言，最小的均方误差就意味着最小的方差。对于参数空间中的任何无偏估计，具有最小方差的那个估计就称作是一致最小方差无偏估计（UMVUE）
实际上，用于判断是否是UMVUE，可以通过一个定理方便地得到：未知参数的UMVUE必然与任一零的无偏估计不相关。也就是说，现在还有一个其他的随机变量X，均值是零，那么这个未知参数的UMVUE与这个随机变量X的相关系数（Cov）为零。
3.1.4 贝叶斯估计
前面介绍的三种办法是频率学派的理论，而贝叶斯估计是贝叶斯学派的观点。
贝叶斯估计是建立在已经有关于参数的分布的信息的基础上，叫做先验信息，然后进行样本观测，推算后验分布。也可以理解为，用总体和样本对先验分布做出调整。
具体做法是：
在参数未知的条件下，确定总体的分布
根据参数的先验信息确定先验分布 π(θ)
求出在通过先验分布得到的未知参数后，样本的联合分布 p(X|θ)
确定样本和未知参数的联合分布，也就是2.与3.得到的分布函数之积 h(X,θ)=p(X|θ)π(θ)。
对参数θ的贝叶斯推断，π(θ|X)= h(X,θ)/m(X)，其中m(X) 是从h(X,θ)中对θ整个参数空间积分得到的，X的边际概率函数。
3.2 点估计好坏的评价标准
前面已经提到点估计的目的是找到未知参数的好的估计量，那么到底怎么定义“好”，也是我们需要关心的。在点估计中，有如下标准衡量：
无偏性
有效性
相合性
均方误差
充分性原则
有效估计
我刚学参数估计的时候，脑子里总是记不住这些性质到底在描述什么QAQ
好吧，其实现在也记不住，我也必须翻一下笔记了…
无偏性
无偏性是描述经过重复抽样以后，所有对这个未知参数的估计值的平均等于真实的参数值。具体判断也就是计算这个估计的均值，看它是否等于真实值。关于无偏性还有一些性质，最好能够记住：
样本的k阶中心距通常不是总体k阶中心矩的无偏估计
无偏性不具有不变性，也就是无偏估计的函数不一定是无偏估计
无偏估计还有渐近无偏估计，就是当样本量趋近于无穷时，均值的极限趋近于真实值。也是用于衡量一个估计是一个好的估计的准则。
有效性
有效性是建立在两个无偏估计的基础上，比较两个无偏估计的方差，方差小的更有效。
相合性
与渐近无偏性从期望的极限角度理解不同，相合性是从概率的角度，即未知参数的估计，在样本量趋近于无穷大的时候，估计量依概率收敛到未知参数。也即是说，当样本量增大的时候，被估计的参数能够被估计到任意指定的精度。判断相合性，我们采用验证它的充分条件：
渐进无偏性
方差收敛到0
由大数定理知道，矩估计一般都是相合的
均方误差
MSE，是通过计算参数估计值与真实值之差的平方的期望，其大小能够反映估计的好坏，在同一估计类里越小越好。
充分性原则
首先，要注意充分性原则和充分性是两个不同的东西！充分性是描述统计量不丢失关于样本的任何信息，则称这个统计量为充分统计量。那么，充分性原则和充分性一点关系都没有吗？也不是的。在比较两个无偏估计的好坏的时候，较好的那个无偏估计总是样本的充分统计量；并且，将不是样本充分统计量的统计量，关于充分统计量求期望，得到的估计，一定是充分统计量，并且新的估计的方差也得到了降低。
换句话说，对于所有的统计推断问题，考虑未知参数的估计问题，只需要在基于充分统计量的函数中进行即可，这就是充分性原则。
你可能还在想，怎么将不是样本充分统计量的统计量关于一个充分统计量求期望？利用随机过程讲义的第一章的内容，利用条件概率公式，连续函数求积分，离散函数求∑。
有效估计
有效估计是一个估计，它的方差达到了Cramer-Rao方程的下界，有效估计一定是UMVUE哈。具体计算来判断是否是有效估计的话：
根据总体密度函数（含参数）检验满足C-R方程的条件；
求费希尔信息量，找到C-R下界；
对无偏估计求方差，检验是否等于C-R下界。
3.3 区间估计
之前我们讨论的都是点估计，但是关于统计量的精度我们无法定量的回答，必须通过它们的分布来反映。在实际中，度量点估计精度直观方法就是给出未知参数的一个区间，这就是区间估计。
区间估计是想要找到两个统计量，构成一个区间，这个区间盖住未知参数真值的可能性不确定，但是人们总是希望在尽可能小的区间下，区间盖住真值的可能性越大越好，由此得到置信区间的定义：
置信区间，是一个有样本值得到的随机区间，未知参数真值落在这个随机区间中的概率大于等于1-a，或者理解为，未知参数真值不落在这个随机区间中的概率小于置信度，满足这个条件的随机区间称作置信区间。首先，置信水平是随机区间盖住真值的概率，置信水平等于置信度，然后，我自己理解置信度是这样的：当大量重复实验，用置信区间的计算方法，得到很多个N个随机区间的时候，有(N* 置信水平)的那么多个区间，包括了均值。
那具体怎么做区间估计呢？我们通过构造区间估计的方法，使用最基本的枢轴量法：
什么是枢轴量？
枢轴量是样本和未知参数的函数，它具有的性质是其分布不依赖与未知参数，或者说，它的概率密度函数与参数无关。
枢轴量有什么用？
在参数未知的时候，没有办法直接凭空从置信水平找到随机区间的上下限，所以采用枢轴量的分布函数，以此为媒介，根据置信水平，先算出枢轴量的置信区间，再反解出上下限。
枢轴量怎么用？
其实2.已经解答过了，从未知参数的好的点估计（MLE）出发，用它的性质和密度函数构造。根据置信水平，通常采用等尾置信区间保证区间长度最短，先算出枢轴量的置信区间，再反解出上下限。
有什么特别的检验的构造套路吗？
单个正态总体参数：分为均值、方差是否已知，对均值和方差分别都有不同的枢轴量
大样本置信区间：原理是中心极限定理，在样本方差已知的时候，很 ok在样本方差未知的时候，中心极限定理的分布可以将方差换成它的相合估计。注意哦，大样本运用中心极限定理，最多只有样本的方差的相合估计代替方差，不可以用均值的无偏估计代替总体均值位置上的 μ 的！
两独立正态总体下均值之差和方差之比的置信区间：类似于单个正态总体，在估计均值的时候，要看方差是否已知，或者方差成比例；在估计方差之比的时候，直接就有枢轴量，不需要讨论均值是否已知。
除了这些，均匀分布的总体还有一些特别的构造方法，课后题和期中考试卷子也有涉及，供自己参考~
注：区间估计构造枢轴量的时候，大量用到前面一章节的统计量及其分布、以及三大抽样分布的基础。
