1. Bayes准则：寻求一种判别规则，使得属于第k类的样品在第k类中取得最大的后验概率。
基于以上准则，假定已知个体分为g类，各类出现的先验概率为P（Yk），且各类均近似服从多元正态分布，当各类的协方差阵相等时，可获得由m个指标建立的g个线性判别函数Y1，Y2，…，Yg，分别表示属于各类的判别函数值：
其中Cjk即为判别系数，通过合并协方差阵代入即可计算得各个指标的判别系数，而C0k中则加以考虑了先验概率P（Yk）：
2. 先验概率的确定：若未知各类的先验概率时，一般可用：
（1）等概率（先验无知）：P（Yk）= 1/g（all groups equal）。
（2）频率：P（Yk）= nk/N （当样本较大且无选择偏倚时用，compute from sample size）
3. 判别规则：
（1）计算样品属于各类的判别函数值，把对象判别为Y值最大的类。
（2）根据所得Y值，我们亦可以进一步计算属于k类的后验概率，再将对象判给后验概率最大的一类。
以上两种判别规则的结果是完全一致的。
函数介绍
实现Bayes判别可以调用程序包klaR中NaiveBayes()函数，其调用格式为：
NaiveBayes(x，grouping，prior，usekernel =FALSE，fL = 0， ...)
复制
x为训练样本的矩阵或数据框，grouping表示训练样本的分类情况，prior可为各个类别指定先验概率，默认情况下用各个类别的样本比例作为先验概率，usekernel指定密度估计的方法，默认情况下使用标准的密度估计，设为TRUE时，则使用核密度估计方法；fL指定是否进行拉普拉斯修正，默认情况下不对数据进行修正，当数据量较小时，可以设置该参数为1，即进行拉普拉斯修正。
例子：利用Iris数据集进行Bayes判别
>install.packages("klaR")
>X<-iris[1:100,1:4]
>G<-as.factor(gl(2,50))
>library(klaR)
>x<-NaiveBayes(X,G)
>predict(x)
$class
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54
1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2
55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72
2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90
2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
91 92 93 94 95 96 97 98 99 100
2 2 2 2 2 2 2 2 2 2
复制
由分析结果可知，根据已知分类的训练样品建立的判别规则，出现了0个样本错判，回代的判别正确率为100%。
这个我觉得可以选择beta分布为先验分布，因为首先binomial distribution 正比例于beta分布，而且未知参数p的后验分布正比例于binomial distribution 与 beta distribution 的乘积，正好是一个beta分布，所以beta先验分布是共轭的，便于计算。超参数就是Beta(a,b)中的形状参数a,b.它是一种基于贝叶斯定理的分类技术，具有预测者之间的独立性假设。简单地说，朴素贝叶斯分类器假定类中的特定特征的存在与任何其他特征的存在无关。例如，水果如果是红色的、圆的、直径约3英寸的，那么久可以被认为是一个苹果。即使这些特征彼此依赖或存在其他特征，朴素贝叶斯分类器将考虑所有这些属性来独立地区分这种水果是苹果的概率。朴素贝叶斯模型易于建立，特别适用于非常大的数据集。虽然简单，但朴素贝叶斯是已知的高性能甚至高度复杂的分类方法。
Bayes定理为P（C）、P（X）和P（X，C）的后验概率p（C* x）的计算提供了一种途径。请看下面的方程式：
机器学习算法：朴素贝叶斯｜python与r语言代码实现
在这里，
P（C x）是给定（属性）的类（目标）的后验概率。
P（C）是类的先验概率。
P（x，c）是预测给定类的概率。
P（x）是预测器的先验概率。
例子：让我们用一个例子来理解它。下面我有一个训练数据集的天气和相应的目标变量“玩”。现在，我们需要根据天气情况来判断玩家是否想玩。让我们按照下面的步骤来执行它。
步骤1：将数据集转换为频率表
步骤二：通过发现阴暗概率＝0.29和概率为0.64的概率来创建似然表。
机器学习算法：朴素贝叶斯｜python与r语言代码实现
步骤三：使用朴素贝叶斯方程计算每个类的后验概率。具有最高后验概率的类是预测的结果。
问题：如果天气晴朗，玩家会想玩，这个说法是正确的吗？
我们可以用上面讨论的方法求解它，所以P(Yes | Sunny) = P( Sunny | Yes) * P(Yes) / P (Sunny)
这里我们有P (Sunny |Yes) = 3/9 = 0.33, P(Sunny) = 5/14 = 0.36, P( Yes)= 9/14 = 0.64 得出， P (Yes | Sunny) = 0.33 * 0.64 / 0.36 = 0.60，具有较高的概率。
朴素贝叶斯使用类似的方法来预测基于不同属性的不同类别的概率。该算法主要用于文本分类，存在多类问题。
![[02]唯一允许的大括号放置风格--Go语言](/aiimages/%5B02%5D%E5%94%AF%E4%B8%80%E5%85%81%E8%AE%B8%E7%9A%84%E5%A4%A7%E6%8B%AC%E5%8F%B7%E6%94%BE%E7%BD%AE%E9%A3%8E%E6%A0%BC--Go%E8%AF%AD%E8%A8%80.png)
