由于已经是csv格式，所以直接输入：
每一行： 一个购物篮
每一列： 购物篮中的商品
先看看pd读的对不对：
然后按行打印：
再将这些存在一个数组中：
1、什么是独热码
独热码，在英文文献中称做 one-hot code, 直观来说就是有多少个状态就有多少比特，而且只有一个比特为1，其他全为0的一种码制，更加详细参加 one_hot code（维基百科） 。在机器学习中对于离散型的分类型的数据，需要对其进行数字化比如说性别这一属性，只能有男性或者女性或者其他这三种值，如何对这三个值进行数字化表达？一种简单的方式就是男性为0，女性为1，其他为2，这样做有什么问题？
使用上面简单的序列对分类值进行表示后，进行模型训练时可能会产生一个问题就是特征的因为数字值得不同影响模型的训练效果，在模型训练的过程中不同的值使得同一特征在样本中的权重可能发生变化，假如直接编码成1000，是不是比编码成1对模型的的影响更大。为了解决上述的问题，使训练过程中不受到因为分类值表示的问题对模型产生的负面影响，引入独热码对分类型的特征进行独热码编码。
可以这样理解，对于每一个特征，如果它有m个可能值，那么经过独热编码后，就变成了m个二元特征（如成绩这个特征有好，中，差变成one-hot就是100, 010, 001）。并且，这些 特征互斥 ，每次只有一个激活。因此，数据会变成稀疏的。
这样做的好处主要有：
（1）解决了分类器不好处理 属性数据 的问题
（2）在一定程度上也起到了 扩充特征 的作用
M
以下为我摘取的别人的，贴上原文链接https://blog.csdn.net/hellozhxy/article/details/80600845
著名的啤酒与尿布, 这是典型的购物篮问题, 在数据挖掘界叫做频繁项集(Frequent Itemsets).
note: 数据类型写法按照Python的格式.
一. 目标与定义
1. 问题背景
超市中购物清单中总是有一些项目是被消费者一同购买的. 如果我们能够发现这些 关联规则 (association rules), 并合理地加以利用, 我们就能取得一定成果. 比如我们发现热狗和芥末存在这种关系, 我们对热狗降价促销, 而对芥末适当提价, 结果能显著提高超市的销售额.
2. 目标
找到频繁地 共同 出现在消费者结账小票中项目(比如啤酒和尿布), 来一同促销, 相互拉动, 提高销售额.
3. 定义
支持度support: 其实就是概率论中的频次frequency
支持度阈值support threshhold: 记为s, 指分辨频繁项集的临界值.
频繁项集: 如果I是一个项集(Itemset), 且I的出现频次(i.e.支持度)大于等于s, 那么我们说I是频繁项集.
一元项, 二元项, 三元项: 包含有一种商品, 两种, 三种商品的项集.
4. 关联规则
关联规则: 形式为I->j, 含义是如果I种所有项都出现在某个购物篮的话, 那么j很有可能也出现在这个购物篮中. 我们可以给出相应的confidence值(可信度, 即概率论中的置信度).
其中, 这个关联规则的可信度计算为Confidence = I∪{j} / I, 本身是非常符合直觉和常识的. 比如我们说关联规则{dog, cat} ->and 的可信度为0.6, 因为{dog, cat}出现在了1, 2, 3, 6, 7五个购物篮中, 而and出现在了1,2,7中, 因此我们可以算出Confidence = freq[{dog, cat, and}] / freq[{dog, cat}] = 3/5 = 0.6
注意到, 分子部分的频次总是比分母低, 这是因为{dog, cat} 出现的次数总是大于等于{dog, cat, and}的出现次数.
二. 购物篮与A-Priori算法
1. 购物篮数据表示
我们将有一个文本文件输入, 比如allBills.txt, 或者allBills.csv. 里面每行是一个购物篮.
文件的头两行可能是这样(df.show(2)):
{23, 456, 1001}
{3, 18, 92, 145}
我们假定这是一家大型连锁超市, 比如沃尔玛, 因此这个文本文件是非常大的, 比如20GB. 因此我们无法一次将该文件读入内存. 因此, 算法的主要时间开销都是磁盘IO.
我们同时还假定, 所有购物篮的平均规模是较小的, 因此在内存中产生所有大小项集的时间开销会比读入购物篮的时间少很多.
我们可以计算, 对于有n个项目组成的购物篮而言, 大小为k的所有子集的生成时间约为(n, k) = n! / ((n-k)!k!) = O(n^k/ k!), 其中我们只关注较小的频繁项集, 因此我们约定k=2或者k=3. 因此所有子集生成时间T = O(n^3).
Again, 我们认为 在内存中产生所有大小项集的时间开销会比读入购物篮的时间少很多.
2. Itemset计数过程中的内存使用
我们必须要把整个k,v字典放在内存中, 否则来一个Itemset就去硬盘读取一次字典将十分十分地慢.
此处, 字典是k=(18, 145), v=15这种形式. 此处, 应当注意到, 如果有{bread, milk, orange}这样的String类型输入, 应当预先用一个字典映射成对应的整数值编码, 比如1920, 4453, 9101这样.
那么, 我们最多能用字典存储多少种商品?
先看下我们存储多少个count值.
我们假定项的总数目是n, 即超市有n种商品, 每个商品都有一个数字编号, 那么我们需要(n, 2) = n^2/2 的大小来存储所有的二元组合的count, 假设int是占4个byte, 那么需要(2·n^2)Byte内存. 已知2GB内存 = 2^31 Byte, 即2^31/2 = 2^30 >= n^2 -->n <= 2^15. 也就是说n<33 000, 因此我们说商品种类的最多是33k种.
但是, 这种计算方法存在一个问题, 并不是有10种商品, 那么这10种商品的任意二元组合都会出现的. 对于那些没出现的组合, 我们在字典中完全可以不存储, 从而节省空间.
同时, 别忘了我们同样也得存储key = (i, j), 这是至少额外的两个整数.
那么我们到底具体怎么存储这些计数值?
可以采用三元组的方式来构造字典. 我们采用[i, j, count]形式来存储, 其中i代表商品种类1, j代表商品种类2, 前两个值代表key, 后面的value就是count, 是这个二元组合下的计数.
现在, 让我们注意到我们(1)假定购物篮平均大小较小, 并(2)利用三元组(2个key的)字典和(3)不存储没出现组合优势. 假设有100k = 10^5种商品, 有10million=10^7个购物篮, 每个购物篮有10个项, 那么这种字典空间开销是(10, 2) · 10^7 = 45 x 10^7 x 3= 4.5x10^8x3 = 1.35x10^9 个整数. 这算出来约为4x10^8 Byte = 400MB, 处于正常计算机内存范围内.
3. 项集的单调性
如果项集I是频繁的, 那么它的所有子集也都是频繁的. 这个道理很符合常识, 因为{dog, cat} 出现的次数总是大于等于{dog, cat, and}的出现次数.
这个规律的推论, 就是严格地, 我们频繁一元组的个数>频繁二元组的个数 >频繁三元组的个数.
4. A-Priori算法
我们通过Itemset计数中内存使用的部门, 已经明确了我们总是有足够的内存用于所有存在的二元项集(比如{cat, dog})的计数. 这里, 我们的字典不存放不存在于购物篮中的任何二元项集合, 而且频繁二元组的数目将会大于三元频繁三元组>...
我们可以通过单边扫描购物篮文件, 对于每个购物篮, 我们使用一个双重循环就可以生成所有的项对(即二元组). 每当我们生成一个项对, 就给其对应的字典中的value +1(也称为计数器). 最后, 我们会检查所有项对的计数结果,并且找出那些>=阈值s的项对, 他们就是频繁项对.
1) A-Priori算法的第一遍扫描
在第一遍扫描中, 我们将建立两个表. 第一张表将项的名称转换为1到n之间的整数, 从而把String类型这样的key转为空间大小更小的int类型. 第二张表将记录从1~n每个项在所有购物篮中出现的次数. 形式上类似
table 0(name table): {'dolphin': 7019, 'cat': 7020} //dict形式, 其实也可以做成list形式 [['dolphin', 7019], ['cat', 7020]]
table 1(single-item counter table): {7019: 15, 7020: 18} //dict形式, 其实也可以做成数组形式A[7019] = 2, A[7020] = 18
2) 第一遍扫描完的处理
第一遍扫描完后, 我们会按照自己设定的阈值s, 对整个table 1再进行一次mapping, 因为我们只关注最后counter值大于等于阈值的项目, 而且不关心其counter值具体多少. 因此, mapping策略是:
对凡是counter<s的, 一律把counter设成0对于counter>=s的, 按照次序, 把其设置成1~m的值(总共有m个满足要求的项)
3) 第二遍扫描
第二遍扫描所做的事有三:
(1) 对每个购物篮, 在table 1中检查其所有的商品项目, 把所有为频繁项的留下来建立一个list.
(2) 通过一个双重循环生成该list中的所有项对.
(3) 再走一次循环, 在新的数据结构table 2(dict或者list)中相应的位置+1. 此时的效果是dicta = {48: {13: 5}, 49: {71, 16}} 或者 lista [ [48, 13, 5],[49, 71, 16], ... ]
注意此时内存块上存储的结构: table1(name table), table2(single-item counter table), table3(double-item counter table)
5. 推广: 任意大小频繁项集上的A-Priori算法
我们对上面这个算法进行推广.
从任意集合大小k到下一个大小k+1的转移模式可以这么说:
(1) 对每个购物篮, 在table 1中检查其所有的商品项目, 把所有为频繁项的留下来建立一个list.
(2) 我们通过一个k+1重循环来生成该list中的所有(k+1)元组
(3) 对每个k+1元组, 我们生成其的(k+1 choose k)个k元组, 并检查这些k元组是否都在之前的table k中. (注意到k=1的时候, 这步与(1)是重复的, 可以省略)
(4)再走一次循环, 在新的数据结构table k+1(dict或者list)中相应的位置+1. 此时的效果是k=2, k+1=3, 生成dicta = {48: {13: {19: 4}}, 49: {71: {51: 10}}, ... } 或者 生成lista [ [48, 13, 19, 4],[49, 71, 51, 10], ... ]
注意, 在进入下一次扫描前, 我们还需要额外把counter中值小于s的元组的计数值都记为0.
模式总体是: C1 过滤后 L1 计数后 C2 置零后 C2' 过滤后 L2 计数后 C3 置零后 C3' ......
END.
生成的商品种类为set形式：转成list形式
第一张表：把项名称转换为1~n的整数：
至于数数，大神说，你就用collections.Counter就好：哈？
哈哈，可爱的wyy，开始分析吧~噜噜噜啦啦啦~噜啦噜啦噜~
生成全零矩阵：
换成zeros:
统计每一列的和，即每种商品的购买总数：
每一行列:
第一行：
建立一个新的只含有频繁一项集的购物篮矩阵：
频繁二项集：
这是漫长的一周，本周完成了Python的进阶模块，主要是pandas、numpy、matplotlib、seaborn、pyecharts这些模块的学习以及一个实际的案例：商品销售情况分析，之前一直觉得课程难度不够，但到这一周难度就大大提高了。尤其是案例练习中的RFM模型和用户生命周期建立，看懂不难但是自己写一直出错，在不断出错不断尝试中知识得到了积累，另外可视化部分没有什么练习题，希望后面可以加上一些这方面的练习，接下来分模块来总结一下学习的内容。
重新设置索引：df.set_index()
Series格式转换为DataFrame：df.to_frame()
文件读取：pd.read_csv(filepath, header = 0,skiprows=[1,2])
使用位置做索引：df.loc[0] 使用列表做索引：df.loc[[0,1,2]]
使用切片做索引：df.loc[0:4] 使用bool类型索引：df[df['年龄']>30]
loc 是基于索引值的，切片是左闭右闭的
iloc 是基于位置的，切片是左闭右开的
修改列索引：df.rename(columns={'姓名':'name', '年龄':'age'},inplace=True)
替换一个值：df.replace({'name':{'小明':'xiaoming'}},inplace=True)
对数据进行排序：df.sort_values('age')
累加求和：df.cumsum(0)
删除列：del df['player'] 删除行：df.drop(labels=0) labels 是行列的名字
数据拼接：pd.concat([left,right],axis=1)
# 指定列进行关联，默认是 inner join result = pd.merge(left,right,on='key')
#多个关联条件：result = pd.merge(left, right, on=['key1', 'key2'])
#左连接：result = pd.merge(left, right, how='left', on=['key1', 'key2'])
# 列名不一样的关联：pd.merge(left,right,left_on = ['key1','key2'],right_on = ['key3','key4'])
#单个分组：groups = df.groupby('district')
# 作用多个聚合函数：groups.agg([np.mean,np.sum,np.std])
# 针对具体列聚合 groups.age.agg([np.mean,np.sum,np.std])
# 不同列不同聚合函数 groups.agg({"age":np.mean,"novip_buy_times":np.sum})
分组后该列值求和显示：groups['vip_buy_times'].transform('sum')
通常用于求占比：transform(lambda x: x /sum(x))
# 填充指定值：np.full([3,4],1)
# 起始为10，5为步长，30为结尾取不到：np.arange(10, 30, 5)
#随机矩阵：np.random.random((2,3))
# 平均划分：np.linspace( 0, 2*pi, 100 )
# 类型及转换：vector.astype('float')
# 多维变一维：matrix.ravel()
# 矩阵的扩展：a = np.arange(0, 40, 10) b = np.tile(a, (3, 5)) # 行变成3倍，列变成5倍
# 水平拼接：np.hstack((a,b)) 竖直拼接：np.vstack((a,b))
# 竖直分割：np.hsplit(a,3) #水平分割：np.vsplit(a,3)
8. Select the data in rows [3, 4, 8] and in columns ['animal', 'age'].
A：df.loc[df.index[[3,4,8]],['animal','age']]
行采用位置，列采用普通索引，这里利用index函数将位置变化为具体的普通索引，再利用loc函数
19. The 'priority' column contains the values 'yes' and 'no'. Replace this column with a column of boolean values: 'yes' should be True and 'no' should be False
A1：df['priority'].replace(['yes','no'],[True,False],inplace=True) 用replace函数替换
A2：df['priority'] = df['priority'].map({'yes': True, 'no': False}) 用map函数替换
最大最小值的索引：df.idxmax、df.idxmin
找出最大最小的前N个数：nlargest()和nsmallest()
将原表分组 并设置分段区间 pd.cut(df['A'], np.arange(0, 101, 10))
resample函数 日期重采样：s.resample('M').mean()
TimeGrouper 重组：s.groupby(pd.TimeGrouper('4M')).idxmax()
split 分割函数：temp = df['From_To'].str.split('_', expand=True) True为DataFrame
两个DataFrame拼接用join：df = df.join(temp)
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus']=False #用来正常显示负号
%matplotlib inline 直接显示
折线图：plt.plot(x,y,color = 'r')
柱状图：plt.bar(x,y) plt.barh(x,y) 多个bar x设置不同 堆积图 bottom设置不同
散点图：plt.scatter(x, y, c=colors, alpha=0.5, s = area)
直方图：plt.hist(a,bins= 20) bin代表分隔的最小单位
plt.legend() 显示图例
for a,b in zip(X+W[i],data[i]):
plt.text(a,b,"%.0f"% b,ha="center",va= "bottom") 添加数据标签
plt.annotate('注释文本',xy=(1, np.sin(1)),xytext=(2, 0.5), fontsize=16,arrowprops=dict(arrowstyle="->")) 添加注释文本
plt.xlabel("Group") x轴标题
plt.ylabel("Num") y轴标题
fig, axes = plt.subplots(nrows=2, ncols=2,facecolor='darkslategray') 绘制多个图形
axes[0,0] axes[0,1] axes[1,0] axes[1,1]
pylab.rcParams['figure.figsize'] = (10, 6) # 调整图片大小
动态展示图表
from pyecharts.charts import Bar
from pyecharts import options as opts
** pyecharts 绘图的五个步骤：**
创建图形对象：bar = Bar()
添加绘图数据：bar.add_xaxis(["衬衫", "毛衣", "领带", "裤子", "风衣", "高跟鞋", "袜子"])
bar.add_yaxis("商家A", [114, 55, 27, 101, 125, 27, 105])
bar.add_yaxis("商家B", [57, 134, 137, 129, 145, 60, 49])
配置系列参数：对标签、线型等的一些设置
配置全局参数：bar.set_global_opts(title_opts=opts.TitleOpts(title="销售情况"))
渲染图片：生成本地 HTML 文件 bar.render("mycharts.html") bar.render()
notebook 渲染：bar.render_notebook()
bar = (Bar()
.add_xaxis(["衬衫", "毛衣", "领带", "裤子", "风衣", "高跟鞋", "袜子"])
.add_yaxis("商家A", [114, 55, 27, 101, 125, 27, 105])
.add_yaxis("商家B", [57, 134, 137, 129, 145, 60, 49])
.set_global_opts(title_opts=opts.TitleOpts(title="某商场销售情况"))
)
bar.render_notebook()
柱状图：Bar()
条形图：bar.reversal_axis() #翻转XY轴，将柱状图转换为条形图
折线图：from pyecharts.charts import Line line=Line()
饼图：from pyecharts.charts import Page, Pie Pie()
转换日期类型：df['order_dt']=pd. to_datetime (df.order_dt,format="%Y%m%d")
将日期转换为月为单位：df['month']=df.order_dt.values. astype('datetime64[M]') 所有日期显示为当月第一天
去除日期单元值：order_diff/ np.timedelta64(1,'D')
过滤部分极值：grouped_user.sum() .query('order_products<100') .order_amount
数据透视表：rfm=df.pivot_table( index ='user_id', values =['order_products','order_amount'], aggfunc ={'order_amount':'sum','order_products':'sum'})
map() 方法是pandas.series.map()方法, 对DF中的元素级别的操作, 可以对df的某列或某多列
applymap(func) 也是DF的属性, 对整个DF所有元素应用func操作
purchase_r=pivoted_counts.applymap(lambda x: 1 if x>1 else np.NaN if x==0 else 0)
apply(func) 是DF的属性, 对DF中的行数据或列数据应用func操作,也可用于Series
apply(lambda x:x.cumsum()/x.sum()) 累计占比
apply(lambda x:x/x.sum(),axis=0) 每一列中每行数据占比
下周开始进入数据分析思维的课程，很期待后面的课程以及项目，加油！
如下：1基于MapReduce的气候数据的分析
2基于关键词的文本知识的挖掘系统的设计与实现
3基于概率图模型的蛋白质功能预测
4基于第三方库的人脸识别系统的设计与实现
5基于hbase搜索引擎的设计与实现
6基于Spark-Streaming的黑名单实时过滤系统的设计与实现
7客户潜在价值评估系统的设计与实现
8基于神经网络的文本分类的设计与实现
9基于Apriori的商品关联关系分析与挖掘
10基于词频统计的中文分词系统的设计与实现
11 K-means算法在微博数据挖掘中的应用
12图像对象检测分析系统的研究和应用
13基于Apriori关联规则的电子商务潜在客户的数据挖掘
14基于Spark的电商用户行为分析系统的设计与实现
15音乐推荐系统的研究与应用
16基于大数据的高校网络舆情监控引导系统的研究与应用
17基于医疗大数据的肿瘤疾病模式分析与研究
18基于支持向量机的空间数据挖掘及其在旅游地理经济中的应用
19基于深度残差网络的糖尿病视网膜病变分类检测研究
20基于大数据分析的门户信息推荐系统
21 Web数据挖掘及其在电子商务中的研究与应用
