1. Python3 实现图片识别
2. Python3 图片隐写术
3. 200 行 Python 代码实现 2048
4. Python实现3D建模工具
5. 使用 Python 定制词云
相关推荐：《Python教程》
6. Python3 智能裁切图片
7.微信变为聊天机器人
8. 使用 Python 解数学方程
9. 使用 Python 创建照片马赛克
10. Python 基于共现提取《釜山行》人物关系
11. Python 气象数据分析：《Python 数据分析实战》
12. NBA常规赛结果预测：利用Python进行比赛数据分析
13. Python 的循环语句和隐含波动率的计算
14. K-近邻算法实现手写数字识别系统
15. 数独游戏的 Python 实现与破解
16. 基于 Flask 与 MySQL 实现番剧推荐系
17. Python 实现英文新闻摘要自动提取
18. Python 解决哲学家就餐问题
19. Ebay 在线拍卖数据分析
20. 神经网络实现人脸识别任务
21. 使用 Python 解数学方程
22. Python3 实现火车票查询工具
23. Python 实现端口扫描器
24. Python3 实现可控制肉鸡的反向Shell
25. Python 实现 FTP 弱口令扫描器
26. 基于PyQt5 实现地图中定位相片拍摄位置
27. Python实现网站模拟登陆
28.Python实现简易局域网视频聊天工具
29. 基于 TCP 的 python 聊天程序
30. Python3基于Scapy实现DDos
31. 高德API + Python 解决租房问题
32. 基于 Flask 与 RethinkDB 实现TODO List
33. Python3 实现简单的 Web 服务器
34. Python 实现 Redis 异步客户端
35. 仿 StackOverflow 开发在线问答系统
星空是无数人梦寐以求想了解的一个领域，远古的人们通过肉眼观察星空，并制定了太阴历，指导农业发展。随着现代科技发展，有了更先进的设备进行星空的探索。本实验获取了美国国家航空航天局（NASA）官网发布的地外行星数据，研究及可视化了地外行星各参数、寻找到了一颗类地行星并研究了天体参数的相关关系。
输入并执行魔法命令 %matplotlib inline， 设置全局字号，去除图例边框，去除右侧和顶部坐标轴。
本数据集来自 NASA，行星发现是 NASA 的重要工作之一，本数据集搜集了 NASA 官网发布的 4296 颗行星的数据，本数据集字段包括：
导入数据并查看前 5 行。
截至 2020 年 10 月 22 日 全球共发现 4296 颗行星，按年聚合并绘制年度行星发现数，并在左上角绘制 NASA 的官方 LOGO 。
从运行结果可以看出，2005 年以前全球行星发现数是非常少的，经计算总计 173 颗，2014 和 2016 是行星发现成果最多的年份，2016 年度发现行星 1505 颗。
对不同机构/项目/计划进行聚合并降序排列，绘制发现行星数目的前 20 。
2009 年至 2013 年，开普勒太空望远镜成为有史以来最成功的系外行星发现者。在一片天空中至少找到了 1030 颗系外行星以及超过 4600 颗疑似行星。当机械故障剥夺了该探测器对于恒星的精确定位功能后，地球上的工程师们于 2014 年对其进行了彻底改造，并以 K2 计划命名，后者将在更短的时间内搜寻宇宙的另一片区域。
对发现行星的方式进行聚合并降序排列，绘制各种方法发现行星的比例，由于排名靠后的几种方式发现行星数较少，因此不显示其标签。
行星在宇宙中并不会发光，因此无法直接观察，行星发现的方式多为间接方式。从输出结果可以看出，发现行星主要有以下 3 种方式，其原理如下：
针对不同的行星质量，绘制比其质量大（或者小）的行星比例，由于行星质量量纲分布跨度较大，因此采用对数坐标。
从输出结果可以看出，在已发现的行星中，96.25% 行星的质量大于地球。（图中横坐标小于 e 的红色面积非常小）
通过 sns.distplot 接口绘制全部行星的质量分布图。
从输出结果可以看出，所有行星质量分布呈双峰分布，第一个峰在 1.8 左右（此处用了对数单位，表示大约 6 个地球质量），第二个峰在 6.2 左右（大概 493 个地球质量）。
针对不同发现方式发现的行星，绘制各行星的公转周期和质量的关系。
从输出结果可以看出：径向速度（Radial Velocity）方法发现的行星在公转周期和质量上分布更宽，而凌日（Transit）似乎只能发现公转周期相对较短的行星，这是因为两种方法的原理差异造成的。对于公转周期很长的行星，其运行到恒星和观察者之间的时间也较长，因此凌日发现此类行星会相对较少。而径向速度与其说是在发现行星，不如说是在观察恒星，由于恒星自身发光，因此其观察机会更多，发现各类行星的可能性更大。
针对不同发现方式发现的行星，绘制各行星的距离和质量的关系。
从输出结果可以看出，凌日和径向速度对距离较为敏感，远距离的行星大多是通过凌日发现的，而近距离的行星大多数通过径向速度发现的。原因是：近距离的行星其引力对恒星造成的摆动更为明显，因此更容易观察；当距离较远时，引力作用变弱，摆动效应减弱，因此很难借助此方法观察到行星。同时，可以观察到当行星质量更大时，其距离分布相对较宽，这是因为虽然相对恒星的距离变长了，但是由于行星质量的增加，相对引力也同步增加，恒星摆动效应会变得明显。
将所有行星的质量和半径对数化处理，绘制其分布并拟合其分布。
由于：
因此，从原理上质量对数与半径对数应该是线性关系，且斜率为定值 3 ，截距的大小与密度相关。
从输出结果可以看出：行星质量和行星半径在对数变换下，具有较好的线性关系。输出 fix_xy 数值可知，其关系可以拟合出如下公式：
拟合出曲线对应的行星平均密度为：
同样的方式绘制恒星质量与半径的关系。
从输出结果可以看出，恒星与行星的规律不同，其质量与半径在对数下呈二次曲线关系，其关系符合以下公式：
同样的方式研究恒星表面重力加速度与半径的关系。
从输出结果可以看出，恒星表面对数重力加速度与其对数半径呈现较好的线性关系：
以上我们分别探索了各变量的分布和部分变量的相关关系，当数据较多时，可以通过 pd.plotting.scatter_matrix 接口，直接绘制各变量的分布和任意两个变量的散点图分布，对于数据的初步探索，该接口可以让我们迅速对数据全貌有较为清晰的认识。
通过行星的半径和质量，恒星的半径和质量，以及行星的公转周期等指标与地球的相似性，寻找诸多行星中最类似地球的行星。
从输出结果可以看出，在 0.6 附近的位置出现了一个最大的圆圈，那就是我们找到的类地行星 Kepler - 452 b ，让我们了解一下这颗行星：
数据显示，Kepler - 452 b 行星公转周期为 384.84 天，半径为 1.63 地球半径，质量为 3.29 地球质量；它的恒星为 Kepler - 452 半径为太阳的 1.11 倍，质量为 1.04 倍，恒星方面数据与太阳相似度极高。
以下内容来自百度百科。 开普勒452b（Kepler 452b） ，是美国国家航空航天局（NASA）发现的外行星， 直径是地球的 1.6 倍，地球相似指数( ESI )为 0.83，距离地球1400光年，位于为天鹅座。
2015 年 7 月 24 日 0：00，美国国家航空航天局 NASA 举办媒体电话会议宣称，他们在天鹅座发现了一颗与地球相似指数达到 0.98 的类地行星开普勒 - 452 b。这个类地行星距离地球 1400 光年，绕着一颗与太阳非常相似的恒星运行。开普勒 452 b 到恒星的距离，跟地球到太阳的距离相同。NASA 称，由于缺乏关键数据，现在不能说 Kepler - 452 b 究竟是不是“另外一个地球”，只能说它是“迄今最接近另外一个地球”的系外行星。
在银河系经纬度坐标下绘制所有行星，并标记地球和 Kepler - 452 b 行星的位置。
类地行星，是人类寄希望移民的第二故乡，但即使最近的 Kepler-452 b ，也与地球相聚 1400 光年。
以下通过行星的公转周期和质量两个特征将所有行星聚为两类，即通过训练获得两个簇心。
定义函数-计算距离
聚类距离采用欧式距离：
定义函数-训练簇心
训练簇心的原理是：根据上一次的簇心计算所有点与所有簇心的距离，任一点的分类以其距离最近的簇心确定。依此原理计算出所有点的分类后，对每个分类计算新的簇心。
定义函数预测分类
根据训练得到的簇心，预测输入新的数据特征的分类。
开始训练
随机生成一个簇心，并训练 15 次。
绘制聚类结果
以最后一次训练得到的簇心为基础，进行行星的分类，并以等高面的形式绘制各类的边界。
从运行结果可以看出，所有行星被分成了两类。并通过上三角和下三角标注了每个类别的簇心位置。
聚类前
以下输出了聚类前原始数据绘制的图像。
时间序列模型
时间序列预测分析就是利用过去一段时间内某事件时间的特征来预测未来一段时间内该事件的特征。这是一类相对比较复杂的预测建模问题，和回归分析模型的预测不同，时间序列模型是依赖于事件发生的先后顺序的，同样大小的值改变顺序后输入模型产生的结果是不同的。
举个栗子：根据过去两年某股票的每天的股价数据推测之后一周的股价变化；根据过去2年某店铺每周想消费人数预测下周来店消费的人数等等
RNN 和 LSTM 模型
时间序列模型最常用最强大的的工具就是递归神经网络（recurrent neural network, RNN）。相比与普通神经网络的各计算结果之间相互独立的特点，RNN的每一次隐含层的计算结果都与当前输入以及上一次的隐含层结果相关。通过这种方法，RNN的计算结果便具备了记忆之前几次结果的特点。
典型的RNN网路结构如下：
右侧为计算时便于理解记忆而产开的结构。简单说，x为输入层，o为输出层，s为隐含层，而t指第几次的计算；V,W,U为权重，其中计算第t次的隐含层状态时为St = f(U*Xt + W*St-1)，实现当前输入结果与之前的计算挂钩的目的。对RNN想要更深入的了解可以戳这里。
RNN的局限：
由于RNN模型如果需要实现长期记忆的话需要将当前的隐含态的计算与前n次的计算挂钩，即St = f(U*Xt + W1*St-1 + W2*St-2 + ... + Wn*St-n)，那样的话计算量会呈指数式增长，导致模型训练的时间大幅增加，因此RNN模型一般直接用来进行长期记忆计算。
LSTM模型
LSTM（Long Short-Term Memory）模型是一种RNN的变型，最早由Juergen Schmidhuber提出的。经典的LSTM模型结构如下：
LSTM的特点就是在RNN结构以外添加了各层的阀门节点。阀门有3类：遗忘阀门（forget gate），输入阀门（input gate）和输出阀门（output gate）。这些阀门可以打开或关闭，用于将判断模型网络的记忆态（之前网络的状态）在该层输出的结果是否达到阈值从而加入到当前该层的计算中。如图中所示，阀门节点利用sigmoid函数将网络的记忆态作为输入计算；如果输出结果达到阈值则将该阀门输出与当前层的的计算结果相乘作为下一层的输入（PS：这里的相乘是在指矩阵中的逐元素相乘）；如果没有达到阈值则将该输出结果遗忘掉。每一层包括阀门节点的权重都会在每一次模型反向传播训练过程中更新。更具体的LSTM的判断计算过程如下图所示：
LSTM模型的记忆功能就是由这些阀门节点实现的。当阀门打开的时候，前面模型的训练结果就会关联到当前的模型计算，而当阀门关闭的时候之前的计算结果就不再影响当前的计算。因此，通过调节阀门的开关我们就可以实现早期序列对最终结果的影响。而当你不不希望之前结果对之后产生影响，比如自然语言处理中的开始分析新段落或新章节，那么把阀门关掉即可。（对LSTM想要更具体的了解可以戳这里）
下图具体演示了阀门是如何工作的：通过阀门控制使序列第1的输入的变量影响到了序列第4,6的的变量计算结果。
黑色实心圆代表对该节点的计算结果输出到下一层或下一次计算；空心圆则表示该节点的计算结果没有输入到网络或者没有从上一次收到信号。
Python中实现LSTM模型搭建
Python中有不少包可以直接调用来构建LSTM模型，比如pybrain, kears, tensorflow, cikit-neuralnetwork等（更多戳这里）。这里我们选用keras。（PS：如果操作系统用的linux或者mac，强推Tensorflow！！！）
因为LSTM神经网络模型的训练可以通过调整很多参数来优化，例如activation函数，LSTM层数，输入输出的变量维度等，调节过程相当复杂。这里只举一个最简单的应用例子来描述LSTM的搭建过程。
应用实例
基于某家店的某顾客的历史消费的时间推测该顾客前下次来店的时间。具体数据如下所示：
消费时间
2015-05-15 14:03:512015-05-15 15:32:462015-06-28 18:00:172015-07-16 21:27:182015-07-16 22:04:512015-09-08 14:59:56..
..
具体操作：
1. 原始数据转化
首先需要将时间点数据进行数值化。将具体时间转化为时间段用于表示该用户相邻两次消费的时间间隔，然后再导入模型进行训练是比较常用的手段。转化后的数据如下：
消费间隔04418054..
..
2.生成模型训练数据集（确定训练集的窗口长度）
这里的窗口指需要几次消费间隔用来预测下一次的消费间隔。这里我们先采用窗口长度为3， 即用t-2, t-1,t次的消费间隔进行模型训练，然后用t+1次间隔对结果进行验证。数据集格式如下：X为训练数据，Y为验证数据。
PS： 这里说确定也不太合适，因为窗口长度需要根据模型验证结果进行调整的。
X1 X2 X3 Y0 44 18 044 18 0 54..
..
注：直接这样预测一般精度会比较差，可以把预测值Y根据数值bin到几类，然后用转换成one-hot标签再来训练会比较好。比如如果把Y按数值范围分到五类（1：0-20，2：20-40，3：40-60，4：60-80，5：80-100）上式可化为：
X1 X2 X3 Y0 44 18 044 18 0 4...
Y转化成one-hot以后则是(关于one-hot编码可以参考这里)
1 0 0 0 00 0 0 0 1...
3. 网络模型结构的确定和调整
这里我们使用python的keras库。（用java的同学可以参考下deeplearning4j这个库）。网络的训练过程设计到许多参数的调整：比如
需要确定LSTM模块的激活函数（activation fucntion）（keras中默认的是tanh）；
确定接收LSTM输出的完全连接人工神经网络（fully-connected artificial neural network）的激活函数（keras中默认为linear）；
确定每一层网络节点的舍弃率（为了防止过度拟合（overfit）），这里我们默认值设定为0.2；
确定误差的计算方式，这里我们使用均方误差（mean squared error）；
确定权重参数的迭代更新方式，这里我们采用RMSprop算法，通常用于RNN网络。
确定模型训练的epoch和batch size（关于模型的这两个参数具体解释戳这里）
一般来说LSTM模块的层数越多（一般不超过3层，再多训练的时候就比较难收敛），对高级别的时间表示的学习能力越强；同时，最后会加一层普通的神经网路层用于输出结果的降维。典型结构如下：
如果需要将多个序列进行同一个模型的训练，可以将序列分别输入到独立的LSTM模块然后输出结果合并后输入到普通层。结构如下：
4. 模型训练和结果预测
将上述数据集按4:1的比例随机拆分为训练集和验证集，这是为了防止过度拟合。训练模型。然后将数据的X列作为参数导入模型便可得到预测值，与实际的Y值相比便可得到该模型的优劣。
实现代码
时间间隔序列格式化成所需的训练集格式
import pandas as pdimport numpy as npdef create_interval_dataset(dataset, look_back):""" :param dataset: input array of time intervals :param look_back: each training set feature length :return: convert an array of values into a dataset matrix. """
dataX, dataY = [], [] for i in range(len(dataset) - look_back):
dataX.append(dataset[i:i+look_back])
dataY.append(dataset[i+look_back]) return np.asarray(dataX), np.asarray(dataY)
df = pd.read_csv("path-to-your-time-interval-file")
dataset_init = np.asarray(df) # if only 1 columndataX, dataY = create_interval_dataset(dataset, lookback=3) # look back if the training set sequence length
这里的输入数据来源是csv文件，如果输入数据是来自数据库的话可以参考这里
LSTM网络结构搭建
import pandas as pdimport numpy as npimport randomfrom keras.models import Sequential, model_from_jsonfrom keras.layers import Dense, LSTM, Dropoutclass NeuralNetwork():def __init__(self, **kwargs):
""" :param **kwargs: output_dim=4: output dimension of LSTM layeractivation_lstm='tanh': activation function for LSTM layersactivation_dense='relu': activation function for Dense layeractivation_last='sigmoid': activation function for last layerdrop_out=0.2: fraction of input units to dropnp_epoch=10, the number of epoches to train the model. epoch is one forward pass and one backward pass of all the training examplesbatch_size=32: number of samples per gradient update. The higher the batch size, the more memory space you'll needloss='mean_square_error': loss functionoptimizer='rmsprop' """
self.output_dim = kwargs.get('output_dim', 8) self.activation_lstm = kwargs.get('activation_lstm', 'relu') self.activation_dense = kwargs.get('activation_dense', 'relu') self.activation_last = kwargs.get('activation_last', 'softmax') # softmax for multiple output
self.dense_layer = kwargs.get('dense_layer', 2) # at least 2 layers
self.lstm_layer = kwargs.get('lstm_layer', 2) self.drop_out = kwargs.get('drop_out', 0.2) self.nb_epoch = kwargs.get('nb_epoch', 10) self.batch_size = kwargs.get('batch_size', 100) self.loss = kwargs.get('loss', 'categorical_crossentropy') self.optimizer = kwargs.get('optimizer', 'rmsprop') def NN_model(self, trainX, trainY, testX, testY):
""" :param trainX: training data set :param trainY: expect value of training data :param testX: test data set :param testY: epect value of test data :return: model after training """
print "Training model is LSTM network!"
input_dim = trainX[1].shape[1]
output_dim = trainY.shape[1] # one-hot label
# print predefined parameters of current model:
model = Sequential() # applying a LSTM layer with x dim output and y dim input. Use dropout parameter to avoid overfitting
model.add(LSTM(output_dim=self.output_dim,
input_dim=input_dim,
activation=self.activation_lstm,
dropout_U=self.drop_out,
return_sequences=True)) for i in range(self.lstm_layer-2):
model.add(LSTM(output_dim=self.output_dim,
input_dim=self.output_dim,
activation=self.activation_lstm,
dropout_U=self.drop_out,
return_sequences=True)) # argument return_sequences should be false in last lstm layer to avoid input dimension incompatibility with dense layer
model.add(LSTM(output_dim=self.output_dim,
input_dim=self.output_dim,
activation=self.activation_lstm,
dropout_U=self.drop_out)) for i in range(self.dense_layer-1):
model.add(Dense(output_dim=self.output_dim,
activation=self.activation_last))
model.add(Dense(output_dim=output_dim,
input_dim=self.output_dim,
activation=self.activation_last)) # configure the learning process
model.compile(loss=self.loss, optimizer=self.optimizer, metrics=['accuracy']) # train the model with fixed number of epoches
model.fit(x=trainX, y=trainY, nb_epoch=self.nb_epoch, batch_size=self.batch_size, validation_data=(testX, testY)) # store model to json file
model_json = model.to_json() with open(model_path, "w") as json_file:
json_file.write(model_json) # store model weights to hdf5 file
if model_weight_path: if os.path.exists(model_weight_path):
os.remove(model_weight_path)
model.save_weights(model_weight_path) # eg: model_weight.h5
return model
这里写的只涉及LSTM网络的结构搭建，至于如何把数据处理规范化成网络所需的结构以及把模型预测结果与实际值比较统计的可视化，就需要根据实际情况做调整了。
