第一步：数据准备：（70%时间）
• 获取数据（爬虫，数据仓库）
• 验证数据
• 数据清理（缺失值、孤立点、垃圾信息、规范化、重复记录、特殊值、合并数据集）
• 使用python进行文件读取csv或者txt便于操作数据文件（I/O和文件串的处理，逗号分隔）
• 抽样（大数据时。关键是随机）
• 存储和归档
第二步：数据观察（发现规律和隐藏的关联）
• 单一变量：点图、抖动图；直方图、核密度估计；累计分布函数
• 两个变量：散点图、LOESS平滑、残差分析、对数图、倾斜
• 多个变量：假色图、马赛克图、平行左边图
第三步：数据建模
• 推算和估算（均衡可行性和成本消耗）
• 缩放参数模型（缩放维度优化问题）
• 建立概率模型（二项、高斯、幂律、几何、泊松分布与已知模型对比）
第四步：数据挖掘
• 选择合适的机器学习算法（蒙特卡洛模拟，相似度计算，主成分分析）
• 大数据考虑用Map/Reduce
• 得出结论，绘制最后图表
循环到第二步到第四步，进行数据分析，根据图表得出结论完成文章。
业务分析版
“无尺度网络模型”的作者艾伯特-拉斯洛•巴拉巴西认为——人类93%的行为是可以预测的。数据作为人类活动的痕迹，就像金矿等待发掘。但是首先你得明确自己的业务需求，数据才可能为你所用。
1. 数据为王，业务是核心
• 了解整个产业链的结构
• 制定好业务的发展规划
• 衡量的核心指标有哪些
有了数据必须和业务结合才有效果。首先你需要摸清楚所在产业链的整个结构，对行业的上游和下游的经营情况有大致的了解。然后根据业务当前的需要，指定发展计划，从而归类出需要整理的数据。最后一步详细的列出数据核心指标（KPI），并且对几个核心指标进行更细致的拆解，当然具体结合你的业务属性来处理，找出那些对指标影响幅度较大的影响因子。前期资料的收集以及业务现况的全面掌握非常关键。
2. 思考指标现状，发现多维规律
• 熟悉产品框架，全面定义每个指标的运营现状
• 对比同行业指标，挖掘隐藏的提升空间
• 拆解关键指标，合理设置运营方法来观察效果
• 争对核心用户，单独进行产品用研与需求挖掘
发现规律不一定需要很高深的编程方法，或者复杂的统计公式，更重要的是培养一种感觉和意识。不能用你的感觉去揣测用户的感觉，因为每个人的教育背景、生活环境都不一样。很多数据元素之间的关系没有明显的显示，需要使用直觉与观察（数据可视化技术来呈现）。
3. 规律验证，经验总结
发现了规律之后不能立刻上线，需要在测试机上对模型进行验证。
P.S.数学建模能力对培养数感有一定的帮助
数据分析推荐书单
《Head First Data Analysis》：深入浅出数据分析
电子工业出版社的经典书目系列，从数据分析基本步骤开始、实验方法、最优化方法、假设检验方法、贝叶斯统计方法、主观概率法、启发法、直方图法、回归法、误差处理、相关数据库、数据整理技巧一一讲到。图比较多，适合入门。
《Head First Statistics》：深入浅出统计学
推荐理由同上，适合入门者的经典教材。
《R in Action-Data Analysis and Graphics with R》：R语言实战
R是属于GNU系统的一个自由、免费、源代码开放的软件，用于统计计算和统计制图。这本书从实用的统计研究角度逐例分析R在数据处理、模型构建、以及图形操作上的由浅入深的结合，堪称经典。
《数据之魅-基于开源工具的数据分析》：数据之魅
作者是华盛顿大学理论物理学博士。这本书是数据分析的经典之一，包含大量的R语言模拟过程及结果展示，例举了很多数据分析实例和代码。
《数据挖掘-市场营销、销售与客户关系管理领域应用》：数据挖掘技术
作者是Data Miners的创办人，有二十多年的营销和客户关系管理结合数据挖掘的经验。详细介绍了作为一个数据挖掘团队需要的知识体系，包括数据库、SAS使用、统计学、机器学习、数据可视化、如何访问用户收集需求、如何写论文与沟通等等。有条件的建议看英文原版。
先把这些花时间啃啃，数据分析的理论部分就基本入门了，根据实际情况还需要结合你的业务需求来进行系统的学习。
两种方法都是常见的分类算法，从目标函数来看，区别在于逻辑回归采用的是logistical loss，svm采用的是hinge loss。这两个损失函数的目的都是增加对分类影响较大的数据点的权重，减少与分类关系较小的数据点的权重。SVM的处理方法是只考虑support vectors，也就是和分类最相关的少数点，去学习分类器。而逻辑回归通过非线性映射，大大减小了离分类平面较远的点的权重，相对提升了与分类最相关的数据点的权重。两者的根本目的都是一样的。此外，根据需要，两个方法都可以增加不同的正则化项，如l1,l2等等。所以在很多实验中，两种算法的结果是很接近的。但是逻辑回归相对来说模型更简单，好理解，实现起来，特别是大规模线性分类时比较方便。而SVM的理解和优化相对来说复杂一些。但是SVM的理论基础更加牢固，有一套结构化风险最小化的理论基础，虽然一般使用的人不太会去关注。还有很重要的一点，SVM转化为对偶问题后，分类只需要计算与少数几个支持向量的距离，这个在进行复杂核函数计算时优势很明显，能够大大简化模型和计算
svm 更多的属于非参数模型，而logistic regression 是参数模型，本质不同。其区别就可以参考参数模型和非参模型的区别就好了。
logic 能做的 svm能做，但可能在准确率上有问题，svm能做的logic有的做不了
两种方法都是常见的分类算法，从目标函数来看，区别在于逻辑回归采用的是logistical loss，svm采用的是hinge loss。这两个损失函数的目的都是增加对分类影响较大的数据点的权重，减少与分类关系较小的数据点的权重。SVM的处理方法是只考虑support vectors，也就是和分类最相关的少数点，去学习分类器。而逻辑回归通过非线性映射，大大减小了离分类平面较远的点的权重，相对提升了与分类最相关的数据点的权重。两者的根本目的都是一样的。此外，根据需要，两个方法都可以增加不同的正则化项，如l1,l2等等。所以在很多实验中，两种算法的结果是很接近的。但是逻辑回归相对来说模型更简单，好理解，实现起来，特别是大规模线性分类时比较方便。而SVM的理解和优化相对来说复杂一些。但是SVM的理论基础更加牢固，有一套结构化风险最小化的理论基础，虽然一般使用的人不太会去关注。还有很重要的一点，SVM转化为对偶问题后，分类只需要计算与少数几个支持向量的距离，这个在进行复杂核函数计算时优势很明显，能够大大简化模型和计算
svm 更多的属于非参数模型，而logistic regression 是参数模型，本质不同。其区别就可以参考参数模型和非参模型的区别就好了。
logic 能做的 svm能做，但可能在准确率上有问题，svm能做的logic有的做不了
![C语言中s[ ]什么意思？](/aiimages/C%E8%AF%AD%E8%A8%80%E4%B8%ADs%5B+%5D%E4%BB%80%E4%B9%88%E6%84%8F%E6%80%9D%EF%BC%9F.png)
