作者 | skura

来源 | AI开发者

大多数有抱负的数据科学家是通过学习为开发人员开设的编程课程开始认识 python 的，他们也开始解决类似 leetcode 网站上的 python 编程难题。他们认为在开始使用 python 分析数据之前，必须熟悉编程概念。

资深数据分析师 Manu Jeevan 认为，这是一个巨大的错误，因为数据科学家使用 python 来对数据进行检索、清洗、可视化和构建模型，而不是开发软件应用程序。实际上，为了完成这些任务，你必须将大部分时间集中在学习 python 中的模块和库上。他认为，学习数据科学的正确姿势应该如下文，AI 开发者进行了编译整理。

请按照下面这个步骤来学习数据科学的 python。

配置编程环境

Jupyter Notebook 是开发和展示数据科学项目的强大编程环境。

在电脑上安装 Jupyter Notebook 最简单的方法是通过 Anaconda 进行安装。Anaconda 是数据科学中使用最广泛的 python 工具，它预装了所有最流行的库。

你可以浏览标题为「A Beginner’s Guide to Installing Jupyter Notebook Using Anaconda Distribution」的博客文章（https://medium.com/better-programming/beginners-quick-guide-for-handling-issues-launching-jupyter-notebook-for-python-using-anaconda-8be3d57a209b），了解如何安装 Anaconda。安装 Anaconda 时，请选择最新的 python 3 版本。

安装完 Anaconda 后，请阅读 Code Academy 的这篇文章（https://www.codecademy.com/articles/how-to-use-jupyter-notebooks），了解如何使用 Jupyter Notebook。

只学习 python 的基础知识

Code Academy 有一门关于 python 的优秀课程，大约需要 20 个小时才能完成。你不必升级到 pro 版本，因为你的目标只是熟悉 python 编程语言的基础知识。课程地址：https://www.codecademy.com/learn/learn-python-3

NumPy 和 Pandas，学习的绝佳资源

在处理计算量大的算法和大量数据时，python 速度较慢。你可能会问，既然如此那为什么 python 是数据科学最流行的编程语言？

答案是，在 python 中，很容易以 C 或 Fortran 扩展的形式将数字处理任务转移到底层。这正是 NumPy 和 Pandas 所做的事情。

首先，你应该学会 NumPy。它是用 python 进行科学计算的最基本的模块。NumPy 支持高度优化的多维数组，这是大多数机器学习算法最基本的数据结构。

接下来，你应该学习 Pandas。数据科学家花费大部分时间清洗数据，这也被称为数据整。

Pandas 是操作数据最流行的 python 库。Pandas 是 NumPy 的延伸。Pandas 的底层代码广泛使用 NumPy 库。Pandas 的主要数据结构称为数据帧。

Pandas 的创造者 Wes McKinney 写了一本很棒的书，叫做《Python for Data Analysis》（https://www.amazon.com/Python-Data-Analysis-Wrangling-IPython-ebook/dp/B075X4LT6K）。在书中的第 4、5、7、8 和 10 章可以学习 Pandas 和 NumPy。这些章节涵盖了最常用的 NumPy 和 Pandas 特性来处理数据。

学习使用 Matplotlib 可视化数据

Matplotlib 是用于创建基本可视化图形的基本 python 包。你必须学习如何使用 Matplotlib 创建一些最常见的图表，如折线图、条形图、散点图、柱状图和方框图。

另一个建立在 Matplotlib 之上并与 Pandas 紧密结合的好的绘图库是 Seaborn。在这个阶段，我建议你快速学习如何在 Matplotlib 中创建基本图表，而不是专注于 Seaborn。

我写了一个关于如何使用 Matplotlib 开发基本图的教程，该教程由四个部分组成。

第一部分：Matplotlib 绘制基本图（http://nbviewer.ipython.org/gist/manujeevanprakash/138c66c44533391a5af1） 第二部分：如何控制图形的样式和颜色，如标记、线条粗细、线条图案和使用颜色映射（https://nbviewer.jupyter.org/gist/manujeevanprakash/7dc56e7906ee83e0bbe6） 第三部分：注释、控制轴范围、纵横比和坐标系（https://nbviewer.jupyter.org/gist/manujeevanprakash/7cdf7d659cd69d0c22b2） 第四部分：处理复杂图形（https://nbviewer.jupyter.org/gist/manujeevanprakash/7d8a9860f8e43f6237cc）

你可以通过这些教程来掌握 Matplotlib 的基本知识。

简而言之，你不必花太多时间学习 Matplotlib，因为现在公司已经开始采用 Tableau 和 Qlik 等工具来创建交互式可视化。

如何使用 SQL 和 python

数据有组织地驻留在数据库中。因此，你需要知道如何使用 SQL 检索数据，并使用 python 在 Jupyter Notebook 中执行分析。

数据科学家使用 SQL 和 Pandas 来操纵数据。有一些数据操作任务使用 SQL 就可以很容易地执行，并且有一些任务可以使用 Pandas 高效地完成。我个人喜欢使用 SQL 来检索数据并在 Pandas 中进行操作。

如今，公司使用 Mode Analytics 和 Databricks 等分析平台来轻松地使用 python 和 SQL。

所以，你应该知道如何一起有效地使用 SQL 和 python。要了解这一点，你可以在计算机上安装 SQLite 数据库，并在其中存储一个 CSV 文件，然后使用 python 和 SQL 对其进行分析。

这里有一篇精彩的博客文章，向你展示了如何做到这一点：Programming with Databases in Python using SQLite（https://medium.com/analytics-vidhya/programming-with-databases-in-python-using-sqlite-4cecbef51ab9）。

在浏览上述博客文章之前，你应该了解 SQL 的基础知识。Mode Analytics 上有一个很好的关于 SQL 的教程：Introduction to SQL（https://medium.com/analytics-vidhya/programming-with-databases-in-python-using-sqlite-4cecbef51ab9）。通过他们的基本 SQL 部分，了解 SQL 的基本知识，每个数据科学家都应该知道如何使用 SQL 有效地检索数据。

学习和 python 相关的基本统计学知识

多数有抱负的数据科学家在不学习统计学的基础知识的情况下，就直接跳到机器学习知识的学习中。

不要犯这个错误，因为统计学是数据科学的支柱。而且，很多数据科学家学习统计学只是学习理论概念，而不是学习实践概念。

我的意思是，通过实践概念，你应该知道什么样的问题可以用统计学来解决，了解使用统计数据可以解决哪些挑战。

以下是你应该了解的一些基本统计概念：

抽样、频率分布、平均值、中位数、模式、变异性度量、概率基础、显著性检验、标准差、z 评分、置信区间和假设检验（包括 A/B 检验）

要学习这些知识，有一本很好的书可以看看：《Practical Statistics for Data Scientists: 50 Essential Concepts》（https://www.amazon.com/Practical-Statistics-Data-Scientists-Essential/dp/9352135652）。不幸的是，本书中的代码示例是用 R 编写的，但是很多人包括我自己在内使用的是 Python。

我建议你阅读本书的前四章。阅读本书的前 4 章，了解我前面提到的基本统计概念，你可以忽略代码示例，只了解这些概念。本书的其余章节主要集中在机器学习上。我将在下一部分讨论如何学习机器学习。

大多数人建议使用 Think Stats （https://www.amazon.com/Think-Stats-Allen-B-Downey/dp/1449307116）来学习 python 的统计知识，但这本书的作者教授了自己的自定义函数，而不是使用标准的 python 库来进行统计知识讲解。因此，我不推荐这本书。

接下来，你的目标是实现在 Python 中学习的基本概念。StatsModels 是一个流行的 python 库，用于在 python 中构建统计模型。StatsModels 网站提供了关于如何使用 Python 实现统计概念的优秀教程。

或者，你也可以观看 Ga?l Varoquaux 的视频。他向你展示了如何使用 Pandas 和统计模型进行推理和探索性统计。

使用 Scikit-Learn 进行机器学习

Scikit-Learn 是 Python 中最流行的机器学习库之一。你的目标是学习如何使用 Scikit Learn 实现一些最常见的机器学习算法。

你应该像下面这样做。

首先，观看 Andrew Ng 在 Coursera 上的机器学习课程（https://www.coursera.org/learn/machine-learning）的第 1、2、 3、6,、7 和第 8 周视频。我跳过了关于神经网络的部分，因为作为初学者，你必须关注最通用的机器学习技术。

完成后，阅读「Hands-On Machine Learning with Scikit-Learn and TensorFlow」一书（https://www.amazon.com/Hands-Machine-Learning-Scikit-Learn-TensorFlow/dp/1491962291）。你只需浏览这本书的第一部分（大约 300 页），它是最实用的机器学习书籍之一。

通过完成本书中的编码练习，你将学习如何使用 python 实现你在 Andrew Ng 课程中学习到的理论概念。

结论

最后一步是做一个涵盖上述所有步骤的数据科学项目。你可以找到你喜欢的数据集，然后提出有趣的业务问题，再通过分析来回答这些问题。但是，请不要选择像泰坦尼克号这样的通用数据集。你可以阅读「19 places to find free data sets for your data science project」来查找合适的数据集（https://www.dataquest.io/blog/free-datasets-for-projects/）。

另一种方法是将数据科学应用到你感兴趣的领域。例如，如果你想预测股票市场价格，那么你可以从 Yahoo Finance （https://www.scrapehero.com/scrape-yahoo-finance-stock-market-data/）中获取实时数据，并将其存储在 SQL 数据库中，然后使用机器学习来预测股票价格。

如果你希望从其它行业转行到数据科学，我建议你完成一个利用你的领域专业知识的项目。关于这些，我在以前的博客文章"A Step-by-Step Guide to Transitioning your Career to Data Science – Part 1"（https://www.kdnuggets.com/2019/05/guide-transitioning-career-data-science-part-1.html） 和"A Step-by-Step Guide to Transitioning your Career to Data Science – Part 2"（https://www.kdnuggets.com/2019/06/guide-transitioning-career-data-science-part-2.html）中有提到过。

近年来分析学在数据、网络、金融等领域获得了突出的地位。应用各种软件组合起来进行数据收集，数据管理，以及数据分析，得出的结论用作商业决策，业务需求分析等等。分析学用于研究一个产品的市场效应，银行的贷款决定，这些都只是分析学的冰山一角。它在大数据，安全，数字和软件分析等领域有很深远的影响，下面是Python在分析学中的主要作用的一个延续：

在这个信息过载的世界，只有那些可以利用解析数据的优势来得出见解的人会获益。Python对于大数据的解释和分析具有很重要的作用。分析公司开发的很多工具都是基于Python来约束大数据块。分析师们会发现Python并不难学，它是一个强有力的数据管理和业务支持的媒介。

使用单一的语言来处理数据有它的好处。如果你以前曾经使用过C++或者Java，那么对你来说，Python应该很简单。数据分析可以使用Python实现，有足够的Python库来支持数据分析。 Pandas是一个很好的数据分析工具，因为它的工具和结构很容易被用户掌握。对于大数据来说它无疑是一个最合适的选择。即使是在数据科学领域，Python也因为它的“开发人员友好性”而使其他语言相形见绌。一个数据科学家熟悉Python的可能性要比熟悉其他语言的可能性高得多。

除了Python在数据分析中那些很明显的优点(易学，大量的在线社区等等)之外，在数据科学中的广泛使用，以及我们今天看到的大多数基于网络的分析，是Python在数据分析领域得以广泛传播的主要原因。

不论是金融衍生品还时大数据分析，Python都发挥了重要的作用。就前者而言，Python能够很好地和其它系统，软件工具以及数据流结合在一起，当然也包括R。用Python来对大数据做图表效果更好，它在速度和帮助方面也一样可靠。有些公司使用Python进行预测分析和统计分析。

如何用Python进行大数据挖掘和分析？快速入门路径图

大数据无处不在。在时下这个年代，不管你喜欢与否，在运营一个成功的商业的过程中都有可能会遇到它。

什么是 大数据 ？

大数据就像它看起来那样——有大量的数据。单独而言，你能从单一的数据获取的洞见穷其有限。但是结合复杂数学模型以及强大计算能力的TB级数据，却能创造出人类无法制造的洞见。大数据分析提供给商业的价值是无形的，并且每天都在超越人类的能力。

大数据分析的第一步就是要收集数据本身，也就是众所周知的“数据挖掘”。大部分的企业处理着GB级的数据，这些数据有用户数据、产品数据和地理位置数据。今天，我将会带着大家一起探索如何用 Python 进行大数据挖掘和分析？

为什么选择Python?

Python最大的优点就是简单易用。这个语言有着直观的语法并且还是个强大的多用途语言。这一点在大数据分析环境中很重要，并且许多企业内部已经在使用Python了，比如Google，YouTube，迪士尼等。还有，Python是开源的，并且有很多用于数据科学的类库。

现在，如果你真的要用Python进行大数据分析的话，毫无疑问你需要了解Python的语法，理解正则表达式，知道什么是元组、字符串、字典、字典推导式、列表和列表推导式——这只是开始。

数据分析流程

一般可以按“数据获取-数据存储与提取-数据预处理-数据建模与分析-数据可视化”这样的步骤来实施一个数据分析项目。按照这个流程，每个部分需要掌握的细分知识点如下：

数据获取：公开数据、Python爬虫

外部数据的获取方式主要有以下两种。

第一种是获取外部的公开数据集，一些科研机构、企业、政府会开放一些数据，你需要到特定的网站去下载这些数据。这些数据集通常比较完善、质量相对较高。

另一种获取外部数据的方式就是爬虫。

比如你可以通过爬虫获取招聘网站某一职位的招聘信息，爬取租房网站上某城市的租房信息，爬取豆瓣评分评分最高的电影列表，获取知乎点赞排行、网易云音乐评论排行列表。基于互联网爬取的数据，你可以对某个行业、某种人群进行分析。

在爬虫之前你需要先了解一些 Python 的基础知识：元素（列表、字典、元组等）、变量、循环、函数………

以及，如何用 Python 库（urllib、BeautifulSoup、requests、scrapy）实现网页爬虫。

掌握基础的爬虫之后，你还需要一些高级技巧，比如正则表达式、使用cookie信息、模拟用户登录、抓包分析、搭建代理池等等，来应对不同网站的反爬虫限制。

数据存取：SQL语言

在应对万以内的数据的时候，Excel对于一般的分析没有问题，一旦数据量大，就会力不从心，数据库就能够很好地解决这个问题。而且大多数的企业，都会以SQL的形式来存储数据。

SQL作为最经典的数据库工具，为海量数据的存储与管理提供可能，并且使数据的提取的效率大大提升。你需要掌握以下技能：

提取特定情况下的数据

数据库的增、删、查、改

数据的分组聚合、如何建立多个表之间的联系

数据预处理：Python（pandas）

很多时候我们拿到的数据是不干净的，数据的重复、缺失、异常值等等，这时候就需要进行数据的清洗，把这些影响分析的数据处理好，才能获得更加精确地分析结果。

对于数据预处理，学会 pandas （Python包）的用法，应对一般的数据清洗就完全没问题了。需要掌握的知识点如下：

选择：数据访问

缺失值处理：对缺失数据行进行删除或填充

重复值处理：重复值的判断与删除

异常值处理：清除不必要的空格和极端、异常数据

相关操作：描述性统计、Apply、直方图等

合并：符合各种逻辑关系的合并操作

分组：数据划分、分别执行函数、数据重组

Reshaping：快速生成数据透视表

概率论及统计学知识

需要掌握的知识点如下：

基本统计量：均值、中位数、众数、百分位数、极值等

其他描述性统计量：偏度、方差、标准差、显著性等

其他统计知识：总体和样本、参数和统计量、ErrorBar

概率分布与假设检验：各种分布、假设检验流程

其他概率论知识：条件概率、贝叶斯等

有了统计学的基本知识，你就可以用这些统计量做基本的分析了。你可以使用 Seaborn、matplotlib 等（python包）做一些可视化的分析，通过各种可视化统计图，并得出具有指导意义的结果。

Python 数据分析

掌握回归分析的方法，通过线性回归和逻辑回归，其实你就可以对大多数的数据进行回归分析，并得出相对精确地结论。这部分需要掌握的知识点如下：

回归分析：线性回归、逻辑回归

基本的分类算法：决策树、随机森林……

基本的聚类算法：k-means……

特征工程基础：如何用特征选择优化模型

调参方法：如何调节参数优化模型

Python 数据分析包：scipy、numpy、scikit-learn等

在数据分析的这个阶段，重点了解回归分析的方法，大多数的问题可以得以解决，利用描述性的统计分析和回归分析，你完全可以得到一个不错的分析结论。

当然，随着你实践量的增多，可能会遇到一些复杂的问题，你就可能需要去了解一些更高级的算法：分类、聚类。

然后你会知道面对不同类型的问题的时候更适合用哪种算法模型，对于模型的优化，你需要去了解如何通过特征提取、参数调节来提升预测的精度。

你可以通过 Python 中的 scikit-learn 库来实现数据分析、数据挖掘建模和分析的全过程。

总结

其实做数据挖掘不是梦，5步就能让你成为一个Python爬虫高手!

---