D3 is a [collection of modules](https://github.com/d3) that are designed to work togetheryou can use the modules independently, or you can use them together as part of the default build. The source and documentation for each module is available in its repository. Follow the links below to learn more. For changes between major versions, see [CHANGES](https://github.com/d3/d3/blob/master/CHANGES.md)see also the [release notes](https://github.com/d3/d3/releases) and the [3.x reference](https://github.com/d3/d3-3.x-api-reference/blob/master/API-Reference.md).
数据在我们这个时代变得越来越重要了，就像是黄金和石油一样宝贵，而数据可视化就是把杂乱无序的数据生成更直观的统计图形、图表等，来更加清晰有效地传递信息并以此做出决策。
既然已经有许多的答主推荐了很多好用的可视化工具，那我们就来讲讲怎样从杂乱无章的数据到最后生成易于理解和使用的数据报表的整个流程。
一、数据清洗
如何去整理分析数据，其中一个很重要的工作就是数据清洗。数据清洗是指对“脏”数据进行对应方式的处理，脏在这里意味着数据的质量不够好，会掩盖数据的价值，更会对其后的数据分析带来不同程度的影响。有调查称，一个相关项目的进展，80%的时间都可能会花费在这个工作上面。因为清洗必然意味着要对数据有一定的理解，而这个工作是自动化或者说计算机所解决不了的难题，只能靠人脑对数据进行重新审查和校验，找到问题所在，并通过一些方法去对对应的数据源进行重新整理。
清洗数据的方式大概可以分为以下几类，筛选、清除、补充、纠正，例如：
· 去除不需要的字段：简单，直接删除即可。但要记得备份。
· 填充缺失内容：以业务知识或经验推测填充缺失值；以同一指标的计算结果（均值、中位数、众数等）填充缺失值；以不同指标的计算结果填充缺失值。
· 格式不一致：时间、日期、数值、全半角等显示格式不一致，这种问题通常与输入端有关，在整合多来源数据时也有可能遇到，将其处理成一致的某种格式即可。例如一列当中储存的是时间戳，某些跨国公司的不同部门在时间的格式上有可能存在差别，比如2019-01-12，2019/01/12等，这时候需要将其转换成统一格式。
· 内容中有不需要的字符：某些情况使得有些数据中包含不需要的字符。例如从网络爬到的数据会包含一些编码解码的字符如%22，这种情况下，需要以半自动校验半人工方式来找出可能存在的问题，并去除不需要的字符。
· 数据提取：例如咱们只有用户身份证的信息，但是需要用户生日一列，这时候我们可以直接从身份证号中按照一定规律将生日信息提取出来。
以上只是一部分数据清洗的方式，具体清洗方式步骤还是需要放到具体的业务需求中。数据清洗永远不是独立存在的，它还和很多相关的领域一起并行，例如数据安全性、稳定性和成本。不同的情况下，需要考虑不同的数据清洗方式或者工具。
如果大家想要进一步去了解数据分析过程中的数据清洗，建议大家可以使用微策略的产品来体验一下数据清洗的方法和流程。
二、设计图表
设计图表的作用就是将数据转换为有意义的洞见，从而做出相应的商业决策。
通常来说，数据可视化的工具都会提供许多的图表来适用于不同的数据，在MicroStrategy的产品中还可以自己添加第三方的图表或使用我们提供的SDK来丰富自己的可视化效果库。
例如我们在展示与地理相关的信息时，可以利用地图来更直观的表达，而折线图更加能反应出事物发展的趋势。
当然，静止图表显然不能满足现在的商业需求，用户可以自行添加筛选器来浏览不同维度的数据，也可以在两个图表之间建立映射关系，或者在单个图表中向下钻取。我们利用这些高级的数据分析功能，就可以找出隐藏在数据之下的洞见。
三、发布与分享
在商业环境中，数据的安全性十分重要，所以针对一个数据报表发布的过程中，我们会针对不同的部门或者不同的职位设置不同的访问权限。这样保证了设计一个数据报表就可以满足不同的地区和角色工作人员的数据访问需求。
另外，产品对多平台访问的支持也十分重要，许多的商业决策也许就在路途中做出，所以移动端的体验和桌面一样重要。
在MicroStrategy的Library产品覆盖了桌面端和移动端，并且是为数不多能在移动端获得原生体验的产品。同时，用户也可以在产品中分享洞见、并与同事协同工作。
如今的商业决策，绝不仅仅只是基于以往经验的定性分析，通过数据可视化得出的洞见，并一步步量化得到最优解，从而使得风险最低、利润最大已经是行业趋势。随着大数据的在各行各业中的广泛应用，数据可视化的重要性也不言而喻，以上就是在商业环境中数据可视化的主要流程，感谢阅读。
主要分为 7 个阶段：入门知识 → Java 基础 → Scala 基础 → Hadoop 技术模块 → Hadoop 项目实战 → Spark 技术模块 → 大数据项目实战。
阶段一：学习入门知识
这一部分主要针对的是新手，在学习之前需要先掌握基本的数据库知识。MySQL 是一个 DBMS（数据库管理系统），是最流行的关系型数据库管理系统（关系数据库，是建立在关系数据库模型基础上的数据库，借助于集合代数等概念和方法来处理数据库中的数据）。
MongoDB 是 IT 行业非常流行的一种非关系型数据库（NoSQL），其灵活的数据存储方式备受当前 IT 从业人员的青睐。
而 Redis 是一个开源、支持网络、基于内存、键值对存储数据库。两者都非常有必要了解。
1、Linux 基础入门（新版）
2、Vim编辑器
3、Git 实战教程
4、MySQL 基础课程
5、MongoDB 基础教程
6、Redis基础教程
阶段二：Java基础
Java 是目前使用最为广泛的编程语言，它具有的众多特性，特别适合作为大数据应用的开发语言。
Java 语言具有功能强大和简单易用两个特征，跨平台应用能力比 C、C++ 更易用，更容易上手。同时还具有简单性、面向对象、分布式、健壮性、安全性、平台独立与可移植性、多线程、动态性等特点。最重要的一点是 Hadoop 是用 Java 编写的。
1、Java编程语言（新版）
2、Java进阶之设计模式
3、J2SE核心开发实战
4、JDK 核心 API
5、JDBC 入门教程
6、Java 8 新特性指南
阶段三：Scala基础
Scala 是一种多范式的编程语言，其设计的初衷是要集成面向对象编程和函数式编程的各种特性。由于 Scala 运行于 Java 平台（Java 虚拟机），并兼容现有的Java 程序，所以 Scala 可以和大数据相关的基于 JVM 的系统很好的集成。
1、Scala 开发教程
2、Scala 专题教程 - Case Class和模式匹配
3、Scala 专题教程 - 隐式变换和隐式参数
4、Scala 专题教程 - 抽象成员
5、Scala 专题教程 - Extractor
6、Scala 开发二十四点游戏
阶段四：Hadoop技术模块
Hadoop 是一款支持数据密集型分布式应用并以 Apache 2.0 许可协议发布的开源软件框架，它能搭建大型数据仓库，PB 级别数据的存储、处理、分析、统计等业务。编程语言你可以选，但 Hadoop 一定是大数据必学内容。
1、Hadoop入门进阶课程
2、Hadoop部署及管理
3、HBASE 教程
4、Hadoop 分布式文件系统--导入和导出数据
5、使用 Flume 收集数据
阶段五：Hadoop项目实战
当然，学完理论就要进行动手实战了，Hadoop 项目实战可以帮助加深对内容的理解，并锻炼动手能力。
1、Hadoop 图处理--《hadoop应用框架》
阶段六：Spark技术模块
Spark 和 Hadoop 都是大数据框架。Hadoop 提供了 Spark 所没有的功能特性，比如分布式文件系统，而 Spark 为需要它的那些数据集提供了实时内存处理。所以学习 Spark 也非常必要。
1、Spark
2、x 快速入门教程
2、Spark 大数据动手实验
3、Spark 基础之 GraphX 图计算框架学习
4、Spark 基础之 DataFrame 基本概念学习
5、Spark 基础之 DataFrame 高阶应用技巧
6、Spark 基础之 Streaming 快速上手
7、Spark 基础之 SQL 快速上手
8、Spark 基础之使用机器学习库 MLlib
9、Spark 基础之 SparkR 快速上手
10、流式实时日志分析系统--《Spark 最佳实践》
11、使用 Spark 和 D3.js 分析航班大数据
阶段七：大数据项目实战
最后阶段提供了大数据实战项目，这是对常用技能的系统运用，例如使用常用的机器学习进行建模、分析和运算，这是成为大数据工程师过程中的重要一步。
1、Ebay 在线拍卖数据分析
2、流式实时日志分析系统--《Spark 最佳实践》
3、大数据带你挖掘打车的秘籍
4、Twitter数据情感分析
5、使用 Spark 进行流量日志分析
6、Spark流式计算电商商品关注度
7、Spark的模式挖掘-FPGrowth算法
扩展资料：
大数据技术的具体内容：
分布式存储计算架构（强烈推荐：Hadoop）
分布式程序设计（包含：Apache Pig或者Hive）
分布式文件系统（比如：Google GFS）
多种存储模型，主要包含文档，图，键值，时间序列这几种存储模型（比如：BigTable，Apollo， DynamoDB等）
数据收集架构（比如：Kinesis，Kafla）
集成开发环境（比如：R-Studio）
程序开发辅助工具（比如：大量的第三方开发辅助工具）
调度协调架构工具（比如：Apache Aurora）
机器学习（常用的有Apache Mahout 或 H2O）
托管管理（比如：Apache Hadoop Benchmarking）
安全管理（常用的有Gateway）
大数据系统部署（可以看下Apache Ambari）
搜索引擎架构（ 学习或者企业都建议使用Lucene搜索引擎）
多种数据库的演变（MySQL/Memcached）
商业智能（大力推荐：Jaspersoft ）
数据可视化（这个工具就很多了，可以根据实际需要来选择）
大数据处理算法（10大经典算法）
