大神们帮忙看看这个SQL语句执行有点慢,要怎么优化才变快点?

Python011

大神们帮忙看看这个SQL语句执行有点慢,要怎么优化才变快点?,第1张

你好,根据SQL,我给予一些建议,最好根据执行计划:

若走的全表扫描,建议建立表间关联字段索引,查看索引失效原因,修改SQL关联逻辑,大部分都能解决。

如果是数据量大的问题:

a. 如果有多个查询条件,建议建立where限制条件,减少数据统计范围。

b. 如果实时性要求不高,可以定时跑批,把结果放在结果表里,前台查询结果表。

c. 关联表太多,SQL建议拆分两端,sum统计单独放一个SQL。

成品ETL工具与手工写脚本之比较:

一、灵活性来讲:ETL工具比较灵活,需要在此平台上设置规则定义,前期是需要工具先前必须已有支持功能,如果需要扩展,要ETL工具源厂商开发。而自己写脚本只需先前好好调研需求,自己写能实现的功能即可。俗话说得好“求人不如求己”哈哈哈!

二、难易度:ETL工具相对上手比较容易,工程师只需具备两个必要条件:1 、对数据库熟悉 2、对客户的业务逻辑了解。手动写脚本呢?不仅要具备操作ETL工具的条件,还要必须有一定技术水平。

三、后期管理与维护:ETL工具非常容易,这点上是用工具的最给力的优势。可能也是ETL工具诞生的缘由吧!原因:人力少不说,如有新的需求,只需稍加改动,图形配置定义即可。而手工编码呢?较难。需要重又开发写程序,随着数据信息的日积月累,每日数据的递增,更新。开发的速度赶不上需求的更新,严重到先前开发架构不合理甚至于有可能推倒重来的风险。如果取中间,既有图形配置有兼具脚本开发功能,有款中国的Beeload/ BeeDI

四、性能和效率:这方面取决于多方面如:1、硬件:服务器 CPU 内存 2、数据库类型 数据类型 3、网络状况 4 、ETL 工具的配置 设计。。。。。整体来说 工具属于较高范畴,各家成熟ETL 不一致、各有千秋。手工写脚本就要看编程者的水平啦!因人而异,如果直接在数据库上写存储过兴许比任何一家成品工具高得多。在性能上,工具当属老美的informatica IBM 的DS

五、开发周期:工具只需操作上源厂商负责培训,再把客户目前需求了解透彻,周期很短,上线见效快。手工编码不仅需要把客户(当前)需求了解透彻,未来需求也要有所预测,再进行开发。这样周期就不得而知了。

六、工作量:从上述些显然保守点得出:ETL工具属中等,手工编码属较重。写好程序还需大量测试工具,不断修正BUG 与完善。成熟工具已把这些工具先前做过了,即使有,也是可以容忍个别,源厂商可以分担修正。

七、投入成本价格:ETL工具前期成本投入较多,钞票先付。后期维护成本相对低。编写脚本,先期投入人力(工程师的工薪)中期大量测试人力,后期维护人力(工程师的工薪)看似相对较低。貌似不要票子的开源滴ETL工具 Kettle,后期才付费(服务费与培训费)

总之不管是用工具还是自己写脚本,要全盘考虑,根据各自项目大小,成本,愿意付出哪部分,适合的才是最佳滴!

由FaceBook开发,贡献给APache。

Hive是基于Hadoop的一个 数据仓库 工具,依赖HDFS完成数据存储,依赖于MapReduce处理数据。其本身并不存储数据。Hive 定义了简单的类 SQL 查询语言,称为 HQL,通过编写HiveQL语句,运行具体的MapReduce任务。

1)采用批处理方式处理海量数据。

2)提供了ETL工具。

 Hive的体系结构可以分为以下几部分:

Hive 对外提供了三种服务模式,即 Hive 命令行模式(CLI),Hive 的 Web 模式(WUI),Hive 的远程服务(Client)。Hive 远程服务通过 JDBC 等访问来连接 Hive ,这是日常中最需要的方式。 

元数据存储在Mysql或Derby中。Hive 中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等。

由Cloudera公司开发的新型查询系统。

 Impala元数据存储在Hive中,不能独立运行,依赖Hive元数据。

Impala执行查询时,不需要转换成MapReduce任务,可以直接与HDFS或HBase进行交互查询,查询效率远远高于Hive。

Impala采用与Hive相同的SQL语法,ODBC驱动程序和用户接口。

Impala主要由Impalad, State Store和CLI组成,执行查询的时候分布在多个节点上进行。

Impalad:负责协调客户端提交变得查询的执行,与HDFS的数据节点运行在同一节点上。

State Store:负责收集分布在集群中各个Impalad进城的资源信息用于查询调度。

CLI: 提供给用户查询使用的命令行工具(Impala Shell使用python实现),同时Impala还提供了Hue,JDBC, ODBC使用接口。

DBeaver中配置的使用JDBC来访问。

其具体执行过程如下:

1、试用场景:

Hive:跑批

Impala:实时交互

2、计算方式:

Hive:依赖于MapReduce框架

Impala:直接分发执行计划到各个Impalad执行查询

3、资源使用情况:

Hive执行过程中,若内存放不下所有数据则会使用外存。

Impala只用内存。