致一
预则立，不预则废
http://www.zhyea.com-
Spark Job调优-Part 2
这一节将主要介绍资源调优，或者说是如何充分利用集群资源。然后再说一下如何对并发度进行优化，这是job性能参数中最难也是最重要的部分。最后我们将了解一些数据自
身的表现形式：Spark读取时数据在磁盘上的保存形式（如Apache Avro和 Apache
Parquet），以及缓存时或系统内移动时数据在内存中的形式。 优化资源分配 在Spark的用户反馈中经常提到一类问题如“我有一个500
…阅读全文
-
Spark Job调优–Part 1
在开始写spark代码或者翻阅spark文档的时候，会遇到一些诸如“transformation”，“action”和“RDD”这样的术语。了解这些术语对于
编写spark代码是至关重要的。 类似的，当写的spark程序执行失败的时候或者尝试通过Spark
WebUI来研究提交的应用为什么执行时间过长的时候，可能会遇到另外一些术语，如“job”、“stage”和“task”，了解这些术语对于写
…阅读全文
-
Kafka 调整partiton数目和replica factor
调整partiton 调整partition可以直接执行如下命令： [代码片段] 注意替换topicName、$ZK_HOST_NODE和partitionNum三个参数。 调整replica factor 调整replica- factor需要先创建一个json描述文件replica.json，大致如下： [代码片段] 在描述文件中说明分区和副本所在broker的Id …阅读全文 -
Druid historical/broker 节点启动失败
部署Druid服务时遇到了启动失败的异常。相关的节点是historical和broker。异常信息如下： [代码片段] 异常信息中比较关键的部分是下面这一句： [代码片段] 这一句指明了启动失败的原因：分配的直接内存不足。需要的直接内存大小是“5,368,709,120”，实际提供的大小是“4,294,967,296”。 并且指明了解决方案：在虚拟机参数中添加“-XX:MaxDi …阅读全文 -
IDEA修改类注释自动生成的用户名
使用IDEA时，自动生成的类注释中的用户名默认为操作系统当前的用户名。这样的用户名通常和实际要用的用户名是不一致的。 已知的有两种调整方式。 第一种方式在File -> Settings -> Editor -> File and Code Templates –> Class –>Includes –>File Header 添加固定的author …阅读全文 -
IDEA修改类注释自动生成的用户名
使用IDEA时，自动生成的类注释中的用户名默认为操作系统当前的用户名。这样的用户名通常和实际要用的用户名是不一致的。 已知的有两种调整方式。 第一种方式在File -> Settings -> Editor -> File and Code Templates –> Class –>Includes –>File Header 添加固定的author …阅读全文 -
Gradle Refresh异常： Could not HEAD
在idea中使用Gradle的时候遇到了一个奇怪的异常：获取公司内部repository中的包是正常的，但是获取jar源文件的时候却遇到了一些异常。 异常信息可以通过执行“Refresh All Gradle Projects”操作，在Gradle View中看到。 异常信息简略如下： [代码片段] 完整异常信息如下，我做了折叠： [代码片段] 根据异常信息可以看出，是访问 …阅读全文 -
spark java.lang.StackOverflowError
问题描述 在工作中使用spark的一个主要内容就是从多个路径下搜集数据并进行处理。常用的代码大致如下： [代码片段] 在readData方法中调用Spark Context的sequenceFile方法读取文件创建RDD集合。而后调用RDD的reduce和union(即“++”)方法将多个RDD集合进行合并。 这里的代码通常是不会报错的。但是执行合并后的RDD集合的Action算子 …阅读全文 -
Kafka java.nio.channels.ClosedChannelException
最近开始部署一个工程时遇到了Kafka消费的问题，报错信息如下： [代码片段] 相关的工程已经在测试环境测试过了，部署到新的环境上却报错了。所以这个问题应该是环境问题或配置问题。 进入Kafka源码可以发现这个问题是在连接Kafka Broker时出现的。所以这个问题应该是网络连接导致的。找运维部的同事看了一下，确认是相关的节点与Kafka集群的通信被屏蔽了。解除屏蔽后问题就得到修复了 …阅读全文 -
Gradle访问需要用户名密码的仓库
公司私有的maven仓库在访问时是需要用户名密码的。访问这种仓库的时候需要在build.gradle中配置repository用户权限，如下面这样： [代码片段] 但是如果每个项目都要配置一次的话，多少会让人有些觉得不耐烦。所以可以这个配置也可以在init中完成。打开gradle安装目录->init.d目 录，创建init配置文件“init.gradle”，配置详情如下： [代码片段] …阅读全文
