致一
预则立，不预则废
http://www.zhyea.com-
Kafka报错：Error reading field ‘topics’
在kafka的server.log中发现了如下报错信息： [代码片段] 在 StackOverflow 上找到了类似的问题。知道报这个错的是因为kafka服务端的版本和kafka客户端的版本不一致导致的。 解决方案很简单： 调整kafka server端版本； 调整kafka客户端版本。 ####### …阅读全文 -
解决PKIX：unable to find valid certification path to
遇到了“unable to find valid certification path to requested target”这样的问题。 错误详情如下： [代码片段] 从异常信息中可以看到错误是因为找不到证书导致的。 解决方案有两个。 正常的方案当然是找到证书并安装证书。这种方案能找到一大把，在这里不做展开。 说个暴力的方案：取消证书认证，信任所有请求链接。 …阅读全文 -
偶尔三省
最近休假在家，但平时琐事太多，难得有敲代码的时间，不过却是一个反思的好时间。在这里记录一些想法。 不要抱怨 这是一个我不自觉会犯的毛病，以后一定要注意。 抱 怨本身只能吐出一下自己的郁闷，不过却不能纾解郁闷，对问题本身也无任何裨益。相反的，每次抱怨只会加重自己的负能量，同时也会对其他人造成一些负面的影响。落到有心 人耳里，甚至会造成一些严重的后果。 对于抱怨的事情，首先想的应该 …阅读全文 -
设计模式讨论可以休矣
多少有些标题党了。首先声明一下，就我个人来说，我对设计模式没有丝毫反感。我反感的是空泛地没有标的地讨论设计模式，或者说言必谈设计模式。 起因是和同事的一次讨 论。讨论的过程不便多说，只说下我的观点：只为学习设计模式而学习设计模式是没有意义的，这样无助于写出好的代码，反而容易写出晦涩的代码。那什么是好的代码呢？在我 看来，好的代码起码得有三好：好用、好看、好维护。 好用，指的是写出的代码必须 …阅读全文 -
Spark堆内存溢出解决记录
最近的工作有很大一部分是在做用户画像。 画像读取的维度bitmap动辄几百MB，甚至存在部分GB级别的。而我们的Yarn集群规模比较小，内存总计只有100多 GB。开发调试时遇到最多的问题除了Task not serializable就是heap out of memeory了。 我们使用的Spark版本是1.6.3。yarn集群使用的jdk版本是1.7。 如何解决堆内存溢出是最大 …阅读全文 -
Spark Job调优-Part 2
这一节将主要介绍资源调优，或者说是如何充分利用集群资源。然后再说一下如何对并发度进行优化，这是job性能参数中最难也是最重要的部分。最后我们将了解一些数据自
身的表现形式：Spark读取时数据在磁盘上的保存形式（如Apache Avro和 Apache
Parquet），以及缓存时或系统内移动时数据在内存中的形式。 优化资源分配 在Spark的用户反馈中经常提到一类问题如“我有一个500
…阅读全文
-
Spark Job调优–Part 1
在开始写spark代码或者翻阅spark文档的时候，会遇到一些诸如“transformation”，“action”和“RDD”这样的术语。了解这些术语对于
编写spark代码是至关重要的。 类似的，当写的spark程序执行失败的时候或者尝试通过Spark
WebUI来研究提交的应用为什么执行时间过长的时候，可能会遇到另外一些术语，如“job”、“stage”和“task”，了解这些术语对于写
…阅读全文
-
Kafka 调整partiton数目和replica factor
调整partiton 调整partition可以直接执行如下命令： [代码片段] 注意替换topicName、$ZK_HOST_NODE和partitionNum三个参数。 调整replica factor 调整replica- factor需要先创建一个json描述文件replica.json，大致如下： [代码片段] 在描述文件中说明分区和副本所在broker的Id …阅读全文 -
Druid historical/broker 节点启动失败
部署Druid服务时遇到了启动失败的异常。相关的节点是historical和broker。异常信息如下： [代码片段] 异常信息中比较关键的部分是下面这一句： [代码片段] 这一句指明了启动失败的原因：分配的直接内存不足。需要的直接内存大小是“5,368,709,120”，实际提供的大小是“4,294,967,296”。 并且指明了解决方案：在虚拟机参数中添加“-XX:MaxDi …阅读全文 -
IDEA修改类注释自动生成的用户名
使用IDEA时，自动生成的类注释中的用户名默认为操作系统当前的用户名。这样的用户名通常和实际要用的用户名是不一致的。 已知的有两种调整方式。 第一种方式在File -> Settings -> Editor -> File and Code Templates –> Class –>Includes –>File Header 添加固定的author …阅读全文
