致一
预则立，不预则废
http://www.zhyea.com-
Kafka报错：Error reading field ‘topics’
在kafka的server.log中发现了如下报错信息： [代码片段] 在 StackOverflow 上找到了类似的问题。知道报这个错的是因为kafka服务端的版本和kafka客户端的版本不一致导致的。 解决方案很简单： 调整kafka server端版本； 调整kafka客户端版本。 ####### …阅读全文 -
Kafka警告：No checkpointed highwatermark is found for
测试环境使用的Kafka出现了点儿问题，服务器被停止，所有的topic日志不知怎的被清空。一番大清洗（清理zookeeper节点、kafka topic log）、重启Kafka、创建分区后发现报了如下的错误： [代码片段] 找了些资料 知道了报警的原因。 日志中提到的high watermark指的是一个partition中上一次提交的消息的offset。报警是因为top …阅读全文 -
Kafka报错：connection reset by peer
在kafka的server.log中发现持续爆出如下错误信息： [代码片段] 查了下原因，是因为kafka的客户端异常关闭，而Kafka仍在向其推送数据导致的。 没有找到太好的解决办法。最后使用了一个笨方法：先停掉所有的生产者和消费者服务，再停掉Kafka；而后重启Kafka、重启停掉的服务。这样异常就消失了。 后来又发现这个异常断续出现了几次，因为是测试环境，懒得去管它，神奇的 …阅读全文 -
解决PKIX：unable to find valid certification path to
遇到了“unable to find valid certification path to requested target”这样的问题。 错误详情如下： [代码片段] 从异常信息中可以看到错误是因为找不到证书导致的。 解决方案有两个。 正常的方案当然是找到证书并安装证书。这种方案能找到一大把，在这里不做展开。 说个暴力的方案：取消证书认证，信任所有请求链接。 …阅读全文 -
偶尔三省
最近休假在家，但平时琐事太多，难得有敲代码的时间，不过却是一个反思的好时间。在这里记录一些想法。 不要抱怨 这是一个我不自觉会犯的毛病，以后一定要注意。 抱 怨本身只能吐出一下自己的郁闷，不过却不能纾解郁闷，对问题本身也无任何裨益。相反的，每次抱怨只会加重自己的负能量，同时也会对其他人造成一些负面的影响。落到有心 人耳里，甚至会造成一些严重的后果。 对于抱怨的事情，首先想的应该 …阅读全文 -
设计模式讨论可以休矣
多少有些标题党了。首先声明一下，就我个人来说，我对设计模式没有丝毫反感。我反感的是空泛地没有标的地讨论设计模式，或者说言必谈设计模式。 起因是和同事的一次讨 论。讨论的过程不便多说，只说下我的观点：只为学习设计模式而学习设计模式是没有意义的，这样无助于写出好的代码，反而容易写出晦涩的代码。那什么是好的代码呢？在我 看来，好的代码起码得有三好：好用、好看、好维护。 好用，指的是写出的代码必须 …阅读全文 -
Spark堆内存溢出解决记录
最近的工作有很大一部分是在做用户画像。 画像读取的维度bitmap动辄几百MB，甚至存在部分GB级别的。而我们的Yarn集群规模比较小，内存总计只有100多 GB。开发调试时遇到最多的问题除了Task not serializable就是heap out of memeory了。 我们使用的Spark版本是1.6.3。yarn集群使用的jdk版本是1.7。 如何解决堆内存溢出是最大 …阅读全文 -
Spark Job调优-Part 2
这一节将主要介绍资源调优，或者说是如何充分利用集群资源。然后再说一下如何对并发度进行优化，这是job性能参数中最难也是最重要的部分。最后我们将了解一些数据自
身的表现形式：Spark读取时数据在磁盘上的保存形式（如Apache Avro和 Apache
Parquet），以及缓存时或系统内移动时数据在内存中的形式。 优化资源分配 在Spark的用户反馈中经常提到一类问题如“我有一个500
…阅读全文
-
Spark Job调优–Part 1
在开始写spark代码或者翻阅spark文档的时候，会遇到一些诸如“transformation”，“action”和“RDD”这样的术语。了解这些术语对于
编写spark代码是至关重要的。 类似的，当写的spark程序执行失败的时候或者尝试通过Spark
WebUI来研究提交的应用为什么执行时间过长的时候，可能会遇到另外一些术语，如“job”、“stage”和“task”，了解这些术语对于写
…阅读全文
-
Kafka 调整partiton数目和replica factor
调整partiton 调整partition可以直接执行如下命令： [代码片段] 注意替换topicName、$ZK_HOST_NODE和partitionNum三个参数。 调整replica factor 调整replica- factor需要先创建一个json描述文件replica.json，大致如下： [代码片段] 在描述文件中说明分区和副本所在broker的Id …阅读全文
