致一
预则立，不预则废
http://www.zhyea.com-
包装SpringBoot Controller返回值
一个项目使用了SpringBoot，需要对Controller的返回值进行二次包装。包装类结构大致如下： [代码片段] 通过查找资料，找到了两种封装方式。 方法一 第一种方式是替换掉RequestResponseBodyMethodProcessor，这需要使用一个MethodReturnValueHandle r的装饰类： [代码片段] 在装饰类中使用一个Result类的实 …阅读全文 -
SpringBoot集成Jersey的单元测试方案
使用SpringBoot集成Jersey做单元测试时遇到了application.xml找不到的提示。详情如下： [代码片段] 测试使用的代码大致如下： [代码片段] 原因是SpringBoot的Context和Jersey的Context是不同的。要修复这个问题可以基于SpringBoot的Context来 构建测试时Jersey的Context，但是这样做也会遇到一些问题。具体什么问 …阅读全文 -
hbase hbck用法
在这里简单整理下hbase hbck的用法。 用法： [代码片段] opts通用可选项 -help 展示help信息； -detail 展示所有Region的详情； -timelag 处理在过去的指定时间内没有发生过元数据更新的region； -sleepBeforeRerun 在执行-fix指令后时睡眠指 …阅读全文 -
在Spark上通过自定义RDD访问HBase
这里介绍一个在Spark上使用自定义RDD获取HBase数据的方案。 这个方案的基础是我们的HBase表的行键设计。行键设计大概是这样子的：标签ID+时间戳 +随机码。平时的需求主要是导出指定标签在某个时间范围内的全部记录。根据需求和行键设计确定下实现的大方向：使用行键中的时间戳进行partition并界定sta rtRow和stopRow来缩小查询范围，使用HBase API创建RDD获取数据 …阅读全文 -
Unsupported major.minor version
又遇到了Unsupported major.minor version 52.0这个问题。很清楚这是编译打包时使用的jdk版本与运行环境jre版本不一致导致的。但是总是记不住具体的jdk版本与major version的对应关系。在这里记一下： Java SE 9 = 53 (0x35 hex),[3] Java SE 8 = 52 (0x34 hex), Java …阅读全文 -
kafka0.9 Consumer poll()方法阻塞
最近项目中用到了Kafka0.9，在使用0.9的Consumer API的时候遇到了poll()方法阻塞的问题。程序没有报任何错误，只是持续在poll()方 法处阻塞。深入poll()方法可以看到是在AbstractCoordinator.ensureCoordinatorKnown()方法中出现了死循环。在循环 中不停地输出如下DEBUG日志： [代码片段] 需要关注的是这处信息： [代码片 …阅读全文 -
获取Kafka Consumer的offset
从kafka的0.8.11版本开始，它会将consumer的offset提交给ZooKeeper。然而当offset的数量（consumer数量 * par tition的数量）的很多的时候，ZooKeeper的适应性就可能会出现不足。幸运的是，Kafka现在提供了一种理想的机制来存储Consumer的offse t。Kafka现在是将Consumer的offset写入到一个分布式持久化的、高可用 …阅读全文 -
HBase连接异常：KeeperErrorCode = OperationTimeout
手上的一个HBase相关的服务在重启后开始报错（重启前运行良好），错误信息如下： [代码片段] 错误信息提示连接zookeeper时间超长。经检查是因为有一 个zookeeper节点已经停止运行（zk3.com），和运维商量后将zookeeper故障节点删除，并移掉了另一个节点，剩下了3个节点。修改配置文件并重启 后服务恢复。 ####### …阅读全文 -
使用HBase Coprocessor
HBase的Coprocessor是模仿谷歌BigTable的Coprocessor模型实现的。 Coprocessor提供了一种机制可以让开发者直接在RegionServer上运行自定义代码来管理数据。 首先必须要指明使用Coprocessor还是存在 一些风险的。Coprocessor是HBase的高级功能，本来是只为HBase系统开发人员准备的。因为Coprocessor的代码直接 …阅读全文 -
BufferedMutator的使用
org.apache.hadoop.hbase.client.BufferedMutator主要用来对HBase的单个表进行操作。它和Put类的作用差不多， 但是主要用来实现批量的异步写操作。 BufferedMutator替换了HTable的setAutoFlush(false)的作用。 可以从Connection的实例中获取BufferedMutator的实例。在使用完成后需要调用c …阅读全文
