瀚海星空
星空有烂，观之忘我
http://abloz.com-
spark rdd 转换和动作
概述 本文对spark rdd的转换和动作进行总结和实际操作演示. RDD(Resilient Distributed Datasets),弹性分布式数据集， 是spark分布式内存的一个抽象概念，RDD提供了一种高度受限的共享内存模型.即RDD是只读的记录分区的集合，只能通 过在其他RDD执行确定的转换操作（如map、join和group by）而创建，然而这些限制使得实现容错的开销很低。 …阅读全文 -
spark 隐含因子音乐推荐
音乐推荐 本示例基于spark高级编程. 实现了一个对 隐因子推荐算法( Latent Factor Analysis) 用用户和产品之间的交互, 来找到潜在的分类, 并对用户进行推荐. 隐含语义模型LFM和LSI，LDA，Topic Model 都属于隐含语义分析技术，是一类概念，他们在本质上是相通的，都是找出潜在的主题或分类。和该技术相关算法有pLSA（probabil …阅读全文 -
scala的for循环yield值
概述 scala语言的for语法很灵活. 除了普通的直接对集合的循环, 以及循环中的判断和值返回. 非常灵活. for 可以通过yield(生产)返回值, 最终组成for循环的对象类型.for 循环中的 yield 会把当前的元素记下来，保存在集合中，循环结束后将返回该集合。如果被循环的是 Map，返回的就是Map，被循环的是 List，返回的就是List，以此类推。 守卫( g …阅读全文 -
python kafka生产消费示例
概述 本文是python作为kafka的生产者和消费者的示例. 可以作为kafka测试程序使用. 关注点 json对象, python对象和json字符串转换 utf8支持 kafka生产和消费初始化 kafka-python 安装 利用conda 从conda- forge库中安装 [代码片段] 代码 感谢 yue …阅读全文 -
akka http的Actor示例
概述 这是akka http 文档自带的例子, 略作改编. 本代码演示了akka-http中和actor交互. 代码功能为拍卖(Aution),投标(Bid)和查询投标(GetBids),实现了http的PUT,GET等方法. 关注点 List初始化方法 akka- http和Actor发送消息 json和对象,字符串之间的转换 R …阅读全文 -
kafka使用和容错性测试
下载安装 下载地址 最新版本kafka_2.12-0.11.0.0.tgz. [代码片段] 安装zookeeper 安装zookeeper.并配置kafka连接到zookeeper, 测试可以采用kafka自带zookeeper. 启动zookeeper [代码片段] 启动kafka [代码片段] 操作kafka 创建topic [代码片段] …阅读全文 -
akka http复杂格式json处理
概述 json 分为好几种形态. 字符串形态, 用于数据交换和描述存储的原始形式. Json对象形态, 这是Json引擎内在逻辑,树形结构,抽象语法树AST 模型对象形态, 这是用户业务对象 在实际编码中这三种形态经常相互转化. 由于官方文档的示例都非常简单, 所以遇到复杂的结构出了问题很难处理. 本文采用akka-http自带spr …阅读全文 -
spark入门实践之单词统计
简介 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。 Spark由UC Berkeley AMP lab
(加州大学伯克利分校的AMP实验室) 于2009年开始开发并开源. 目前是apache顶级项目. spark 支持scala,java,python,R.
于 2017年5月发布2.1.1版本. 建议最好使用scala语言来开发. 因为java和p
…阅读全文
-
hadoop3安装试用
下载 hadoop 3 下载 目前是 2017年5月发布的3.0.0-alpha3 [代码片段] java环境 需要java sdk 1.7 以上 [代码片段] 启动hadoop单节点 [代码片段] [代码片段] 下面的命令将etc下面的配置文件作为输入, 查找相关内容,并放到输出. [代码片段] 伪分布式配置 可以在一台设备启动多个hadoo …阅读全文 -
scala安装试用
java环境 需要java sdk 1.7 以上 [代码片段] 下载安装scala 下载安装scala只需找到对应版本,解压即可. 下载地址:http://www.scala-lang.org/download/ [代码片段] 编写测试程序 [代码片段] 在命令行执行 [代码片段] 编译 [代码片段] 继承app 可以不用写入口的main [代码片 …阅读全文
