配置 thrift

python使用的包 thrift

个人使用的python 编译器是pycharm community edition. 在工程中设置中，找到project interpreter， 在相应的工程下，找到package，然后选择 “+” 添加， 搜索 hbase-thrift (Python client for HBase Thrift interface),然后安装包。

安装服务器端thrift。

参考官网，同时也可以在本机上安装以终端使用。

thrift Getting Started

也可以参考安装方法 python 调用HBase 范例

首先，安装thrift

下载thrift，这里，我用的是thrift-0.7.0-dev.tar.gz 这个版本

tar xzf thrift-0.7.0-dev.tar.gz

cd thrift-0.7.0-dev

sudo ./configure –with-cpp=no –with-ruby=no

sudo make

sudo make install

然后，到HBase的源码包里，找到

src/main/resources/org/apache/hadoop/hbase/thrift/

执行

thrift –gen py Hbase.thrift

mv gen-py/hbase/ /usr/lib/python2.4/site-packages/ (根据python版本可能有不同)

获取数据示例 1

# coding:utf-8

from thrift import Thrift

from thrift.transport import TSocket

from thrift.transport import TTransport

from thrift.protocol import TBinaryProtocol

from hbase import Hbase

# from hbase.ttypes import ColumnDescriptor, Mutation, BatchMutation

from hbase.ttypes import *

import csv

def client_conn():

# Make socket

transport = TSocket.TSocket('hostname,like:localhost', port)

# Buffering is critical. Raw sockets are very slow

transport = TTransport.TBufferedTransport(transport)

# Wrap in a protocol

protocol = TBinaryProtocol.TBinaryProtocol(transport)

# Create a client to use the protocol encoder

client = Hbase.Client(protocol)

# Connect!

transport.open()

return client

if __name__ == "__main__":

client = client_conn()

# r = client.getRowWithColumns('table name', 'row name', ['column name'])

# print(r[0].columns.get('column name')), type((r[0].columns.get('column name')))

result = client.getRow("table name","row name")

data_simple =[]

# print result[0].columns.items()

for k, v in result[0].columns.items(): #.keys()

#data.append((k,v))

# print type(k),type(v),v.value,,v.timestamp

data_simple.append((v.timestamp, v.value))

writer.writerows(data)

csvfile.close()

csvfile_simple = open("data_xy_simple.csv", "wb")

writer_simple = csv.writer(csvfile_simple)

writer_simple.writerow(["timestamp", "value"])

writer_simple.writerows(data_simple)

csvfile_simple.close()

print "finished"

会基础的python应该知道result是个list，result[0].columns.items()是一个dict 的键值对。可以查询相关资料。或者通过输出变量，观察变量的值与类型。

说明：上面程序中 transport.open()进行链接，在执行完后，还需要断开transport.close()

目前只涉及到读数据，之后还会继续更新其他dbase操作。

第一：道——明确目标

其实很多人在学习Python之前很少想这个，因为很多人说：现在Python很火呀，所以我么需要学。这个其实跟你自己没有什么关系，例如：你曾经想做一个网站不会开发，现在可以做了，现在Python很火并且你也要学来找工作，未来Python很火，我具备了Python的技能会不错。

在一生中，我们或多或少总会卡到目标上。在一些我们擅长的领域，我们会有明确的目标，并且积极指导别人：亲！干事之前，你要先定目标啊！

王健林的小目标，大家在朋友圈也都看过了，他会定先挣它一个亿。

第二：法——做好你学习Python的系统规划

1.目前市场需求主流的岗位里，你得选择一个其中你目前看来可以学，并且最敢兴趣学习的方向；

2.在方向选择好后，对照招聘网站：拉勾、智联、Boss直聘等网站的岗位要求，进行学习内容的统计与大概的记录；

3.分模块的计划你学习这个模块的时间和完成的大概目标；

4.列出你可能出现的学习误差与为之准备的应对方案；

好了，你发现没有，其实任何学习重要的不是有什么资料，核心是如何学，学多久，有没有时间限制，遇到过自己多次学习某个内容或者其他人学习某个内容，最关键的一点是在起步阶段，开始属于激情期，激情在前面释放越多，后面的持续力就很弱，好了这就是关于学习计划。

废话说多了，那我们来看看一个普适性的学习Python的流程

1天——下载并安装好学习环境：到www.python.org网站上下载一个python3.0以上的版本。我建议初学者，不要下载具有IDE功能的集成开发环境，比如Eclipse插件等。

4周——下载一些python的学习文档，比如《简明Python教程》，《笨办法学Python》等等。通过学习语法，掌握python中的关键字语法，函数语法，数学表达式、变量、数据结构、语法等等等

1.  了解Python是什么，都能做些什么？

2.  知道什么是变量、算法、解释器

3.  Python基本数据类型

4.  列表和元组的操作方法

5.  字符串操作方法

6.  基本的字典操作方法

7.任何知识它的基础知识都是有些枯燥的，现在我们就可以动手来做一些逻辑层面的东西了。掌握 if、else、elif、while、for、continue、break和列表推导式等这些语句的使用，还有程序中的异常处理。

2周——看完基础后，就是做一些小项目巩固基础，python具备很好的交互学习模式，对于书本上的例子我们可以通过交互平台进行操练，通过练习加深印象，达到学习掌握的目的。

2周——通过以上三个步骤的学习后，我们大致掌握了python的常用方法、关键字用法以及函数语法等。接下去的学习上，我们就可以着手学习常用模块的使用， 比如os,os.path,sys,string模块等。我们可以在交互环境中先熟悉使用其中的函数，如果遇到函数的使用上的问题，可以参考python 安装后的自带chm帮助文件。

2周——为了更好得掌握python，我们的学习不能只是停留在学习一些语法或者api阶段。在此阶段中，我们可以尝试用python解决我们项目中遇到的一 些问题，如果项目不是用python开发的，那我们可以想想能不能用python制作一些项目组可以使用的一些工具（utility），通过这些工具简化 项目组成员的任务，提高我们的工作效率。如果没有项目，我们也可以自己找些题目来自己练习练习。

2周——Python库是Python的精华所在，可以说Python库组成并且造就了Python，Python库是Python开发者的利器，所以学习Python库就显得尤为重要：

2周——经过以上锻炼后，我们的python知识水平肯定是越来越高。接下去的学习，我们就要更上一层楼。为了学以致用，真正能应用于项目开发或产品开发，我 们还必须学习企业应用开发中必须要掌握的网络和数据库的知识。在此的学习就不光是python语言本身的学习了，如果之前没有学习和掌握很网络和数据库知 识，在此阶段我们可以借此机会补习一把。

3周——到此阶段，我们已经是真正入门了。在接下去的工作中，就是要快速地通过我们的所学来服务项目了。在此阶段，我们除了掌握python自带的模块外，我 们最好在掌握一些业界广泛使用的开源框架，比如twisted、peak、django、xml等。通过熟练使用它们，达到闪电开发，大大节省项目宝贵时间。

《Python 核心编程》，介绍了 Python 的一些具体领域的开发方法；

《Python 网络数据采集》，很简单的爬虫入门书；

《利用 Python 进行数据分析》，介绍了 Pandas 和 NumPy 的用法；

《Flask Web 开发》，如何用 Flask 写一个博客。

第三：术——你具体的学习手段

1.每天你计划学习多少时间？例如一天必须学2小时，每天坚持；

2.每个阶段的计划拖延时间不能高于多少时间？

3.如果一个阶段不顺利如何调整？

其实很多时候，并不是资料不够多，而是本身的学习思路和计划出现了问题，那么其实最后学习Python的结果会变成：懂得了很多道理，收集了很多资料，依然学不好Python。

下面我们推荐6本高分书籍给大家，希望大家学习愉快：

1.Python编程：从入门到实践

豆瓣评分：8.8

内容简介：本书是一本针对所有层次的Python 读者而作的Python 入门书。全书分两部分：第一部分介绍用Python 编程所必须了解的基本概念，包括matplotlib、NumPy 和Pygal 等强大的Python 库和工具介绍，以及列表、字典、if 语句、类、文件与异常、代码测试等内容；第二部分将理论付诸实践，讲解如何开发三个项目，包括简单的Python 2D 游戏开发如何利用数据生成交互式的信息图，以及创建和定制简单的Web 应用，并帮读者解决常见编程问题和困惑。

豆瓣书友推荐：很好的入门书，简洁全面，适合小白。learning python之类大砖头太不友好。这本虽然有些地方讲得不深入，但是对新手友好。

————————————————

2."笨办法"学Python

豆瓣评分：8.0

内容简介：本书是一本Python入门书籍，适合对计算机了解不多，没有学过编程，但对编程感兴趣的读者学习使用。这本书以习题的方式引导读者一步一步学习编程，从简单的打印一直讲到完整项目的实现，让初学者从基础的编程技术入手，最终体验到软件开发的基本过程。

Zed Shaw完善了这个堪称世上最好的Python学习系统。只要跟着学习，你就会和迄今为止数十万Zed教过的初学者一样获得成功。

这本书会让你的每一分钟投入都有回报。Python是世界上最强大、最受欢迎的编程语言之一，很快你就会成为一名Python程序员。

豆瓣书友推荐：花了一周的时间看完，在以前的基础上零零碎碎学了一些新的东西，还算是有所收获，但是前面讲的很基础很简单，到ex40之后突然难度增加不是很懂在讲些什么。

————————————————

3.Python学习手册

豆瓣评分：8.1

内容简介：《Python学习手册(第3版)》讲述了：Python可移植、功能强大、易于使用，是编写独立应用程序和脚本应用程序的理想选择。无论你是刚接触编程或者刚接触Python，通过学习《Python学习手册(第3版)》，你可以迅速高效地精通核心Python语言基础。读完《Python学习手册(第3版)》，你会对这门语言有足够的了解，从而可以在你所从事的任何应用领域中使用它。

豆瓣书友推荐：用了两周的时间将这本书啃了一下，还有200多页的电子版没看，但还是忍不住先来评论。既是总结自己，也想帮助别人。

本书总评：

优点：解释详细，例子丰富；关于Python语言本身的讲解全面详尽而又循序渐进不断重复，同时详述语言现象背后的机制和原理；除语言本身，还包含编程实践和设计以及高级主题。

缺点：有些厚；翻译不佳；代码练习题很少；

————————————————

4.Python基础教程

豆瓣评分：8.0

内容简介：本书是经典教程的全新改版，作者根据Python 3.0版本的种种变化，全面改写了书中内容，做到既能“瞻前”也能“顾后”。本书层次鲜明、结构严谨、内容翔实，特别是在最后几章，作者将前面讲述的内容应用到了10个引人入胜的项目中，并以模板的形式介绍了项目的开发过程。本书既适合初学者夯实基础，又能帮助Python程序员提升技能，即使是 Python方面的技术专家，也能从书里找到令你耳目一新的东西。

豆瓣书友推荐：写得挺生动亲民的，很好的入门书。

————————————————

5.Python核心编程

豆瓣评分：8.0

内容简介：学习专业的Python风格、最佳实践和好的编程习惯；

·加强对Python对象、内存模型和Python面向对象特性的深入理解；

·构建更有效的Web、CGI、互联网、网络和其他客户端/服务器架构应用程序及软件；

·学习如何使用Python中的Tkinter和其他工具来开发自己的GUI应用程序及软件；

·通过用C等语言编写扩展来提升Python应用程序的性能，或者通过使用多线程增强I/0相关的应用程序的能力；

·学习Python中有关数据库的API，以及如何在Python中使用各种不同的数据库系统，包括MySQL、Postgres和 SQLite。

豆瓣书友推荐：了解Python语言方方面面的不错选择，虽然版本有些旧，对于较晚接触Py的人来说，一个“副作用”是可以更多地了解Py的过去。

————————————————

6.流畅的Python

豆瓣评分：9.5

内容简介：本书由奋战在Python开发一线近20年的Luciano Ramalho执笔，Victor Stinner、Alex Martelli等Python大咖担纲技术审稿人，从语言设计层面剖析编程细节，兼顾Python 3和Python 2，告诉你Python中不亲自动手实践就无法理解的语言陷阱成因和解决之道，教你写出风格地道的Python代码。