近期,笔者到一些数据竞赛网站进行观察学习,发现很多数据是以csv文件处理的(废话).因而,磨刀不误砍柴工,笔者先对Python的csv库进行学习.
csv模块实现了CSV格式表单数据的读写.这可以以一个兼容Excel的方式读写其数据文件,csv模块中的reader和writer类被用来读写序列化的数据.也可以使用DictReader类和DictWriter类以字典的方式读取数据.
返回一个reader对象,该对象逐行遍历csvfile(文件和列表均适用,但是文件的话应该newline=''.
默认每一行读取一个字符串组成的列表(而非数值,除非修改QUOTE_NONUMERIC).
返回一个writer对象,负责将数据在给定的文件类对象上转换成带分隔符的字符串.csvfile(只要该对象有write()方法,文件的话应该newline=''.)
这两个方法可以把name字符串和dialect关联/脱钩.dialect可以是Dialect的子类,或者fmtparams的关键字参数.
返回一个Dialect对象为name的变种,若其未注册,抛出Error.
返回已经注册的所有变种的 名称
返回当前解析器允许的最大字段大小,如果制定了参数,参数将成为新的最大字段大小.
该对象操作上类似reader,但是把每行中的信息映射到一个字典,字典的键由fieldnames给出
fieldname的参数是一个序列sequence [1] ,如果参数缺省,默认第一行的值作为字段名.
如果某一行中的字段多于字段名(比如说约定有5项属性,但是这一行却出现了6个数据)，则其余字段将放入列表中，字段名由 restkey 指定（默认为 None）。如果非空白行的字段少于字段名，则缺少的值将用 None 填充。
#其实这玩意应该就跟各种填表里面的备注用法差不多.
3.8中返回的行是dict类型.
该对象操作上类似reader,但是把每行中的信息映射到一个字典,字典的键由fieldnames给出,fieldname参数是不可缺省的.restval用来指定字典缺少键的时候要写入的值.extrasaction用于指定关键键在fieldname中找不到的情况的处理机制.'raise'引发ValueError,而'ignore'则会被忽略.
这个类被用来瑞段csv文件的格式
以下诸类均在括号中标注了在其变种注册表中的名称
定义了Excel生成的csv文件的常规属性.('excel')
定义了Excel生成的,tab分割的csv文件的常规属
性.('excel-tab')
定义了UNIX系统上生成的csv文件的常规属性('unix'):
任意可能发生的csv库函数错误.
参考链接
Python3.8.2文档中关于csv库的相关文档
先花点时间来说说一个程序怎么和数据库进行交互1.和数据库建立连接
2.执行sql语句,接收返回值
3.关闭数据库连接
使用MySQLdb也要遵循上面的几步.让我们一步步的进行.
1、MySQL数据库要用MySQLdb模块,但Python用来链接MySQL的第三方库MySQLdb不支持Python3.x
特别说明：我在我的电脑上实验时，我的python是2.7.2版本，安装对应版本的MySQLdb之后直接可以运行，并与数据库连接成功，所以如果大家
也像我一样顺利的话，下面的就不需要看了，直接跳过，看第2点如何执行sql语句即可！如果安装之后出现异常，可以参考一下下面的解决办法。
连接的关键是安装MySQLdb模块要下载与Python相对应的版本：
下载好后安装，它会自动检测到计算机Python的安装路径，并自动填写模块解压路径（我的是：D:\ProgramFiles\ActivePython 2.6.6.17\Lib\site-packages\）。
但解压完成后并不能使用，还要修改MySQLdb模块下的一些文件：
①.在MySQLdb目录下（我的是：D:\ProgramFiles\ActivePython 2.6.6.17\Lib\site-packages\MySQLdb）找到__init__.py：
注释第34、35行的from setsimport ImmutableSet、class DBAPISet(ImmutableSet):，在后面添加class DBAPISet(frozenset):
# from sets import ImmutableSet
# class DBAPISet(ImmutableSet):
class DBAPISet(frozenset):
②.打开converters.py：
注释第37行的from sets import BaseSet, Set，将第45行的return Set([ i for i in
s.split(',') ifi ])中的Set改为set；同样将第129行的Set:
Set2Str,中的Set改为set（不要修改Set2Str），到这里就修改完毕了
2.建立数据库连接
import MySQLdb
conn=MySQLdb.connect(host="localhost",user="root",passwd="sa",db="mytable")
比较常用的参数包括
host: 连接的数据库服务器主机名，默认为本地主机(localhost)。
user:数据库登陆名.默认是当前用户.
passwd:数据库登陆的秘密.默认为空.
db:要使用的数据库名.没有默认值.
port:MySQL服务使用的TCP端口.默认是3306.
conn连接有两个重要的方法commit【提交新增和修改】,rollback【撤销新增或修改】
3、执行数据库操作
n=cursor.execute(sql,param)
我们要使用连接对象获得一个cursor对象,接下来,我们会使用cursor提供的方法来进行工作.
这些方法包括两大类:1.执行命令,2.接收返回值
cursor用来执行命令的方法:
callproc(self, procname, args):用来执行存储过程,接收的参数为存储过程名和参数列表,返回值为受影响的行数
execute(self, query, args):执行单条sql语句,接收的参数为sql语句本身和使用的参数列表,返回值为受影响的行数
executemany(self, query, args):执行单挑sql语句,但是重复执行参数列表里的参数,返回值为受影响的行数
nextset(self):移动到下一个结果集
cursor用来接收返回值的方法:
fetchall(self):接收全部的返回结果行.
fetchmany(self, size=None):接收size条返回结果行.如果size的值大于返回的结果行的数量,则会返回cursor.arraysize条数据.
fetchone(self):返回一条结果行.
scroll(self, value, mode='relative'):移动指针到某一行.如果mode='relative',则表示从当前所在行移动value条,如果mode='absolute',则表示从结果集的第一行移动value条.
下面的代码是一个完整的例子.
#使用sql语句,这里要接收的参数都用%s占位符.要注意的是,无论你要插入的数据是什么类型,占位符永远都要用%s
sql="insert into cdinfo values(%s,%s,%s,%s,%s)"
#param应该为tuple或者list
param=(title,singer,imgurl,url,alpha)
#执行,如果成功,n的值为1
n=cursor.execute(sql,param)
#再来执行一个查询的操作
cursor.execute("select * from cdinfo")
#我们使用了fetchall这个方法.这样,cds里保存的将会是查询返回的全部结果.每条结果都是一个tuple类型的数据,这些tuple组成了一个tuple
cds=cursor.fetchall()
#因为是tuple,所以可以这样使用结果集
print cds[0][3]
#或者直接显示出来,看看结果集的真实样子
print cds
#如果需要批量的插入数据,就这样做
sql="insert into cdinfo values(0,%s,%s,%s,%s,%s)"
#每个值的集合为一个tuple,整个参数集组成一个tuple,或者list
param=((title,singer,imgurl,url,alpha),(title2,singer2,imgurl2,url2,alpha2))
#使用executemany方法来批量的插入数据.这真是一个很酷的方法!
n=cursor.executemany(sql,param)
需要注意的是(或者说是我感到奇怪的是),在执行完插入或删除或修改操作后,需要调用一下
conn.commit()方法进行提交.这样,数据才会真正保存在数据库中.我不清楚是否是我的mysql设置问题,总之,今天我在一开始使用的时候,
如果不用commit,那数据就不会保留在数据库中,但是,数据确实在数据库呆过.因为自动编号进行了累积,而且返回的受影响的行数并不为0.
4、关闭数据库连接
需要分别的关闭指针对象和连接对象.他们有名字相同的方法
cursor.close()
conn.close()
5、
5 编码（防止乱码）
需要注意的点：
1 Python文件设置编码 utf-8 （文件前面加上 #encoding=utf-8)
2 MySQL数据库charset=utf-8
3 Python连接MySQL是加上参数 charset=utf8
4 设置Python的默认编码为 utf-8 (sys.setdefaultencoding(utf-8)
#encoding=utf-8 import sys import MySQLdbreload(sys) sys.setdefaultencoding('utf-8')db=MySQLdb.connect(user='root',charset='utf8')
注：MySQL的配置文件设置也必须配置成utf8
6.模块功能演示
#!/usr/bin/python
import MySQLdb
Con= MySQLdb.connect(host='localhost',user='root',passwd='root',db='abc')
cursor =con.cursor()
sql ="select * from myt"
cursor.execute(sql)
row=cursor.fetchone()
print row
cursor.close()
con.close()
执行以下SQL语句获取返回值：
//获取连接的游标
cursor=conn.cursor()
//查询
sql = "select * from 【table】"
//新增
sql = "insert into 【table】(字段,字段) values(值，值)"
//修改
sql = "update 【table】 set 字段 =‘值’where 条件 "
//删除
sql = "delete from 【table】where 条件"
cursor.execute(sql)
返回值
cur.execute('select * from tables')
其返回值为SQL语句得到的行数，如：2L，表示2行。
然后，可以从该对象的fetchone或fetchall方法得到行信息。
获取行信息
指针对象的fetchone()方法，是每次得到一行的tuple返回值：
引用
>>>row=cur.fetchone()
>>>print row
('user1', '52c69e3a57331081823331c4e69d3f2e', 1000L, 1000L, '/home/FTP/user1','')
指针对象的fetchall()方法，可取出指针结果集中的所有行，返回的结果集一个元组(tuples)：
引用
>>>cur.scroll(0,'absolute')
>>>row=cur.fetchall()
>>>print row
(('user1', '52c69e3a57331081823331c4e69d3f2e', 1000L, 1000L,
'/home/FTP/user1',''), ('user2', '7e58d63b60197ceb55a1c487989a3720',
1000L, 1000L,'/home/FTP/user2', None))
移动指针
当使用fetchone()方法是，指针是会发生移动的。所以，若不重置指针，那么使用fetchall的信息将只会包含指针后面的行内容。
手动移动指针使用：
cur.scroll(int,parm)
含义为：
引用
int：移动的行数，整数；在相对模式下，正数向下移动，负值表示向上移动。
parm：移动的模式，默认是relative，相对模式；可接受absoulte，绝对模式。
修改数据
修改数据，包括插入、更新、删除。它们都是使用指针对象的execute()方法执行：
cur.execute("insert into table (row1, row2) values ('111', '222')")
cur.execute("update table set row1 = 'test' where row2 = 'row2' ")
cur.execute("delete from table where row1 = 'row1' ")
因单引号“'”用于SQL语句中的标识，所以，python中的字符串需使用双引号括住。
此外，也可以使用python的“格式化字符串”写法，简化命令，例如：
cur.execute("update table set row1 = '%s' where row2 = '%s' "%('value1','value2'))
※请注意，'%s'的单引号是SQL语句的间隔符，'value1'的单引号是python的字符串间隔符，其含义是不同的。是否需要间隔符，以及使用双引号还是单引号作为间隔，需根据其含义决定。例如，还有：
cur.execute("update FTPUSERS set passwd=%s where userid='%s' "%("md5('123')",'user2'))
这里，paswd=%s是因SQL的md5()函数是不需要单引号间隔的；"md5('123')"是python的字符串中含有单引号，所以用双引号括住。
提交修改
一般情况下，MySQLdb模块会自动提交修改。但我们在更新数据后，手动运行一次：
conn.commit()
关闭数据库连接
需要分别的关闭指针对象和连接对象.他们有名字相同的方法
cursor.close()
conn.close()
Python拥有一个强大的标准库。Python语言的核心只包含数字、字符串、列表、字典、文件等常见类型和函数，而由Python标准库提供了系统管理、网络通信、文本处理、数据库接口、图形系统、XML处理等额外的功能。Python标准库的主要功能有：
1.文本处理，包含文本格式化、正则表达式匹配、文本差异计算与合并、Unicode支持，二进制数据处理等功能
2.文件处理，包含文件操作、创建临时文件、文件压缩与归档、操作配置文件等功能
3.操作系统功能，包含线程与进程支持、IO复用、日期与时间处理、调用系统函数、日志（logging）等功能
4.网络通信，包含网络套接字，SSL加密通信、异步网络通信等功能
5.网络协议，支持HTTP，FTP，SMTP，POP，IMAP，NNTP，XMLRPC等多种网络协议，并提供了编写网络服务器的框架
6.W3C格式支持，包含HTML，SGML，XML的处理。
7.其它功能，包括国际化支持、数学运算、HASH、Tkinter等
Python社区提供了大量的第三方模块，使用方式与标准库类似。它们的功能覆盖科学计算、Web开发、数据库接口、图形系统多个领域。第三方模块可以使用Python或者C语言编写。SWIG,SIP常用于将C语言编写的程序库转化为Python模块。Boost C++ Libraries包含了一组函式库，Boost.Python，使得以Python或C++编写的程式能互相调用。Python常被用做其他语言与工具之间的“胶水”语言。
著名第三方库
1.Web框架
Django：开源Web开发框架，它鼓励快速开发,并遵循MVC设计，开发周期短。
ActiveGrid：企业级的Web2.0解决方案。
Karrigell：简单的Web框架，自身包含了Web服务，py脚本引擎和纯python的数据库PyDBLite。
Tornado：一个轻量级的Web框架，内置非阻塞式服务器，而且速度相当快
webpy：一个小巧灵活的Web框架，虽然简单但是功能强大。
CherryPy：基于Python的Web应用程序开发框架。
Pylons：基于Python的一个极其高效和可靠的Web开发框架。
Zope：开源的Web应用服务器。
TurboGears：基于Python的MVC风格的Web应用程序框架。
Twisted：流行的网络编程库，大型Web框架。
Quixote：Web开发框架。
2.科学计算
Matplotlib：用Python实现的类matlab的第三方库，用以绘制一些高质量的数学二维图形。
SciPy：基于Python的matlab实现，旨在实现matlab的所有功能。
NumPy：基于Python的科学计算第三方库，提供了矩阵，线性代数，傅立叶变换等等的解决方案。
3.GUI
PyGtk：基于Python的GUI程序开发GTK+库。
PyQt：用于Python的QT开发库。
WxPython：Python下的GUI编程框架，与MFC的架构相似。
4.其它
BeautifulSoup：基于Python的HTML/XML解析器，简单易用。
PIL：基于Python的图像处理库，功能强大，对图形文件的格式支持广泛。
PyGame：基于Python的多媒体开发和游戏软件开发模块。
Py2exe：将python脚本转换为windows上可以独立运行的可执行程序。
