安装模块 pip install pymongo
添加---> insert_one | insert_many
查找---> find | find_one
注意要用list转换得到的数据
修改---> update_one | update_many
删除---> delete_one | delete_many
注意该数据库对大小写敏感
安装模块 pip install pymysql
安装模块 pip install redis
名字起的不好,大致意思呢就是怎么从本地上传数据到网站上,将网站的结果爬下来做汇总我在这里将举两个例子来说明:
这里呢我是学习: https://morvanzhou.github.io/tutorials/data-manipulation/scraping/3-01-requests/
所有的例子都来源于这个网站
那么我们先点开网页看看是什么内容: http://pythonscraping.com/pages/files/form.html
我们再来看看python怎么实现:
这样就得到我们的结果了,和网页上看到的一样,值得注意的是,data里面的index要与你提交输入框的参数name的名称一致
我利用某高校的蛋白质预测网站: http://ibi.hzau.edu.cn/FDserver/cipred.php
我们先来复习一下:
我要的结果
参考:
https://morvanzhou.github.io/tutorials/data-manipulation/scraping/3-01-requests/
日常数据管理工作中,需要处理存储在不同类型数据库系统的数据。对这些数据的管理,常见的是使用Navicat,DBeaver等管理工具。在对大量数据分析时,需要提取到Python/R中进行处理。下面 探索 Python调用MySQL,MongoDB,InfluxDB等多种类型数据库通用连接方法。实现方式是在Python中封装各类数据库接口包。
实现后的效果:1.安全。接口信息封装便于保密管理;2.复用。一次封装,永久复用;3.上手快。方便不熟悉python和数据调用的同学,只会简单的sql即可使用,省时省力。
下面以MySQL,MongoDB,InfluxDB为例定义接口方法,然后把它们封装成1个通用方法。
mysql_get(sql,db):
mongo_get(sql,db):
influx_get(sql,db):
可以看到,以上函数共同调用的参数为sql和db。我们再增加一个参数db_type,将构造一个通用的方法对以上数据库调用。
同理,其他类型的数据库也可以加入到这个通用框架中,包括但不限于各类关系型,键值型,时序型数据库。