python + django 多表联合查询方法求教

Python011

python + django 多表联合查询方法求教,第1张

如果你觉着使用自带ORM查询费劲的话。直接获取数据库连接,然后执行sql语句。

def my_custom_sql():

    from django.db import connection, transaction

    cursor = connection.cursor()

    # 数据修改操作——提交要求

    cursor.execute("UPDATE bar SET foo = 1 WHERE baz = %s", [self.baz])

    transaction.commit_unless_managed()

    # 数据检索操作,不需要提交

    cursor.execute("SELECT foo FROM bar WHERE baz = %s", [self.baz])

    row = cursor.fetchone()

    return row

多数据

from django.db import connections

cursor = connections['my_db_alias'].cursor()

# Your code here...

transaction.commit_unless_managed(using='my_db_alias')

通常我们不需要手动调用

       

         transaction.commit_unless_managed(

       

       ),我们可以这样做:

@commit_on_success

def my_custom_sql_view(request, value):

    from django.db import connection, transaction

    cursor = connection.cursor()

    # Data modifying operation

    cursor.execute("UPDATE bar SET foo = 1 WHERE baz = %s", [value])

    # Since we modified data, mark the transaction as dirty

    transaction.set_dirty()

    # Data retrieval operation. This doesn't dirty the transaction,

    # so no call to set_dirty() is required.

    cursor.execute("SELECT foo FROM bar WHERE baz = %s", [value])

    row = cursor.fetchone()

    return render_to_response('template.html', {'row': row})

无论是什么工具,做数据分析的时候一定会涉及到两类工作:

这篇文章简单对比一下Excel、SQL和Python在这两类任务上的实现过程,从而对比其异同。

如图所示,所涉及的共有三个表:

可以看到,score表通过sno和student表连接、通过cno和course表连接。

另外,这张截图截自Excel,主要是为了方便后面Excel部分的讨论。

现在,我想要合并三张表,得到新表merge_table,表包含的列一次为:sno,cno,degree,sname,cname。

即,新表中包含score表的所有列,student表的sname列,以及course表的cname列。

为了讨论方便,先上结果

首先,在 A17:E17 单元格创建所需列名,然后通过简单复制粘贴得到 A18:C28 这三列的数据。

D、E列的数据可以通过以下两种方法实现:

两种方法实现逻辑和结果都一样,但前者调用的时候比后者稍复杂。为了说明,D列数据的提取我使用了方法1,E列数据的提取我使用了方法2。

D列:

首先在 D18 单元格输入以下函数(函数中的单元格所对应的数据请看图01)

接着下拉函数至 D28 。

E列:

在 E18 单元格输入以下函数(函数中的单元格所对应的数据请看图01)

接着下拉函数至 E28 。

注意,如果要提取某个表中的多个列的数据,比如除了sname,我还想得到ssex、sbirthday和class的数据,由于这些列是一同储存在student表中的,用 VLOOPKUP() 显然更高效。

如果想要加快效率,还可以在原student表上新增一行,用数字x来表示第x列,然后在调用 VLOOPKUP() 时,直接把第三个参数指向这一行。

在合并关联表上,SQL非常便捷。实现的语句有两个(先创建或者导入原数据表):

两种方法返回的结果相同,结果如下:

我用的MySQL,不知道为什么合并后行的顺序变了=。=

在Python中,首先导入 numpy 和 pandas 模块:

接着导入数据表。

之后通过以下语句实现merge_table表的建立:

结果如下:

现在假设score表多了一行数据:

如图所示,蓝色部分为多出的数据,且课程6-106在course表中不存在。请无视逻辑问题,主要是为了方便讨论:)

遇到这种情况,上述的实现方法会出现一个问题:

因为课程号6-106在course表里并不存在,所以函数在返回值的时候出错了。

解决的办法有一个,就是在原函数上嵌套 IF() 函数。比如我把 E29 的函数更改为:

如果函数计算结果错误,则返回0。

在SQL中,如果出现此类情况, LEFT JOIN 会返回NULL值:

如果想把NULL值替换为0,查询合并表的时候可以加上 isnull() 函数(MySQL中此函数写作 ifnull() ):

如果函数计算结果错误,则返回0

返回结果和Excel的差不多,就不上图了。

Python中情况类似:

如果想把NaN值替换为0,只需要在创建merge_table表之后,添加一行语句:

返回结果也不上图了,和Excel的一样。

面对合并表中数据不匹配,SQL和Python中都可以在合并表的时候把多出项忽略不计,只要把 LEFT JOIN 换成 INNER JOIN 就行了。但Excel不能自动删除多出项所在行。

为了方便,现在做一个透视表,该表返回 选了课的同学的学号和其平均课程成绩

三个软件对于透视表的实现都很友好,并且效率相近。

Excel在数据透视表工具下把列各种拖拽就行了。

另外,Excel的数据透视表可以选择返回合计(Grand Total)或者不返回。

语句:

结果:

语句:

结果:

一般做透视表的最终目的是作图,毕竟一图胜千语。

从这个目的出发,Python比SQL、Excel更实用,一来Python比Excel作图高效很多,二来SQL不能作图。

通过上述对比可以发现,Excel合并关联表比SQL、Python要低效得多,而且在“数据不匹配”问题上解决得不好;而在另一方面,三者在创建透视表上表现相似,就看你习惯用哪个了:)