python极简教程06:生成式和装饰器

Python014

python极简教程06:生成式和装饰器,第1张

测试奇谭,BUG不见。

这一场,主讲python的 生成式和装饰器。

目的:掌握四种生成式(列表、生成器、集合、字典),装饰器的原理和使用。

能够用一行代码,快速高效的生成数据。(这就不需要再通俗的讲解了吧)

举个例子:提取1-100之间的奇数

使用(),而不是 []

举个例子:列表元素去重

举个例子:字典kv反转

顾名思义:增强函数或类的功能的一个函数。

装饰器的作用:增强函数的功能,确切的说,可以装饰函数,也可以装饰类。

初学的你,还是太难理解?

你开视频聊天,觉得自己的颜值不在线,于是乎,你使用美颜,增强装饰自己的颜值。

对于美颜这个功能来说,你可以用,我可以用,所有人都可以用,以此来增强装饰自己的颜值。

方法一:不用语法糖@符号

方法二:采用语法糖@符号

再举个例子:计算函数时间

网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

随着网络的迅速发展,万维网成为大量信息的载体,如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎(Search Engine),例如传统的通用搜索引擎AltaVista,Yahoo!和Google等,作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是,这些通用性搜索引擎也存在着一定的局限性,如:

(1)不同领域、不同背景的用户往往具有不同的检索目的和需求,通用搜索引擎所返回的结果包含大量用户不关心的网页。

(2)通用搜索引擎的目标是尽可能大的网络覆盖率,有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深。

(3)万维网数据形式的丰富和网络技术的不断发展,图片、数据库、音频、视频多媒体等不同数据大量出现,通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力,不能很好地发现和获取。

(4)通用搜索引擎大多提供基于关键字的检索,难以支持根据语义信息提出的查询。

网络爬虫

为了解决上述问题,定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序,它根据既定的抓取目标,有选择的访问万维网上的网页与相关的链接,获取所需要的信息。与通用爬虫(general purpose web crawler)不同,聚焦爬虫并不追求大的覆盖,而将目标定为抓取与某一特定主题内容相关的网页,为面向主题的用户查询准备数据资源。

1 聚焦爬虫工作原理以及关键技术概述

网络爬虫是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂,需要根据一定的网页分析算法过滤与主题无关的链接,保留有用的链接并将其放入等待抓取的URL队列。然后,它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL,并重复上述过程,直到达到系统的某一条件时停止。另外,所有被爬虫抓取的网页将会被系统存贮,进行一定的分析、过滤,并建立索引,以便之后的查询和检索;对于聚焦爬虫来说,这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。

python三步实现人脸识别

Face Recognition软件包

这是世界上最简单的人脸识别库了。你可以通过Python引用或者命令行的形式使用它,来管理和识别人脸。

该软件包使用dlib中最先进的人脸识别深度学习算法,使得识别准确率在《Labled Faces in the world》测试基准下达到了99.38%。

它同时提供了一个叫face_recognition的命令行工具,以便你可以用命令行对一个文件夹中的图片进行识别操作。

特性

在图片中识别人脸

找到图片中所有的人脸

找到并操作图片中的脸部特征

获得图片中人类眼睛、鼻子、嘴、下巴的位置和轮廓

找到脸部特征有很多超级有用的应用场景,当然你也可以把它用在最显而易见的功能上:美颜功能(就像美图秀秀那样)。

鉴定图片中的脸

识别图片中的人是谁。

你甚至可以用这个软件包做人脸的实时识别。

这里有一个实时识别的例子:

1https://github.com/ageitgey/face_recognition/blob/master/examples/facerec_from_webcam_faster.py

安装

环境要求

Python3.3+或者Python2.7

MacOS或者Linux(Windows不做支持,但是你可以试试,也许也能运行)

安装步骤

在MacOS或者Linux上安装

首先,确保你安装了dlib,以及该软件的Python绑定接口。如果没有的话,看这篇安装说明:

1   https://gist.github.com/ageitgey/629d75c1baac34dfa5ca2a1928a7aeaf   

然后,用pip安装这个软件包:

如果你安装遇到问题,可以试试这个安装好了的虚拟机:

1   https://medium.com/@ageitgey/try-deep-learning-in-python-now-with-a-fully-pre-configured-vm-1d97d4c3e9b   

在树莓派2+上安装

看这篇说明:

1   https://gist.github.com/ageitgey/1ac8dbe8572f3f533df6269dab35df65   

在Windows上安装

虽然Windows不是官方支持的,但是有热心网友写出了一个Windows上的使用指南,请看这里:

1   https://github.com/ageitgey/face_recognition/issues/175#issue-257710508   

使用已经配置好的虚拟机(支持VMWare和VirtualBox)

看这篇说明:

1   https://medium.com/@ageitgey/try-deep-learning-in-python-now-with-a-fully-pre-configured-vm-1d97d4c3e9b   

使用方法

命令行接口

如果你已经安装了face_recognition,那么你的系统中已经有了一个名为face_recognition的命令,你可以使用它对图片进行识别,或者对一个文件夹中的所有图片进行识别。

首先你需要提供一个文件夹,里面是所有你希望系统认识的人的图片。其中每个人一张图片,图片以人的名字命名。

然后你需要准备另一个文件夹,里面是你要识别的图片。

然后你就可以运行face_recognition命令了,把刚刚准备的两个文件夹作为参数传入,命令就会返回需要识别的图片中都出现了谁。

输出中,识别到的每张脸都单独占一行,输出格式为

通过Python模块使用

你可以通过导入face_recognition模块来使用它,使用方式超级简单,文档在这里:https://face-recognition.readthedocs.io

自动找到图片中所有的脸

看看这个例子自己实践一下:

1   https://github.com/ageitgey/face_recognition/blob/master/examples/find_faces_in_picture.py   

你还可以自定义替换人类识别的深度学习模型。

注意:想获得比较好的性能的话,你可能需要GPU加速(使用英伟达的CUDA库)。所以编译的时候你也需要开启dlib的GPU加速选项。

你也可以通过这个例子实践一下:

1   https://github.com/ageitgey/face_recognition/blob/master/examples/find_faces_in_picture_cnn.py   

如果你有很多图片和GPU,你也可以并行快速识别,看这篇文章:

1   https://github.com/ageitgey/face_recognition/blob/master/examples/find_faces_in_batches.py   

自动识别人脸特征

试试这个例子:

1   https://github.com/ageitgey/face_recognition/blob/master/examples/find_facial_features_in_picture.py   

识别人脸鉴定是哪个人

这里是一个例子:

1   https://github.com/ageitgey/face_recognition/blob/master/examples/recognize_faces_in_picture