首先让我们了解图像拼接的概念。基本上,如果你想捕捉一个大的场景,你的相机只能提供一个特定分辨率的图像(如:640×480),这当然不足以捕捉大的全景。所以,我们可以做的是捕捉整个场景的多个图像,然后把所有的碎片放在一起,形成一个大的图像。这些有序的照片被称为全景。获取多幅图像并将其转换成全景图的整个过程称为图像拼接。
首先,需要安装opencv 3.4.2.16。
接下来我们将导入我们将在Python代码中使用的库:
在我们的教程中,我们将拍摄这张精美的照片,我们会将其分成两张左右两张照片,然后我们会尝试拍摄相同或非常相似的照片。
因此,我将此图像切成两个图像,它们会有某种重叠区域:
在此,我们将列出我们应采取的步骤,以取得最终的结果:
因此,从第一步开始,我们将导入这两个图像并将它们转换为灰度,如果您使用的是大图像,我建议您使用cv2.resize,因为如果您使用较旧的计算机,它可能会非常慢并且需要很长时间。如果要调整图像大小,即调整50%,只需将fx = 1更改为fx = 0.5即可。
我们还需要找出两幅图像中匹配的特征。我们将使用opencv_contrib的SIFT描述符。SIFT (Scale constant Feature Transform)是一种非常强大的OpenCV算法。这些最匹配的特征作为拼接的基础。我们提取两幅图像的关键点和sift描述符如下:
kp1和kp2是关键点,des1和des2是图像的描述符。如果我们用特征来画这幅图,它会是这样的:
左边的图像显示实际图像。右侧的图像使用SIFT检测到的特征进行注释:
一旦你有了两个图像的描述符和关键点,我们就会发现它们之间的对应关系。我们为什么要这么做?为了将任意两个图像连接成一个更大的图像,我们必须找到重叠的点。这些重叠的点会让我们根据第一幅图像了解第二幅图像的方向。根据这些公共点,我们就能知道第二幅图像是大是小还是旋转后重叠,或者缩小/放大后再fitted。所有此类信息的产生是通过建立对应关系来实现的。这个过程称为registration。
对于匹配图像,可以使用opencv提供的FLANN或BFMatcher方法。我会写两个例子证明我们会得到相同的结果。两个示例都匹配两张照片中更相似的特征。当我们设置参数k = 2时,这样我们就要求knnMatcher为每个描述符给出2个最佳匹配。“matches”是列表的列表,其中每个子列表由“k”个对象组成。以下是Python代码:
FLANN匹配代码:
BFMatcher匹配代码:
通常在图像中,图像的许多地方可能存在许多特征。所以我们过滤掉所有的匹配来得到最好的。因此我们使用上面得到的前2个匹配项进行比值检验。如果下面定义的比值大于指定的比值,则考虑匹配。
现在我们定义在图像上绘制线条的参数,并给出输出以查看当我们在图像上找到所有匹配时的样子:
这是输出的匹配图像:
这部分完整Python代码:
因此,一旦我们获得了图像之间的最佳匹配,我们的下一步就是计算单应矩阵。如前所述,单应矩阵将与最佳匹配点一起使用,以估计两个图像内的相对方向变换。
在OpenCV中估计单应性是一项简单的任务,只需一行代码:
在开始编码拼接算法之前,我们需要交换图像输入。所以img_现在会取右图像img会取左图像。
那么让我们进入拼接编码:
因此,首先,我们将最小匹配条件count设置为10(由MIN_MATCH_COUNT定义),并且只有在匹配良好的匹配超出所需匹配时才进行拼接。否则,只需显示一条消息,说明匹配不够。
因此,在if语句中,我们将关键点(从匹配列表)转换为findHomography()函数的参数。
只需在这段代码中讨论cv2.imshow(“original_image_overlapping.jpg”,img2),我们就会显示我们收到的图像重叠区域:
因此,一旦我们建立了单应性,我们需要扭曲视角,我们将以下单应矩阵应用于图像:
所以我们使用如下:
在上面两行Python代码中,我们从两个给定的图像中获取重叠区域。然后在“dst”中我们只接收到没有重叠的图像的右侧,因此在第二行代码中我们将左侧图像放置到最终图像。所以在这一点上我们完全拼接了图像:
剩下的就是去除图像的黑色,所以我们将编写以下代码来从所有图像边框中删除黑边:
这是我们调用修剪边界的最终定义函数,同时我们在屏幕上显示该图像。如果您愿意,也可以将其写入磁盘:
使用上面的Python代码,我们将首先收到原始图片:
这是完整的最终代码:
在本教程中,我们学习了如何使用OpenCV执行图像拼接和全景构造,并编写了最终的图像拼接代码。
我们的图像拼接算法需要四个主要步骤:检测关键点和提取局部不变描述符获得图像之间的匹配描述符应用RANSAC估计单应矩阵使用单应矩阵应用warping transformation。
当仅为两个图像构建全景图时,该算法在实践中工作良好。
python 处理图片的基础模块是这个 Pillow
文档地址:pillow document
安装方法 Windows,Linux, Mac OX 各种坑。
windows 最好直接安装编译好的 exe Pillow‑2.5.1.win‑amd64‑py2.7.exe
Linux 和 mac 需要安装如果遇到 IOError: decoder jpeg not available 需要安装下面的 libjpeg
Debian/Ubuntupip uninstall Pillow or pip uninstall PIL
sudo apt-get install libjpeg-dev
pip -l install Pillow
Redhat/CentOS
pip uninstall Pillow or pip uninstall PIL
sudo yum install libjpeg-devel
pip -l install Pillow
Mac OX
brew install libjpeg
pip install -I pillow
1、Python入门拼图小游戏简单介绍:
将图像分为m×n个矩形块,并将图像右下角的矩形块替换为空白块后,将这些矩形块随机摆放成原图像的形状。
2、Python入门推箱子小游戏
简单介绍:
这是来自日本的一个经典游戏,在狭小的仓库中,要求把木箱放到指定的位置,如果不小心就可能出现箱子无法移动或者通道被堵的情况,所以,如何巧妙利用有限的空间和通道,合理安排移动顺序,就成了这个游戏能否通关的关键。
3、Python入门小游戏之外星人入侵
简单介绍:
玩家可以通过鼠标控制飞船的移动和射击,如果能在敌人达到游戏界面低端之前消灭所有敌人,则游戏胜利,否则游戏失败。
4、Python入门小游戏之吃豆子
简单介绍:
通过键盘方向键,控制游戏的人物吃豆人,吃掉藏在迷宫内的所有豆子,并且不能被敌人抓到。
5、Python入门小游戏之宝石消消乐
简单介绍:
玩家通过鼠标交换相邻的拼图,若交换后,在水平/竖直方向存在连续三个相同的拼图,则这些拼图消失,玩家得分。
6、Python入门小游戏之乒乓球对战
简单介绍:
中间是球网,玩家通过上下键移动球拍,并且这个游戏是可以两个人玩的哦。
7、还有其他四个游戏
它们是:炸弹人小游戏、逃出迷宫、飞扬的小鸟、五子棋