使用OpenCV和Python进行图像拼接

Python012

使用OpenCV和Python进行图像拼接,第1张

么是图像拼接呢?简单来说,对于输入应该有一组图像,输出是合成图像。同时,必须保留图像之间的逻辑流。

首先让我们了解图像拼接的概念。基本上,如果你想捕捉一个大的场景,你的相机只能提供一个特定分辨率的图像(如:640×480),这当然不足以捕捉大的全景。所以,我们可以做的是捕捉整个场景的多个图像,然后把所有的碎片放在一起,形成一个大的图像。这些有序的照片被称为全景。获取多幅图像并将其转换成全景图的整个过程称为图像拼接。

首先,需要安装opencv 3.4.2.16。

接下来我们将导入我们将在Python代码中使用的库:

在我们的教程中,我们将拍摄这张精美的照片,我们会将其分成两张左右两张照片,然后我们会尝试拍摄相同或非常相似的照片。

因此,我将此图像切成两个图像,它们会有某种重叠区域:

在此,我们将列出我们应采取的步骤,以取得最终的结果:

因此,从第一步开始,我们将导入这两个图像并将它们转换为灰度,如果您使用的是大图像,我建议您使用cv2.resize,因为如果您使用较旧的计算机,它可能会非常慢并且需要很长时间。如果要调整图像大小,即调整50%,只需将fx = 1更改为fx = 0.5即可。

我们还需要找出两幅图像中匹配的特征。我们将使用opencv_contrib的SIFT描述符。SIFT (Scale constant Feature Transform)是一种非常强大的OpenCV算法。这些最匹配的特征作为拼接的基础。我们提取两幅图像的关键点和sift描述符如下:

kp1和kp2是关键点,des1和des2是图像的描述符。如果我们用特征来画这幅图,它会是这样的:

左边的图像显示实际图像。右侧的图像使用SIFT检测到的特征进行注释:

一旦你有了两个图像的描述符和关键点,我们就会发现它们之间的对应关系。我们为什么要这么做?为了将任意两个图像连接成一个更大的图像,我们必须找到重叠的点。这些重叠的点会让我们根据第一幅图像了解第二幅图像的方向。根据这些公共点,我们就能知道第二幅图像是大是小还是旋转后重叠,或者缩小/放大后再fitted。所有此类信息的产生是通过建立对应关系来实现的。这个过程称为registration。

对于匹配图像,可以使用opencv提供的FLANN或BFMatcher方法。我会写两个例子证明我们会得到相同的结果。两个示例都匹配两张照片中更相似的特征。当我们设置参数k = 2时,这样我们就要求knnMatcher为每个描述符给出2个最佳匹配。“matches”是列表的列表,其中每个子列表由“k”个对象组成。以下是Python代码:

FLANN匹配代码:

BFMatcher匹配代码:

通常在图像中,图像的许多地方可能存在许多特征。所以我们过滤掉所有的匹配来得到最好的。因此我们使用上面得到的前2个匹配项进行比值检验。如果下面定义的比值大于指定的比值,则考虑匹配。

现在我们定义在图像上绘制线条的参数,并给出输出以查看当我们在图像上找到所有匹配时的样子:

这是输出的匹配图像:

这部分完整Python代码:

因此,一旦我们获得了图像之间的最佳匹配,我们的下一步就是计算单应矩阵。如前所述,单应矩阵将与最佳匹配点一起使用,以估计两个图像内的相对方向变换。

在OpenCV中估计单应性是一项简单的任务,只需一行代码:

在开始编码拼接算法之前,我们需要交换图像输入。所以img_现在会取右图像img会取左图像。

那么让我们进入拼接编码:

因此,首先,我们将最小匹配条件count设置为10(由MIN_MATCH_COUNT定义),并且只有在匹配良好的匹配超出所需匹配时才进行拼接。否则,只需显示一条消息,说明匹配不够。

因此,在if语句中,我们将关键点(从匹配列表)转换为findHomography()函数的参数。

只需在这段代码中讨论cv2.imshow(“original_image_overlapping.jpg”,img2),我们就会显示我们收到的图像重叠区域:

因此,一旦我们建立了单应性,我们需要扭曲视角,我们将以下单应矩阵应用于图像:

所以我们使用如下:

在上面两行Python代码中,我们从两个给定的图像中获取重叠区域。然后在“dst”中我们只接收到没有重叠的图像的右侧,因此在第二行代码中我们将左侧图像放置到最终图像。所以在这一点上我们完全拼接了图像:

剩下的就是去除图像的黑色,所以我们将编写以下代码来从所有图像边框中删除黑边:

这是我们调用修剪边界的最终定义函数,同时我们在屏幕上显示该图像。如果您愿意,也可以将其写入磁盘:

使用上面的Python代码,我们将首先收到原始图片:

这是完整的最终代码:

在本教程中,我们学习了如何使用OpenCV执行图像拼接和全景构造,并编写了最终的图像拼接代码。

我们的图像拼接算法需要四个主要步骤:检测关键点和提取局部不变描述符获得图像之间的匹配描述符应用RANSAC估计单应矩阵使用单应矩阵应用warping transformation。

当仅为两个图像构建全景图时,该算法在实践中工作良好。

先公布一下上一讲最后一个有难度的挑战题的参考答案:

复习:目前我们学了 一种数据类型 字符串 能举个字符串的例子吗?

答案:

再运行这个看看

从中可以看出 + 的两个作用吗?

一个是整数运算,一个是字符串的连接

运行上面的代码会出现这样的错误提示:

去百度这个错误 然后看看是什么原因(学习编程时有个重要的技巧就是学会去百度遇到的问题,这样才能逐渐掌握自学的能力)

提示:(选择下面的空白内容即可看见)

答: + 前后的数据类型要一致,必须同时是 整数 或者 字符串 , 整数和字符串不能拼接

新的数据类型:列表

students = ['党志文', '浦欣然', '罗鸿朗', '姜信然', '居俊德', '宿鸿福', '张成和', '林景辉', '戴英华', '马鸿宝', '郑翰音', '厉和煦', '钟英纵', '卢信然', '任正真', '翟彭勃', '蒋华清', '双英朗', '金文柏', '饶永思', '堵宏盛', '濮嘉澍', '戈睿慈', '邰子默', '于斯年', '扈元驹', '厍良工', '甘锐泽', '姚兴怀', '殳英杰', '吴鸿福', '王永年', '宫锐泽', '黎兴发', '朱乐贤', '关乐童', '养永寿', '养承嗣', '贾康成', '韩修齐', '彭凯凯', '白天干', '瞿学义', '那同济', '衡星文', '公兴怀', '宫嘉熙', '牧乐邦', '温彭祖', '桂永怡']

name = ['小明',18,1.70]

students = ['小明','小红','小刚']

colors = ['red', 'green','yellow',' black']

问:找出列表的特征有哪些?

students, name , colors都是变量名

= 后是 四个列表

字符串的特征是:' ', " ", ''' '''

列表的特征是: [ ]

中间的各元素之间用 , 分开

元素可以是字符串,也可以是整数

举几个新的列表的例子

cities = ['北京', '上海', '广州', '合肥']

names = ['王小明','李小红','张小刚']

注意: cities, names是变量名,不属于列表

list2 = [5,6,7,8,9]

问题:5是列表list2的第几个元素?

计算机计数是从零开始

所以 5是第0号元素

那么8是第几个元素?

答:第3号元素

试着运行:

list2 = [5,6,7,8,9]

print(list2[0])

上述代码输出list2的0号元素

写一个代码 打印出 7

答案:(选择下面的空白内容即可看见)

list2 = [5,6,7,8,9]

print(list2[2])

list2 = [5,6,7,8,9]

print(list2[:])

print(list2[2:])

print(list2[:2])

print(list2[1:3])

print(list2[2:4])

你运行上面这段代码,提前猜一下结果会是什么

print(list2[:]) #输出列表list2的每一个元素

print(list2[2:]) #输出列表list2的第3至最后一个元素

print(list2[:2]) #输出列表list2的第一个至第3个元素

print(list2[1:3]) #输出列表list2的第2个至3个元素

print(list2[2:4]) #输出列表list2的第3个至第4个元素

这里有个口诀: 左加右不加

看懂的话,写一个代码输出 [6,7,8]

答:

print(list2[1:4])

list2 = [5,6,7,8,9]

list2.append(3)

运行这两行代码

然后告诉我 .append() 有什么作用

答: 列表末尾追加元素

给list2添加数字 11

然后 添加 字符串 '这些是数字'

答案:

list2.append(11)

list2.append('这些是数字')

考题: 给list2添加数字 12

最后一行加上 print(list2)

print经常被拿来测试自己的代码是否有问题

删除列表元素的两种方法:

list2.remove(7)

运行这个试试

最后一行记得加 print(list2)

再试试

del list2[2]

*第二种删除方法

考题: 请删除第二个元素 用两种方法

list2 = [5,6,7,8,9]

答:

list2.remove(6)

del list2[1]

print(list2)

小结:list2.remove()删除对应的元素

del list2[]删除元素号对应的元素(元素号又叫做 索引)

以下代码用于课后练习:

boys = []

boys.append('Tom')

boys.append('Mark')

boys.append('William')

#print(boys)

boys.remove('Mark') #删除指定的元素,如果有多个,删除第一次出现的

print(boys)

del boys[1] #删除列表第2号元素(注意为什么是2不是1)

print(boys)

students = ['小明','小红','小刚','小强','小君']

print(students)

students.pop() #删除列表最后一个元素

print(students)

students.pop(1) #删除列表第2个元素

print(students)

students.sort() #列表元素永久排序

print(students)

print(sorted(students))

students.reverse() #列表顺序倒序

print(students)

len(students) #统计列表元素的个数

print(len(students))

#提取列表最后一个元素的两种方法

my_list = ['banana', 'apple', 'orange', 'pineapple']

#索引方法

last_element = my_list[-1]

#pop方法

last_element = my_list.pop()

#合并列表元素为一个字符串

list = ["Hello", "world", "Ok", "Bye!"]

combined_string = " ".join(list)

print(combined_string)