首先让我们了解图像拼接的概念。基本上,如果你想捕捉一个大的场景,你的相机只能提供一个特定分辨率的图像(如:640×480),这当然不足以捕捉大的全景。所以,我们可以做的是捕捉整个场景的多个图像,然后把所有的碎片放在一起,形成一个大的图像。这些有序的照片被称为全景。获取多幅图像并将其转换成全景图的整个过程称为图像拼接。
首先,需要安装opencv 3.4.2.16。
接下来我们将导入我们将在Python代码中使用的库:
在我们的教程中,我们将拍摄这张精美的照片,我们会将其分成两张左右两张照片,然后我们会尝试拍摄相同或非常相似的照片。
因此,我将此图像切成两个图像,它们会有某种重叠区域:
在此,我们将列出我们应采取的步骤,以取得最终的结果:
因此,从第一步开始,我们将导入这两个图像并将它们转换为灰度,如果您使用的是大图像,我建议您使用cv2.resize,因为如果您使用较旧的计算机,它可能会非常慢并且需要很长时间。如果要调整图像大小,即调整50%,只需将fx = 1更改为fx = 0.5即可。
我们还需要找出两幅图像中匹配的特征。我们将使用opencv_contrib的SIFT描述符。SIFT (Scale constant Feature Transform)是一种非常强大的OpenCV算法。这些最匹配的特征作为拼接的基础。我们提取两幅图像的关键点和sift描述符如下:
kp1和kp2是关键点,des1和des2是图像的描述符。如果我们用特征来画这幅图,它会是这样的:
左边的图像显示实际图像。右侧的图像使用SIFT检测到的特征进行注释:
一旦你有了两个图像的描述符和关键点,我们就会发现它们之间的对应关系。我们为什么要这么做?为了将任意两个图像连接成一个更大的图像,我们必须找到重叠的点。这些重叠的点会让我们根据第一幅图像了解第二幅图像的方向。根据这些公共点,我们就能知道第二幅图像是大是小还是旋转后重叠,或者缩小/放大后再fitted。所有此类信息的产生是通过建立对应关系来实现的。这个过程称为registration。
对于匹配图像,可以使用opencv提供的FLANN或BFMatcher方法。我会写两个例子证明我们会得到相同的结果。两个示例都匹配两张照片中更相似的特征。当我们设置参数k = 2时,这样我们就要求knnMatcher为每个描述符给出2个最佳匹配。“matches”是列表的列表,其中每个子列表由“k”个对象组成。以下是Python代码:
FLANN匹配代码:
BFMatcher匹配代码:
通常在图像中,图像的许多地方可能存在许多特征。所以我们过滤掉所有的匹配来得到最好的。因此我们使用上面得到的前2个匹配项进行比值检验。如果下面定义的比值大于指定的比值,则考虑匹配。
现在我们定义在图像上绘制线条的参数,并给出输出以查看当我们在图像上找到所有匹配时的样子:
这是输出的匹配图像:
这部分完整Python代码:
因此,一旦我们获得了图像之间的最佳匹配,我们的下一步就是计算单应矩阵。如前所述,单应矩阵将与最佳匹配点一起使用,以估计两个图像内的相对方向变换。
在OpenCV中估计单应性是一项简单的任务,只需一行代码:
在开始编码拼接算法之前,我们需要交换图像输入。所以img_现在会取右图像img会取左图像。
那么让我们进入拼接编码:
因此,首先,我们将最小匹配条件count设置为10(由MIN_MATCH_COUNT定义),并且只有在匹配良好的匹配超出所需匹配时才进行拼接。否则,只需显示一条消息,说明匹配不够。
因此,在if语句中,我们将关键点(从匹配列表)转换为findHomography()函数的参数。
只需在这段代码中讨论cv2.imshow(“original_image_overlapping.jpg”,img2),我们就会显示我们收到的图像重叠区域:
因此,一旦我们建立了单应性,我们需要扭曲视角,我们将以下单应矩阵应用于图像:
所以我们使用如下:
在上面两行Python代码中,我们从两个给定的图像中获取重叠区域。然后在“dst”中我们只接收到没有重叠的图像的右侧,因此在第二行代码中我们将左侧图像放置到最终图像。所以在这一点上我们完全拼接了图像:
剩下的就是去除图像的黑色,所以我们将编写以下代码来从所有图像边框中删除黑边:
这是我们调用修剪边界的最终定义函数,同时我们在屏幕上显示该图像。如果您愿意,也可以将其写入磁盘:
使用上面的Python代码,我们将首先收到原始图片:
这是完整的最终代码:
在本教程中,我们学习了如何使用OpenCV执行图像拼接和全景构造,并编写了最终的图像拼接代码。
我们的图像拼接算法需要四个主要步骤:检测关键点和提取局部不变描述符获得图像之间的匹配描述符应用RANSAC估计单应矩阵使用单应矩阵应用warping transformation。
当仅为两个图像构建全景图时,该算法在实践中工作良好。
先公布一下上一讲最后一个有难度的挑战题的参考答案:
复习:目前我们学了 一种数据类型 字符串 能举个字符串的例子吗?
答案:
再运行这个看看
从中可以看出 + 的两个作用吗?
一个是整数运算,一个是字符串的连接
运行上面的代码会出现这样的错误提示:
去百度这个错误 然后看看是什么原因(学习编程时有个重要的技巧就是学会去百度遇到的问题,这样才能逐渐掌握自学的能力)
提示:(选择下面的空白内容即可看见)
答: + 前后的数据类型要一致,必须同时是 整数 或者 字符串 , 整数和字符串不能拼接
新的数据类型:列表
students = ['党志文', '浦欣然', '罗鸿朗', '姜信然', '居俊德', '宿鸿福', '张成和', '林景辉', '戴英华', '马鸿宝', '郑翰音', '厉和煦', '钟英纵', '卢信然', '任正真', '翟彭勃', '蒋华清', '双英朗', '金文柏', '饶永思', '堵宏盛', '濮嘉澍', '戈睿慈', '邰子默', '于斯年', '扈元驹', '厍良工', '甘锐泽', '姚兴怀', '殳英杰', '吴鸿福', '王永年', '宫锐泽', '黎兴发', '朱乐贤', '关乐童', '养永寿', '养承嗣', '贾康成', '韩修齐', '彭凯凯', '白天干', '瞿学义', '那同济', '衡星文', '公兴怀', '宫嘉熙', '牧乐邦', '温彭祖', '桂永怡']
name = ['小明',18,1.70]
students = ['小明','小红','小刚']
colors = ['red', 'green','yellow',' black']
问:找出列表的特征有哪些?
students, name , colors都是变量名
= 后是 四个列表
字符串的特征是:' ', " ", ''' '''
列表的特征是: [ ]
中间的各元素之间用 , 分开
元素可以是字符串,也可以是整数
举几个新的列表的例子
cities = ['北京', '上海', '广州', '合肥']
names = ['王小明','李小红','张小刚']
注意: cities, names是变量名,不属于列表
list2 = [5,6,7,8,9]
问题:5是列表list2的第几个元素?
计算机计数是从零开始
所以 5是第0号元素
那么8是第几个元素?
答:第3号元素
试着运行:
list2 = [5,6,7,8,9]
print(list2[0])
上述代码输出list2的0号元素
写一个代码 打印出 7
答案:(选择下面的空白内容即可看见)
list2 = [5,6,7,8,9]
print(list2[2])
list2 = [5,6,7,8,9]
print(list2[:])
print(list2[2:])
print(list2[:2])
print(list2[1:3])
print(list2[2:4])
你运行上面这段代码,提前猜一下结果会是什么
print(list2[:]) #输出列表list2的每一个元素
print(list2[2:]) #输出列表list2的第3至最后一个元素
print(list2[:2]) #输出列表list2的第一个至第3个元素
print(list2[1:3]) #输出列表list2的第2个至3个元素
print(list2[2:4]) #输出列表list2的第3个至第4个元素
这里有个口诀: 左加右不加
看懂的话,写一个代码输出 [6,7,8]
答:
print(list2[1:4])
list2 = [5,6,7,8,9]
list2.append(3)
运行这两行代码
然后告诉我 .append() 有什么作用
答: 列表末尾追加元素
给list2添加数字 11
然后 添加 字符串 '这些是数字'
答案:
list2.append(11)
list2.append('这些是数字')
考题: 给list2添加数字 12
最后一行加上 print(list2)
print经常被拿来测试自己的代码是否有问题
删除列表元素的两种方法:
list2.remove(7)
运行这个试试
最后一行记得加 print(list2)
再试试
del list2[2]
*第二种删除方法
考题: 请删除第二个元素 用两种方法
list2 = [5,6,7,8,9]
答:
list2.remove(6)
del list2[1]
print(list2)
小结:list2.remove()删除对应的元素
del list2[]删除元素号对应的元素(元素号又叫做 索引)
以下代码用于课后练习:
boys = []
boys.append('Tom')
boys.append('Mark')
boys.append('William')
#print(boys)
boys.remove('Mark') #删除指定的元素,如果有多个,删除第一次出现的
print(boys)
del boys[1] #删除列表第2号元素(注意为什么是2不是1)
print(boys)
students = ['小明','小红','小刚','小强','小君']
print(students)
students.pop() #删除列表最后一个元素
print(students)
students.pop(1) #删除列表第2个元素
print(students)
students.sort() #列表元素永久排序
print(students)
print(sorted(students))
students.reverse() #列表顺序倒序
print(students)
len(students) #统计列表元素的个数
print(len(students))
#提取列表最后一个元素的两种方法
my_list = ['banana', 'apple', 'orange', 'pineapple']
#索引方法
last_element = my_list[-1]
#pop方法
last_element = my_list.pop()
#合并列表元素为一个字符串
list = ["Hello", "world", "Ok", "Bye!"]
combined_string = " ".join(list)
print(combined_string)