开发环境:win10、python3.7
开发工具:pycharm、Chrome
明确需要采集的数据:
提取到页面的分类标签
获取到a标签的href属性
用于之后拼接动态地址
找到动态加载的app数据加载地址
url的值是每个分类标签的值
https://sj.qq.com/myapp/cate/appList.htm?orgame=1&categoryId=-10&pageSize=20&pageContext=undefined
拼接新的url值发送请求
使用 Python 和麦克风进行语音数据采集的流程可能包括以下步骤:
安装并导入相应的库:需要安装并导入 PyAudio 库,这个库可以让你在 Python 中操作麦克风。
打开麦克风:使用 PyAudio 库打开麦克风,并设置采样率,采样位数等参数。
开始录音:使用 PyAudio 库的 read 方法从麦克风中读取语音数据。
存储数据:使用 Python 的文件操作函数将读取到的语音数据存储到本地磁盘上。
关闭麦克风:使用 PyAudio 库关闭麦克风。
处理数据:在结束采集之后可以对音频数据进行处理,比如语音识别,语音合成,语音压缩等.
注意:请确保在你的系统中已经安装好了麦克风驱动,并且在 Python 代码中有足够的权限访问麦克风。
由于项目需求收集并使用过一些爬虫相关库,做过一些对比分析。以下是我接触过的一些库:Beautiful Soup。名气大,整合了一些常用爬虫需求。缺点:不能加载JS。
Scrapy。看起来很强大的爬虫框架,可以满足简单的页面爬取(比如可以明确获知url pattern的情况)。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。但是对于稍微复杂一点的页面,如weibo的页面信息,这个框架就满足不了需求了。
mechanize。优点:可以加载JS。缺点:文档严重缺失。不过通过官方的example以及人肉尝试的方法,还是勉强能用的。
selenium。这是一个调用浏览器的driver,通过这个库你可以直接调用浏览器完成某些操作,比如输入验证码。
cola。一个分布式爬虫框架。项目整体设计有点糟,模块间耦合度较高,不过值得借鉴。
以下是我的一些实践经验:
对于简单的需求,比如有固定pattern的信息,怎么搞都是可以的。
对于较为复杂的需求,比如爬取动态页面、涉及状态转换、涉及反爬虫机制、涉及高并发,这种情况下是很难找到一个契合需求的库的,很多东西只能自己写。
至于题主提到的:
还有,采用现有的Python爬虫框架,相比与直接使用内置库,优势在哪?因为Python本身写爬虫已经很简单了。
third party library可以做到built-in library做不到或者做起来很困难的事情,仅此而已。还有就是,爬虫简不简单,完全取决于需求,跟Python是没什么关系的。