python2
爬虫：从网页上采取数据
爬虫模块：urllib,urllib2,re,bs4,requests,scrapy,xlml
1.urllib
2.request
3.bs4
4.正则re
5种数据类型
(1)数字Number
(2)字符串String
(3)列表List[] 中文在可迭代对象就是unicode对象
(4)元组Tuple()
(5)字典Set{}
爬虫思路：
1.静态 urlopen打开网页------获取源码read
2.requests(模块) get/post请求----获取源码 text()方法 content()方法(建议)
3.bs4 能够解析HTML和XML
-- coding:utf-8 –
from bs4 import BeautifulSoup
1
html=“
2018.1.8 14:03
”
soup=BeautifulSoup(html,‘html.parser’) #解析网页
print soup.div
2从文件中读取
html=’’
soup=BeautifulSoup(open(‘index.html’),‘html.parser’)
print soup.prettify()
4.获取所需信息
工具/材料IELD(python 3.6.2)，windows 7
01首先打开IDLE,输入import requests模块，如果没有报错，就说明已经安装了这个模块，请跳过此步骤；如果报错，先打开命令行，win+r，弹出运行窗口，然后输入cmd，点击确定即可。
02然后输入pip3 install requests 安装模块即可
03然后在IDLE窗口中输入如下图所示的命令
04在浏览器中输入https://zhinan.sogou.com/，就可以打开网页，这时点击鼠标右键，然后点击查看网页源代码，就可以发现，打印的结果和在浏览器中看到的源代码是一样的
如果在 windows 系统下，提示这个错误 ModuleNotFoundError: No module named 'win32api' ，那么使用以下命令可以解决： pip install pypiwin32 。
示例如下：
命令：
示例如下：
创建完毕之后可以看下具体创建了什么文件；
我们使用 pycharm 打开看下；
scrapy 爬虫项目中每个文件的作用如下：
------ “运维家” ------
------ “运维家” ------
------ “运维家” ------
linux系统下，mknodlinux，linux目录写权限，大白菜能安装linux吗，linux系统创建文件的方法，领克linux系统怎么装软件，linux文本定位；
ocr识别linux，linux锚定词尾，linux系统使用记录，u盘有linux镜像文件，应届生不会Linux，linux内核64位，linux自启动管理服务；
linux计算文件夹大小，linux设备名称有哪些，linux能用的虚拟机吗，linux系统进入不了命令行，如何创建kalilinux，linux跟so文件一样吗。
