Python爬虫是由Python程序开发的网络爬虫，是按照一定规则自动抓取万网网信息的程序或脚本。
Python爬虫工程师岗位职责是数据采集清洗等研发工作负责对爬虫平台架构进行改造和优化定期抓取指定数据，为业务部门提供数据支持。
负责爬虫各个系统核心代码搭建，性能方面的优化，解决相关难题负责研究各种网站、网页、链接的形态，发现它们的特点和规律；设计各种策略和算法，提高数据抓取的效率和质量，解决数据的重复，垃圾数据识别。
建议：你自己直接申请域名和空间，不要让设计师或公司帮你申请域名和空间。这样的好处是万一对方设计的网站不好，你可以自己直接管理域名和空间，安全一些。 注册步骤 \x0d\x0a1、注册域名，找大点的域名经营商，而不是代理商，每年一级域名，就是以.COM或.CN结尾的，约100元；\x0d\x0a2、购买虚拟主机空间，建议和域名同一个经营商，这个差异就比较大了，看你的空间大小价格不同，如果小规模，参考价格每年1000左右，但这就是最小规模的了\x0d\x0a3、建设网站，有专门的电脑工程师的话就可以自己做，那么这部分支出就是工资部分了；\x0d\x0a4、网站是需要备案的，需要到工信部下设的分点，但一般都由主机提供商来协助办理，不收费；\x0d\x0a5、备案通过后，将网站解析到你所买的域名上，就可以正常登陆了。\x0d\x0a6、正常的网站维护。首先你要知道一些基础的知识,分清静态,动态编程,前端方面你要学会html,xhtml,css,JavaScript如果你要把前端做的很好的话你要了解w3c标准,html标准,xhtml标准。后端服务方面你要了解服务器运行环境,我不知道你偏向那个系统的,如果在linux上运行网站上的程序的话可以选择python,php,java,如果在windows上运行网站程序的话要了解asp,asp.net,当然也可以选择php,python,java。
你说你要开发自己的服务器,我不知道你要做服务器软件还是要建立服务器环境,如果要做服务器软件你要了解apache或IIS的运行机制,了解socket,还要了解tcpip协议,还要熟悉C语言,如果要建立软件环境,如果是在linux平台的话你要学会编译apache,lighthttpd,nginx之类的服务器软件,然后要编译相关的运行环境软件,如果是在windows上的话你要安装iis组件,或者apache服务器。
windows上开发和安装都比较简单点,搭建环境也容易点,适合初学者,linux上安装软件需要编译,如果以前没接触过的话可以阅读软件包中的README或者INSTALL文件,当然英文阅读能力要有,里面会帮助你完成编译和安装。
