这个模块是对ip的一个验证，随机生成header头。
ip_to_mysql.py
本文是对ip进行存储，和提取ip，删除ip的操作。
这个是对日志的一个封装，这样用起来方便些。
总结，目前整体程序可优化的空间很大，这算是1.0版本
1. 检查cookies当出现无法保持登陆状态或者直接无法登陆站点的情况时，可以先去对cookies进行检查，这种情况有可能是cookies出现问题所导致的。
2. 检查JavaScript
当站点页面缺少信息或出现空白时，可以去检查网站创建页面的JavaScript。
3. 更换IP地址
如果出现403forbidden或者页面无法打开的问题，那么就很有可能是IP已经被站点服务器所封禁，遇到这种情况就需要更换自己的IP地址，目前来说最为方便的就是使用代理IP，例如IPIDEA，可以随时更换新的IP地址来确保爬虫的工作效率。
网络数据量越来越大，从网页中获取信息变得越来越困难，如何有效地抓取并利用信息，已成为网络爬虫一个巨大的挑战。下面IPIDEA为大家讲明爬虫代理IP的使用方法。
1. 利用爬虫脚本每天定时爬取代理网站上的ip，写入MongoDB或者其他的数据库中，这张表作为原始表。
2. 使用之前需要做一步测试，就是测试这个ip是否有效，方法就是利用curl访问一个网站查看返回值，需要创建一张新表，循环读取原始表有效则插入，验证之后将其从原始表中删除，验证的同时能够利用响应时间来计算这个ip的质量，和最大使用次数，有一个算法能够参考一种基于连接代理优化管理的多线程网络爬虫处理方法。
3. 把有效的ip写入ip代理池的配置文件，重新加载配置文件。
4.让爬虫程序去指定的dailiy的服务ip和端口，进行爬取。
