怎么用python爬虫写一个抢课软件

Python011

怎么用python爬虫写一个抢课软件,第1张

说一下技术上的几个问题吧

1.模拟登陆requests.Session能够跨请求地保持某些参数,比如cookies,即在同一个Session实例发出的所有请求都保持同一个cookies,而requests模块每次会自动处理cookies,这样就很方便地处理登录时的cookies问题。你需要找到教务网登录按钮提交的地址,把你的学号和密码弄到一个字典里发出去,然后就登录成功了。

2.找到选课页面,分析选课页面可以发现,选课页面的url一般是一个前缀加课程序号加乱七八糟的东西,所以你需要手动输入课程序号等等然后拼接url,再访问。

3.访问成功了以后同理,再寻找选课按钮提交的地址,再把需要POST的数据全部放在一个字典里,发出去,检查页面状态,没有成功继续循环。

如果你有一定的计算机编程知识基础,那么很容易学;再如果你对编程十分感兴趣,那么很容易学的。

1,找到合适的入门书籍,大致读一次,循环啊判断啊,常用类啊,搞懂(太难的跳过)

2,做些简单习题,字符串比较,读取日期之类 Python Cookbook不错(太难太无趣的,再次跳过,保持兴趣是最重要的,不会的以后可以再学)

3,加入Python讨论群,态度友好笑眯眯(很重要,这样高手才会耐心纠正你错误常识)。很多小问题,纠结许久,对方一句话点播思路,真的节约你很多时间。耐心指教我的好人,超级超级多谢。

4,解决自己电脑问题。比如下载美剧,零散下载了2,4,5,8集,而美剧共12集,怎样找出漏下的那几集?然后问题分解,1读取全部下载文件名,2提取集的数字,3数字排序和(1--12)对比,找出漏下的。

5,时刻记住目的,不是为了当程序员,是为了解决问题。比如,想偷懒抓网页内容,用urllib不行,用request也不行,才发现抓取内容涉及那么多方面(cookie,header,SSL,url,javascript等等),当然可以听人家劝,回去好好读书,从头读。 或者,不求效率,只求解决,用ie打开网页再另存为行不行?ie已经渲染过全部结果了。 问题变成:1--打开指定的10个网页(一行代码就行)。更复杂的想保存呢?利用已经存在的包,比如PAM30(我的是Python3),直接打开ie,用函数outHTML另存为文本,再用搜索函数(str搜索也行,re正则也行)找到数据。简单吧?而且代码超级短。

6,保持兴趣,用最简单的方式解决问题,什么底层驱动,各种交换,留给大牛去写吧。我们利用已经有的包完成。

7,耐心读文档,并且练习快速读文档。拿到新包,找到自己所需要的函数,是需要快速读一次的。这个不难,读函数名,大概能猜到是干嘛的,然后看看返回值,能判断是不是自己需要的。

8,写帮助文件和学习笔记,并发布共享。教别人的时候,其实你已经自己再次思考一次了。 我觉得学程序就像学英文,把高频率的词(循环,判断,常用包,常用函数)搞懂,就能拼装成自己想要的软件。 一定要保持兴趣,太复杂的跳过,就像小学数学,小学英语,都是由简入深。 网络很平面,无数国际大牛著作好书,关于Python,算法,电脑,网络,或者程序员思路,或者商业思维(浪潮之巅是本好书)等等,还有国际名校的网络公开课(中英文字幕翻译完毕,观看不是难事),讲计算机,网络,安全,或者安卓系统,什么都有,只要能持续保持兴趣,一点点学习下去,不是难事。 所有天才程序员,都曾是儿童,回到儿童思维来理解和学习。觉得什么有趣,先学,不懂的,先放着,遇到问题再来学,效果更好。 唯一建议是,不要太贪心,耐心学好一门优雅的语言,再学其它。虽然Javascript做特效很炫,或提某问题时,有大牛建议,用Ruby来写更好之类,不要改方向。就像老笑话:“要学习递归,必须首先理解递归。”然后死循环一直下去。坚持学好一门语言,再研究其他。 即使一门语言,跟网络,数据库等等相关的部分,若都能学好,再学其他语言,是很快的事情。 另外就是,用学英文的耐心来学计算机,英文遇到不懂的词,抄下,查询。 python里,看到Http,查查定义,看到outHtml,查查定义,跟初学英语时候一样,不要直接猜意思,因为精确描述性定义,跟含糊自然语有区别的。而新人瞎猜,很容易错误理解,wiki,google很有用。

对于python初学者来说,能找到一个好老师学习格外重要,这能决定你是不是可以做出好的项目,在python开发的路上越走越轻松,如果现在的你缺乏学习经验,找不到老师指导你学习,可以加企 鹅扣-Q前面112再加上中间的983以及最后四位数4903,连在一起就可以了。

如果说汇编是第一代编程语言,那么C和C++是第二代编程语言,C#和Java等等是第三代编程语言,Python和其他类似的脚本语言就是第四代编程语言(除汇编外这些语言都是C语系下的编程语言,可以进行类比),从C++开始是个分水岭,它是通过面向对象和对底层技术的封装,使编程向高级编程过度,到Python已经是很简历通俗了,至少是跟之前比,所以如果说python不易学,那其他语言怎么办呢,几乎每本python的教材都会先表明python是一门易学易用的语言,这也是这个语言被创造出来的宗旨之一,另外Google的程序猿很喜欢用Python编写各类工具,因为它的语言简历,编码效率高,让用惯了其他语言的人,乐意去用这门新的语言,也说明它的易学性。

另外从广义讲,Python不仅是一门编程语言,还是一个编程的平台,在这个平台下,有着安装各种扩展、框架的工具pip,有着打包工具setuptools等等等等,这些工具已经很成熟,而且易于上手,另外Python有很多很好的编程工具(集成开发环境)可以用,如PyCharm等,这也使的新人很容易上手,不像其他不成熟的编程语言工具贫乏,编写和运行程序如连电路板一般。

我刚学python3个月不到,分享一下我的学习经验。 .

半年前从某同学那里听说了python很不错,一直想学习,不过自己很懒,就没动手。

今年寒假的时候,我和几个同学开始筹划着搞一个网站,讨论用什么写的时候,我想到了python。(最终我们就是用了python,然后使用了web.py的框架)。  

寒假里面我看的第一本书是《python基础教程》,也是那个我的Python师傅教我的,这本书从python的基础讲起,省略了一些太细节的或者说太神奇的python特性,关注python的应用。那上面最后有几章python的开发案例,很有借鉴意义。

我用python写的第一个程序是金山快盘的签到程序,参考了部分别人的代码,当时对很多python库都一无所知,从那时才开始用起来的。 (在这一段时间的学习的过程中跟我的师傅不断的进行沟通交流讯问这块的内容,得到了很多的经验)

然后开学了,趁着手熟,正好要选课,我用python完成了自动抢课的一个小程序,默默开了两周,真抢到课了但是我又不想上了就退了=。=

然后有公司来大校招暑期实习,当时一热血,我报了python的岗,考了笔试。这次笔试成为了我一个巨大的转折点,我发现我什么都不会(真心很捉急啊,其实才学了1个月,自以为很牛真去考了)。列表推导式,lambda表达式,装饰器...等等无数我基本处于空白阶段,我感觉我写python跟写C一样,无比丑陋,一点pythonic的样子都没有。

然后我就不开心了,又是快一个月,我一有空就去github或者python社区看别人写的代码,思考别人的经验,这一段时间整理了好几篇博客,都是有关python的。有人说,学习多少编程语言不重要,如果一门新的编程语言改变了你的思考方式,那才是真正学到了。我第一次开始有追求漂亮的很酷的代码的欲望,所以我学着研究python里面不同于C的特性,向函数式编程什么的,然后去使用它。比如现在时不时我会把一段代码用map/reduce实现,时不时我会使用python的迭代器,生成器。总之这一段时间,我的学习是通过首先观察别人简洁的代码和风格,然后自己去研究python的特性,然后动手去实现去应用。

这一段时间我抽空也会翻一翻python的《cookbook》,上面有很多小问题的solution,很有借鉴意义。 我自己感觉现在我用python作为平时的工具已经熟练了,下面的阶段我是想多研究一下面向对象这一块的东西。其实像python我觉得入门了,就不需要别的书了,直接去看document会更好,上面都是很全面很标准的一些东西。之后多写多练,搞一些小程序,学习一些常见的库,用好python基本就没问题了。多练很重要,除了小程序,python有不少做网站的开源框架,学习一个做一个网站也不错。

python是一个快速发展的语言,还在不断变化,如果热爱python可以多去各种社区看看最新的消息。如果只是作为一个工具的话,用好了也是很happy的,库很多很方便,基本上可以完成任何你能想到的工作,特别是很多的工作拿C实现很麻烦的,python就很方便。我最近在搞一个学校里面的邮件处理的项目,统一一个邮箱,老师们有通知就发到那个邮箱,python可以自动把邮件取出来读进数据库然后放到网站上,这些python都可以做到。 要是深入下去的话,可以研究一下python的源码,或者python一些库的源码,都是C实现的。

从广义讲,Python不仅是一门编程语言,还是一个编程的平台,在这个平台下,有着安装各种扩展、框架的工具pip,有着打包工具setuptools等等等等,这些工具已经很成熟,而且易于上手,另外Python有很多很好的编程工具(集成开发环境)可以用,如PyCharm等,这也使的新人很容易上手,不像其他不成熟的编程语言工具贫乏,编写和运行程序如连电路板一般。

对于python初学者来说,能找到一个好老师学习格外重要,这能决定你是不是可以做出好的项目,在python开发的路上越走越轻松,如果现在的你缺乏学习经验,找不到老师指导学习的话,你可以加我企 鹅扣-Q前面112再加上中间的983以及最后四位数4903,连在一起,我可以推荐我的老师给你哦,跟着老师学习只有一个要求就是真的很想成为一名优秀的Python开发工程师,而我也在不断跟着老师学习交流不断成长,希望能跟你邂逅,一起学习

学习方法:百度 谷歌等各大搜索引擎,问答平台 下载官方文档教程 一边学习一遍实践,学习阶段完成,试着开发小型程序,检测自己学到的知识。 4 学习一遍,并且实践一遍。你会发现你已经熟悉了基本的python 然后开发一些项目吧 检测自己 写一个记账软件 写一个简单的计算器总结:用Python编写代码一点都不难,事实上它一直被赞誉为最容易学的编程语言。如果你准备学习web开发, Python是一个不错的开始,甚至想做游戏的话,用Python来开发游戏的资源也有很多。这是快速学习这门语言的途径之一。