Ruby中实现网页抓取，一般用的是mechanize，使用非常简单。 安装
sudo gem install mechanize
抓取网页
require 'rubygems'
require 'mechanize'
agent = Mechanize.new
page = agent.get('http://google.com/')
模拟点击事件
page = agent.page.link_with(:text =>'News').click
模拟表单提交
google_form = page.form('f')
google_form["q"] = 'ruby mechanize'
page = agent.submit(google_form, google_form.buttons.first)
pp page
分析页面，mechanize用的是nokogiri解析网页的，所以可以参照nokogiri的文档
table = page.search('a')
text = table.inner_text
puts text
有几点注意的地方： 如果需要先登录的网页，那么可以在网站先登录，登录后记录JSESSIONID，然后赋值给agent
cookie = Mechanize::Cookie.new("JSESSIONID", "BA58528B76124698AD033EE6DF12B986:-1")
cookie.domain = "datamirror.csdb.cn"
cookie.path = "/"
agent.cookie_jar.add!(cookie)
如果需要保存网页，使用.save_as，(或许save也可以，我没试过)例如
agent.get("google.com").save_as
学python不一定要学爬虫。python的应用范围很广泛，如软件开发、科学计算、自动化运维、云计算、web开发、网络爬虫、人工智能等。爬虫不仅仅可以用python写，很多语言都可以实现爬虫。例C，C++、C#、Perl、 Python、Java、 Ruby都可以写爬虫，原理其实相差不大，只不过是平台问题。网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件；爬虫主要的工作就是根据一定的规则去抓取网络上我们想要的数据的程序，这里大家要注意的是爬虫不一定非要使用Python才可以实现的，使用JavaScript、Java等语言都是可以实现的。千锋教育拥有多年Python培训服务经验，采用全程面授高品质、高体验培养模式，拥有国内一体化教学管理及学员服务，助力更多学员实现高薪梦想。
爬虫一般是指网络资源的抓取，因为python的脚本特性，python易于配置，对字符的处理也非常灵活，加上python有丰富的网络抓取模块，所以两者经常联系在一起。 简单的用python自己的urllib库也可以用python写一个搜索引擎，而搜索引擎就是一个复杂的爬虫。从这里你就了解了什么是Python爬虫，是基于Python编程而创造出来的一种网络资源的抓取方式，Python并不是爬虫。Python为什么适合些爬虫?
1)抓取网页本身的接口
相比与其他静态编程语言，如java，c#，C++，python抓取网页文档的接口更简洁相比其他动态脚本语言，如perl，shell，python的urllib2包提供了较为完整的访问网页文档的API。(当然ruby也是很好的选择)
此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。这是我们需要模拟user agent的行为构造合适的请求，譬如模拟用户登陆、模拟session/cookie的存储和设置。在python里都有非常优秀的第三方包帮你搞定，如Requests，mechanize
2)网页抓取后的处理
抓取的网页通常需要处理，比如过滤html标签，提取文本等。python的beautifulsoap提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。
其实以上功能很多语言和工具都能做，但是用python能够干得最快，最干净。Life is short， u need python.
