2011-03-25 17:04
这两天对比了下各种web crawlers,写了些心得。
websites ripping 也叫 websites mirroring,或者叫websites crawling或websites spidering,对应的工具当然也叫 web crawlers, ants, automatic indexers, bots, web spiders, web robots, 或者web rippers。不花钱可以直接免费使用或试用的软件有以下一些:
scrapbook(浏览器插件)
总体来说,这个已经很不错了,比较全面,健壮。它目前有这么两个缺点:1.对于flash里面的菜单,不能下载,例如flash里面有个链接,点进去之后跳转到的那个页面不能下载;2.不能更新已下载页面,也不能续载。另外还有一个不是缺点的缺点:已下载的网站不能像工程一样去管理,但这样也有这样的好处:方便scrapbook开发人员,也方便一般用户,所有直接生成到一个目录里,想移走时直接把文件夹移走即可。
WebSaver网博士(客户端):
简直就是个玩具!它把网页保存成自己定义的wsb格式文件,看不到flash部分,而且只能保存单个页面,在win7 64中想导出来还死掉。直接关掉程序,删之。
现在发现居然在IE右键里还有,重启浏览器还在!幸好没加到firefox里,这个土软件。
saveasplus(浏览器插件)
也只能保存单个页面,而且有flash的地方有问题。保存完后,提示网文快捕CyberArticle功能更多,可惜这个是收费软件,不理它
downthemall(浏览器插件)
可以选择下载这个页面以及里面链接的东西,可以多线程下载。它是为方便下载而设计,而不是为下载网页或网站而设计。
SurfOffline(Offline browser)
可以下载整个网站(试用),并导出(付费后才能使用),但我拔网线后没看出如何离线浏览,更别说用需要收费的导出功能了。放弃之。
wget
用wget -r -p -k -np http://***/下载下来上10个文件,flash没有。不给力。
用wget -m http://***/居然还是那样。不给力。
Backstreet Browser(Offline browser)
下载普通网站,例如www.google.com,没问题。复杂一点的,例如含有flash的还是有问题。而且下载的时候明明指定了往里3层,但下载下来的只有一个网页,而且网页里面缺flash以及其它一些东西。不知道是网站屏蔽了这种软件还是这个软件自身就没这个能力。总之用起来不及scrapbook。
PageNest(Offline browser)
也是个offline browser,也是flash有问题。而下载整个站时,在win7 64系统和XP下都极容易假死,多等会儿就会下完。软件不健壮,而且专业版的要收费。放弃之。
Xaldon WebSpider 2(客户端)
德国的东西,德文看不懂,居然都不英化。客户端软件,不知道咋用
spiderzilla(firefox插件)
firefox的一个扩展,内核是HTTrack
WinHTTrack和 and WebHTrack(客户端)
是HTTrack的GUI版本
HTTrack
HTTrack自己声称为一个offline browser,但wikipedia把它定义为一个web crawler,也叫offline browser,或者website mirroring software
不用spiderzilla这种包装过的HTTrack之类的了,直接到HTTrack官网下载了一个64位客户端版本,即WinHTTrack。用起来感觉这个软件比较健壮,等下完网站再说吧。居然也有下载进度条,而且是每个文件都有自己的进度条,很人性化,可以看出这个软件比较成熟
不错不错。能把所有页面全下载下来,flash以及里面的链接也没问题,而且可以手动更新和下载之前没下完的文件。另外,它支持所有平台。而且下载下来的网站可以像管理一个工程一样去管理。很好很强大。
最后,自己排下名:
1. HTTrack(包括其GUI版本的WinHTTrack和WebHTrack,以及firefox插件spiderzilla)
2. scrapbook
3. 其余的全部当玩具吧
后记:
发现HTTrack有个不好的地方,就是每个网页源文件中都加入了HTTrack的下载说明,虽然只有一行。
Labels: Coding, Linux, Operation and Maintenance, Windows