Ⅰ 有哪些好用的爬虫软件
推荐如下：
1、神箭手云爬虫。
神箭手云是一个大数据应用开发平台，为开发者提供成套的数据采集、数据分析和机器学习开发工具，为企业提供专业化的数据抓取、数据实时监控和数据分析服务。功能强大，涉及云爬虫、API、机器学习、数据清洗、数据出售、数据订制和私有化部署等。
简介：
网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
Ⅱ 抓包工具都有哪些
抓包工具有：fiddler抓包工具、Charles抓包工具、Firebug抓包工具、httpwatch抓包工具、Wireshark抓包工具、SmartSniff 抓包工具。
1、fiddler抓包工具，是客户端和服务端的http代理，客户端所有的请求都要先经过fiddler，到响应的服务端，然后端返回的所有数据也都要经过fiddler，fiddler也是最常用的抓包工具之一。
2、Charles抓包工具也是比较常用的，和fiddler差不多，请求接口和返回数据的显示方式不一样，Charles是树状结构比较清晰，fiddler是按照时间倒叙排的。
3、Firebug抓包工具是浏览器firefox浏览器自带插件，支持很多种浏览器，直接按f12,就可以打开，用起来比较方便。
4、httpwatch抓包工具是强大的网页数据分析工具，安装简单，不需要设置代理和证书，但只能看不能修改，，集成在Internet Explorer工具栏。
5、Wireshark抓包工具很强大，可以捕捉网络中的数据，并为用户提供关于网络和上层协议的各种信息。但是如果只是抓取http和https的话，还是用fiddler和Charles比较简洁一点。
6、SmartSniff抓包工具是一款方便小巧的 TCP/IP 数据包捕获软件，网络监视实用程序。
(2)什么软件可以抓取网页扩展阅读：
抓包工具在我们工作中主要用在：
A：抓取发送给服务器的请求，观察下它的请求时间还有发送内容等等；
B：去观察某个页面下载组件消耗时间太长，找出原因，要开发做性能调优；
C：或者我们去做断点或者是调试代码等等。
抓包工具所具备的几个功能：
1）它提供类似Sniffer的包分析功能，可以帮助我们详细拆分IP结构内容，带我们深入的了解TCP/IP协议；
2）它可以用来分析软件占用端口及通讯情况比重的工具；
3）它可以让我们从海量IP数据包中，找出我们需要的IP数据包，还能通过用户端的情况，帮助我们能截获各类敏感数据包。
Ⅲ 抓包工具有哪些
抓包工具有哪些？
1.
Wireshark抓包工具 Wireshark(前称Ethereal)是一个网络封包分析软件...
2.
MiniSinffer MiniSniffer(网络嗅探器)一个小巧的网络抓包工具(嗅探器)...
3.
WSExplorer WSExplorer 是个简单实用的网络抓包工具,相比上个版本更人性化了,新版上在界面上进行了优化和添加了过滤功能。
4.
iptool iptool网路抓包工具是一款好用的网络抓包工具,使用方法很简单,...
了解过网络安全技术的人都知道一个名词“抓包”。那对于局外人，一定会问什么是抓包？考虑到，大家的技术水平不一，我尽可能用非专业的口吻简单的说一下。
抓包就是将网络传输发送与接收的数据包进行截获、重发、编辑、转存等操作，也用来检查网络安全。抓包也经常被用来进行数据截取等。黑客常常会用抓包软件获取你非加密的上网数据，然后通过分析，结合社会工程学进行攻击。所以，学会抓包，对于学好网络安全技术十分重要。
在我们做接口测试的时候，经常需要验证发送的消息是否正确，或者在出现问题的时候，查看手机客户端发送给server端的包内容是否正确，就需要用到抓包工具。而工程师和程序常用的抓包工具有哪些呢？今天我们就来简单聊一聊最常用的2种。
Fiddler是在windows上运行的程序，专门用来捕获HTTP，HTTPS的。
wireshark能获取HTTP，也能获取HTTPS，但是不能解密HTTPS，所以wireshark看不懂HTTPS中的内容。
总结，如果是处理HTTP,HTTPS 还是用Fiddler, 其他协议比如TCP,UDP 就用wireshark。
一、Fiddler
当启动fiddler，程序将会把自己作为一个代理，所以的http请求在达到目标服务器之前都会经过fiddler，同样的，所有的http响应都会在返回客户端之前流经fiddler。
Fiddler可以抓取支持http代理的任意程序的数据包，如果要抓取https会话，要先安装证书。
Fiddler的工作原理
Fiddler 是以代理web服务器的形式工作的,它使用代理地址:127.0.0.1, 端口:8888. 当Fiddler会自动设置代理， 退出的时候它会自动注销代理，这样就不会影响别的程序。不过如果Fiddler非正常退出，这时候因为Fiddler没有自动注销，会造成网页无法访问。解决的办法是重新启动下Fiddler.
Fiddler 如何捕获Firefox的会话
能支持HTTP代理的任意程序的数据包都能被Fiddler嗅探到，Fiddler的运行机制其实就是本机上监听8888端口的HTTP代理。Fiddler2启动的时候默认IE的代理设为了127.0.0.1:8888，而其他浏览器是需要手动设置的，所以将Firefox的代理改为127.0.0.1:8888就可以监听数据了。
Firefox 上通过如下步骤设置代理
点击: Tools -> Options, 在Options 对话框上点击Advanced tab - > network tab -> setting.
Firefox 中安装Fiddler插件
修改Firefox 中的代理比较麻烦， 不用fiddler的时候还要去掉代理。推荐你在firefox中使用fiddler hook 插件, 这样你非常方便的使用Fiddler获取firefox中的request 和response，当你安装fiddler后，就已经装好了Fiddler hook插件，你需要到firefox中去启用这个插件打开firefox tools->Add ons -> Extensions 启动 FiddlerHook
F