PhantomCrawler基于Python、requests和BeautifulSoup实现其功能,并供应了一种大略且高效的方法来测试不同代理配置下的网站安全行为。
功能先容1、支持利用指定文件中的代理IP地址列表;
2、同时支持HTTP和HTTPS代理;

3、许可用户输入目标网站URL、代理文件路径和静态端口;
4、支持利用每个代理向指定的网站发出HTTP要求;
5、支持剖析HTML内容以提取和访问网页上的链接;
工具利用场景1、PoC测试;
2、Web流量提升;
3、代理翻转测试;
4、Web爬取测试;
5、DDoS识别;
把稳事变如需添加新的代理,可以按照下列地址格式(IP地址+端口)将新的代理地址添加到proxies.txt文件中:
50.168.163.176:80
除此之外,我们还可以点击https://free-proxy-list.net/获取新的免费代理,不过这些免费代理不足稳定,可能有些无法正常事情,因此在添加前请确保代理地址可利用。
工具下载由于该工具基于Python 3开拓,因此我们首先须要在本地设备上安装并配置好最新版本的Python 3环境。
接下来,广大研究职员可以直策应用下列命令将该项目源码克隆至本地:
git clone https://github.com/spyboy-productions/PhantomCrawler.git
然后切换到项目目录中,利用pip3工具和项目供应的requirements.txt文件安装该工具所需的其他依赖组件:
cd PhantomCrawlerpip3 install -r requirements.txt
工具利用
下列命令即可直接实行工具脚本:
python3 PhantomCrawler.py
工具运行截图
本项目的开拓与发布遵照AGPL-3.0开源容许证协议。
项目地址PhantomCrawler:https://github.com/spyboy-productions/PhantomCrawler
参考资料https://free-proxy-list.net/