SpiderFoot是一个Python编写的免费开源的网站信息收集类工具，并且支持跨平台运行，适用于Linux、*BSD和Windows系统。此外，它还为用户提供了一个易于使用的GUI界面。在功能方面SpiderFoot也为我们考虑的非常周全，通过SpiderFoot我们可以获取相关目标的各种信息，例如网站子域、电子邮件地址、web服务器版本等等。SpiderFoot简单的基于Web的界面，使你能够在安装后立即启动扫描 – 只需简单的设置扫描目标域名，并启用相应的扫描模块即可。
设计易于使用，快速且可扩展
SpiderFoot的设计初衷是最大限度的将信息收集过程自动化，从而使渗透测试人员能够将更多的时间集中于安全测试本身上。当前最新的版本为SpiderFoot 2.9.0，SpiderFoot的开发者也为此做了大量的更新优化。
扫描目标不仅限于使用域名，还支持主机名，IP，Netblocks等
清理后端数据模型更加灵活
同时扫描
更多线程，提供更高的性能
搜索/过滤
修复之前出现的各种bug
目的
SpiderFoot的用途，主要体现在以下三个方面：
如果你是一名渗透测试者，SpiderFoot将为你自动执行测试的侦察阶段，并为你提供丰富的数据信息，让你将更多的时间集中于渗透测试本身。
可用于了解自身网络/组织有哪些敏感信息泄露，并及时删除更改。
SpiderFoot还可用于收集，日志中或通过威胁情报数据源获取的可疑恶意IP的威胁情报。
特点
- 到目前为止，SpiderFoot采用了超过50个的数据源，其中包括SHODAN，RIPE，Whois，PasteBin，Google，SANS等数据源。
- 专为大数据的提取而设计；每个数据都传递给相应的模块，以提取有价值的信息。
- 支持跨平台，且完全开放源代码。因此，你可以把它搬到GitHub上，自己来开发和增加各类功能模块。
- 可视化。 内置的基于JavaScript的可视化或导出为GEXF/CSV格式，以用于其他工具，例如Gephi。
- 基于Web的UI界面，更易于使用。
- 高可配置性。几乎每个模块都是可配置的，因此你可以自定义入侵和功能的级别。
- 模块化。每个主要的功能，都是一个用Python编写的模块。因此用户可以随意添加，和编写自己的模块。
- SQLite后端。所有的扫描结果都将存储在本地的SQLite数据库中，可用于后续的分析使用。
- 同时扫描。每个SpiderFoot扫描都以自己的线程运行，因此你可以同时执行多个不同目标的扫描。
- 更多信息请查看文档。
数据源
以下是SpiderFoot所使用的相关数据源列表，目前仍在不断增加。一些数据源可能需要API密钥，但它们都是免费的。
| 源 | 网址 | 注释 |
|---|---|---|
| abuse.ch | http://www.abuse.ch | 各种恶意软件跟踪器。 |
| AdBlock | https://easylist-downloads.adblockplus.org/easylist.txt | AdBlock模式匹配 |
| AlienVault | https://reputation.alienvault.com | AlienVault的IP信誉数据库。 |
| Autoshun.org | http://www.autoshun.org | 黑名单列表。 |
| AVG Site Safety Report | http://www.avgthreatlabas.com | 站点安全检查 |
| Bing | http://www.bing.com | 爬网，需要提供API密钥。 |
| Blocklist.de | http://lists.blocklist.de | 黑名单列表。 |
| Checkusernames.com | http://www.checkusernames.com | 在热门网站上查找用户名可用性。 |
| DNS | Your configured DNS server. | 默认为你本地的DNS，你也可以配置为你提供给SpiderFoot的任何IP地址。 |
| DomainTools | http://www.domaintools.com | |
| DroneBL | http://www.dronebl.org | |
| http://www.facebook.com | 爬网，需要提供API密钥。 | |
| FreeGeoIP | http://freegeoip.net | |
| http://www.google.com | 爬网，需要提供API密钥。 | |
| Google+ | http://plus.google.com | 爬网，需要提供API密钥。 |
| Google Safe Browsing | http://www.google.com/safebrowsing | 站点安全检查。 |
| http://www.linkedin.com | 爬网，需要提供API密钥。 | |
| malc0de.com | http://malc0de.com | 黑名单列表。 |
| malwaredomainlist.com | http://www.malwaredomainlist.com | 黑名单列表。 |
| malwaredomains.com | http://www.malwaredomains.com | 黑名单列表。 |
| McAfee SiteAdvisor | http://www.siteadvisor.com | 站点安全检查。 |
| NameDroppers | http://www.namedroppers.org | |
| Nothink.org | http://www.nothink.org | 黑名单列表。 |
| OpenBL | http://www.openbl.org | 黑名单列表。 |
| PasteBin | http://www.pastebin.com | 通过Google检索。 |
| PGP Servers | http://pgp.mit.edu/pks/ | PGP公钥。 |
| PhishTank | http://www.phishtank.org | 识别钓鱼网站。 |
| Project Honeypot | http://www.projecthoneypot.org | 黑名单列表。需要API密钥 |
| RIPE/ARIN | http://stat.ripe.net/ | |
| Robtex | http://www.robtex.com | |
| SANS ISC | http://isc.sans.edu | 互联网风暴中心IP信誉数据库。 |
| SHODAN | http://www.shodanhq.com | 需要API密钥 |
| SORBS | http://www.sorbs.net | 黑名单列表。 |
| SpamHaus | http://www.spamhaus.org | 黑名单列表。 |
| ThreatExpert | http://www.threatexpert.com | 黑名单列表。 |
| TOR Node List | http://torstatus.blutmagie.de | |
| TotalHash.com | http://www.totalhash.com | 恶意软件使用的域/IP。 |
| UCEPROTECT | http://www.uceprotect.net | 黑名单列表。 |
| VirusTotal | http://www.virustotal.com | 恶意软件使用的域/IP。需要API密钥 |
| Whois | Various | 针对不同TLD的Whois服务器。 |
| Yahoo | http://www.yahoo.com | 爬网，需要提供API密钥。 |
| Zone-H | http://www.zone-h.org | 黑名单列表。首先从你扫描的IP登录到浏览器中的网站，然后进入人机验证，那么应该是正常的。 |
SpiderFoot遵从模块化的设计，意味着我们任何人都可以通过编写和添加自己的功能模块，来完成我们的工作。例如你可以创建一个，用于自动填充用户名和密码的暴力破解模块。
安装环境
SpiderFoot是基于Python（2.7）编写的，因此在Linux/Solaris/FreeBSD等系统上都能运行。除此安装Python 2.7以外，还需要安装lxml，netaddr，M2Crypto，CherryPy，bs4，requests和Mako模块。
使用PIP安装依赖关系，请运行以下命令：
~$ pip install lxml netaddr M2Crypto cherrypy mako requests bs4在某些发行版中，你可能需要使用APT来安装M2Crypto：
~$ apt-get install python-m2crypto其他模块如PyPDF2，SOCKS等都已经包含在SpiderFoot包中，因此你无需再单独安装它们。
SpiderFoot下载：http://www.spiderfoot.net/download/
*参考来源 ：n0where，FB小编 secist 编译，转载请注明来自FreeBuf（FreeBuf.COM）
转载请注明：即刻安全 » 开源自动化信息收集工具SpiderFoot
