开源情报数据源分析

数据情报分析

http://pandas.pydata.org //数据分析
https://github.com/r0f1/datascience //大数据分析功能库推荐
https://github.com/Xyntax/slides/ //安全数据分析/DNS恶意流量分析/威胁防御
https://github.com/mannirulz/BotDAD //PY2.使用DNS流量分析进行基于异常的僵尸网络检测的工具。数据集：data.mendeley.com/datasets/zh3wnddzxy/1 10 Days DNS Network Traffic from April-May
https://github.com/lion-gu/ioc-explorer //PY.从多数据源进行关联指标（IOC）自动探索

https://github.com/BuzzFeedNews //网络数据集集合
https://www.start.umd.edu/gtd/ //全球恐怖主义动向数据库官网
http://dingba.top/qqzk //全球智库
https://data.mendeley.com/ //门德利数据集
http://snap.stanford.edu //斯坦福公开数据集。人口/社交/等
https://www.tianyancha.com/ //中国境内公司情报。企查查
https://opencorporates.com/ //国际天眼查
http://dingba.top/ //丁爸情报分析师。文章/资源汇总
https://osintcurio.us //荷兰开源情报分析师博客
https://www.i-intelligence.eu/wp-content/uploads/2018/06/OSINT_Handbook_June-2018_Final.pdf/ //情报收集组织。开源情报资源与工具手册2018版
https://fas.org/irp/doddir/army/fmi2-22-9.pdf/ //开源情报的特征、开源情报组织、开源情报注意事项、开源情报的运作的计划和准备、开源情报类别、开源情报收集和处理等内容。
https://fas.org/irp/doddir/army/atp2-22-9.pdf/ //美国陆军开源情报2012版
https://osintframework.com/ //开源情报搜索框架超链接集合
https://docs.google.com/document/d/1BfLPJpRtyq4RFtHJoNpvWQjmGnyVkfE2HYoICKOGguA/edit#/ //Bellingcat的在线调查工具包
https://start.me/p/ZME8nR/osint //开源情报聚合

https://osint.link //Open Source Intelligence (OSINT) Tools & Resources。关键词/搜索引擎/元数据/ftp/文件/图片/视频/Iot/新闻/商业/pastebin
https://raidforums.com/Announcement-Database-Index-CLICK-ME //密码泄露，资源互换。W:cdn.databases.today;W:www.databases.today;hashes.org/leaks.php;W:weleakinfo.com;W:site3.sjk.space;
https://opendata.rapid7.com //Rapid7 OpenData。包含dns/ssl/http/udp/tcp各种数据包记录。greatjob。
http://s3.amazonaws.com/alexa-static/top-1m.csv.zip //Alexa网站流量综合排名一万
https://github.com/Te-k/harpoon //PY.基于osint的威胁情报命令行工具
https://github.com/needmorecowbell/sniff-paste //针对 Pastebin 的开源情报收集工具
https://trumail.io/ //验证对方邮箱是否为垃圾邮箱，每个月可以免费验证1000次
https://github.com/ChrisJohnRiley/Scythe //验证账号是否为常用账号
https://github.com/fireeye/GeoLogonalyzer //远程身份验证地理位置分析工具，用于区分合法登录和恶意登录。
https://mp.weixin.qq.com/s/5OFPK0g8qP05FMkXFU9TWQ //【工具】Facebook相关的一些情报分析工具
https://mp.weixin.qq.com/s/sGPE-CUdTmn-p_nafhGVfg //【工具】一些与Twitter相关的情报分析工具

https://www.fireeye.com/current-threats.html //fireeye火眼威胁情报资源
https://github.com/euphrat1ca/security_w1k1/blob/master/wiki_intelligenceThreat.md/ //公开收集威胁情报库.mywiki
https://www.threatcrowd.org/ //微步威胁情报分析平台。Web:ti.qianxin.com;Web:feed.watcherlab.com;Web:x.threatbook.cn。
https://github.com/ReAbout/datacon //DataCon-方向三-攻击源与攻击者分析-writeup
https://github.com/OpenCTI-Platform/opencti //JS.网络威胁情报平台
https://github.com/t4d/StalkPhish //PY.钓鱼网站情报多源收集，包含urlscan.io;urlquery.net;phishtank.com;openphish.com。

https://unit42.paloaltonetworks.com/ //平底锅情报IOC (Indicators of compromise)。G:pan-unit42/iocs;。
https://github.com/blackorbird/APT_REPORT //apt组织报告与公开文件
https://github.com/Yeti-791/APT-Guide //apt组织分析文档
https://github.com/kbandla/APTnotes //各种公开的文件和相关的APT笔记，还有软件样本
https://git.laucyun.com/security/APT34 //APT34/OILRIG 资源文档文件泄露
https://ht.transparencytoolkit.org //Hacking Team 400G泄露
https://pan-unit42.github.io/playbook_viewer/ //针对apt组织的威胁情报汇总
https://twthu.co/ //apt组织威胁情报站
https://github.com/CyberMonitor/APT_CyberCriminal_Campagin_Collections //2006年以来组织团队情报收集