跳至内容
深圳市捷比信实业有限公司 · 产品选型与采购咨询联系业务人员
抗浪涌电阻捷比信 · 专业器件主题站

具有许多数据源的搜寻器工具箱已在GitHub-InfoSpider上开源

一位国内开发人员在GitHub上开源了一个爬虫工具箱InfoSpider,该工具箱集成了许多数据源,如果他不注意,它将变得很流行! ! !有多热?几天之内,Open Source在GitHub每周列表中排名第四,获得1.3K的星级评分,共有172个分支机构(GitHub地址:https://github.com/kangvcar/InfoSpider)。在这样一个信息爆炸的时代,每个人都有很多账户。当帐户很多时,就会出现这种情况:个人数据分散在各个公司之间,并且将形成数据岛。将对个人数据进行分析,以便您可以更直观,更深入地了解自己的信息。 InfoSpider是一个爬网程序工具箱,它集成了许多数据源。它旨在帮助用户安全,快速地取回其数据。工具代码是开源的,过程是透明的。它还提供数据分析功能,并根据用户数据生成图表文件,从而使用户对自己的信息更加直观和深入地了解。当前支持的数据源包括GitHub,QQ邮箱,网易邮箱,阿里邮箱,新浪邮箱,Hotmail邮箱,Outlook邮箱,京东,淘宝,支付宝,中国移动,中国联通,中国电信,智虎,比利比利,网易云音乐,QQ好友,QQ群,生成朋友圈相册,浏览器浏览历史记录,12306,博客园,CSDN博客,开源中文博客,短书。根据创建者的说法,InfoSpider具有以下特征:安全可靠:该项目是一个开源项目,代码简洁明了,所有源代码都是可见的,可以在本地运行,并且安全可靠。易于使用:提供一个GUI界面,只需单击您需要获取的数据源并按照提示进行操作即可。结构清晰:此项目的所有数据源彼此独立,具有高度可移植性,所有搜寻器脚本都位于项目的Spiders文件中。丰富的数据源:该项目目前支持多达24个以上的数据源,并且这些数据源会不断更新。统一的数据格式:所有抓取的数据都将以json格式存储,方便以后进行数据分析。丰富的个人数据:该项目将为您尽可能多地抓取个人数据,以后可以根据需要删除数据处理。数据分析:该项目提供了对个人数据的可视化分析,目前仅部分支持。 InfoSpider也非常易于使用。您只需要安装python3和Chrome浏览器,运行python3main.py,在打开的窗口中单击数据源按钮,根据提示选择数据保存路径,然后输入帐户密码,数据将自动被爬网。您可以根据下载的目录查看已爬网的数据。很简单吗?如果您也对InfoSpider感兴趣,请尝试一下。