Skip to content

Data-Export支持将链上数据导出到MySQL、ES等便于进行大数据处理的存储介质中,解决区块链数据复杂查询、分析、可视化和处理的问题。

License

Notifications You must be signed in to change notification settings

WeBankBlockchain/Data-Export

Folders and files

NameName
Last commit message
Last commit date

Latest commit

wangyue168git王越 wangyue@wangyuedeMac-mini.local
and
王越 wangyue@wangyuedeMac-mini.local
Feb 21, 2023
16101f2 · Feb 21, 2023

History

46 Commits
Feb 21, 2023
Aug 1, 2022
Apr 21, 2021
Jul 8, 2021
Apr 21, 2021
Jul 8, 2021
Oct 21, 2020
Apr 21, 2021
Feb 21, 2023
Oct 28, 2020
Apr 21, 2021
Apr 21, 2021

Repository files navigation

WeBankBlockchain-Data-Export

License

穿花度柳飞如箭, 粘絮寻香似落星。 小小微躯能负重, 器器薄翅会乘风。 -- 吴承恩

WeBankBlockchain-Data-Export 是一个基于FISCO-BCOS平台的数据导出工具。

数据导出组件WeBankBlockchain-Data-Export的目的在于降低获取区块链数据的开发门槛,提升研发效率。研发人员几乎不需要编写任何代码,只需要进行简单配置,就可以把数据导出到Mysql数据库。

WeBankBlockchain-Data-Export可以导出区块链上的基础数据,如当前块高、交易总量等。如果配置了FISCO-BCOS上运行合约的相关信息,还可导出链上合约的业务数据,包括event、构造函数、合约地址、执行函数的信息等。

此版本只支持FISCO BCOS 2.0及以上版本。

关键特性

  • 支持JSON-RPC、Channel通道、数据仓库源等方式导出数据

  • 支持服务和docker方式部署

  • 支持多数据源,支持分库分表

  • 支持ES存储

  • 支持多活部署,多节点自动导出

  • 支持自定义导出数据内容

  • 提供SDK的集成方式

  • 支持可视化的监控页面

环境要求

在使用本组件前,请确认系统环境已安装相关依赖软件,清单如下:

依赖软件 说明 备注
FISCO-BCOS >= 2.0, 1.x版本请参考V0.5版本 dev分支
Bash 需支持Bash(理论上来说支持所有ksh、zsh等其他unix shell,但未测试)
Java JDK[1.8]
Git 下载的安装包使用Git
MySQL >= mysql-community-server[5.7] 理论上来说支持主流数据库,但未测试
zookeeper >= zookeeper[3.4] 只有在进行集群部署的时候需要安装
docker >= docker[18.0.0] 只有需要可视化监控页面的时候才需要安装
ElasticSearch >= elasticsearch [7.0] 只有在需要ES存储时安装

文档

贡献代码

欢迎参与本项目的社区建设:

  • 如项目对您有帮助,欢迎点亮我们的小星星(点击项目右上方Star按钮)。
  • 欢迎提交代码(Pull requests)。
  • 提问和提交BUG
  • 如果发现代码存在安全漏洞,请在这里上报。

License

license

开源协议为Apache License 2.0. 详情参考LICENSE