技术入门 | 剖析Libra的Network组件_LIBRA:LIBRAF

2019年6月18日,Facebook发布了Libra白皮书及源码,引起了业界的广泛关注与讨论。

这里我们通过分析Libra的源码,探索Libra的各个组件,来了解一下Libra的整体设计与实现。

Libra核心组件

在进入主题之前,我们先对Libra有一个整体的认识:

看过Libra技术白皮书的朋友,应该都记得这张图,下面简单介绍一下这些核心的组件:

?a.AdmissionControl服务:简称AC,翻译过来叫准入控制,可以理解为Libra的网关,将跟用户打交道的接口暴露给用户,例如提交Transaction、获取用户状态等等

?b.Mempool服务:存储未上链交易

?c.Consensus组件:LibraBFT共识组件

?d.VirtualMachine组件:简称VM,运行Move合约的虚拟机

?e.Execution组件:VM的入口,已换成Executor组件

?f.Storage服务:存储所有链上数据

?g.Network组件:上图中隐含了一个Network组件,不论是Node启动还是跟其他节点通信,都需要Network组件。在第一条主线中,我们重点介绍Network组件。

美国众议院农业委员会通过《21世纪金融创新和技术法案》:金色财经报道,在美国众议院金融服务委员会通过《21世纪金融创新和技术法案》(Financial Innovation and Technology for the 21st Century Act)的第二天,众议院农业委员会也通过了该法案,该法案(简称为Fit21)成为国会迄今为止推进的最重要的数字资产立法,由农业和金融服务委员会的共和党成员共同起草,旨在为数字资产创建一个全面的监管框架,法案赋予商品期货交易委员会(CFTC)对数字商品的管辖权,明确了美国证券交易委员会(SEC)的管辖权,并为原本被视为证券的数字资产作为商品出售建立了流程。

据悉,该立法将在不久的将来移交至众议院进行全体投票。不过,参议院仍存在不确定性,SEC似乎也对这一法案持保留态度。

加密货币社区公开支持该法案。加密创新委员会首席执行官Sheila Warren在一份声明中表示:“这是一个重要的标志,表明维持现状不是一个选择。消费者、美国竞争力和国家安全面临太多风险,不能退居二线。”[2023/7/28 16:03:32]

注意,上面介绍各个核心组件的时候,我们区分了组件和服务,两者的区别是:组件没有额外监听端口,与node共用同一个端口,而服务会单独监听一个端口,通常是GRPC服务。

Libra设计与实现

Libra涉及的东西比较多,我们从三条线介绍Libra的设计与实现:

通过分析Node启动并加入到Libra网络的过程,介绍Network组件的设计与实现;

万维网发明者:正开发去中心化数据存储系统 Solid,希望未来与元宇宙技术互动:5月12日消息,万维网发明者 Berners-Lee 在接受采访时表示,相信元宇宙会成为未来的一部分,Web3和NFT等流行语对于重组互联网最重要的功能民主的未来至关重要。

去年,Berners-Lee 的网络原始源代码以540万美元的价格在苏富比以 NFT 的形式售出。此外,他还是Inrupt的联合创始人兼首席技术官,该公司开发了一个名为 Solid 的去中心化数据存储系统。Berners-Lee称该产品为“Web 2.0 的继任者”,并希望将来与VR、元宇宙技术互动。据介绍,Solid 就像“ 云上USB 驱动器”,但与云计算平台的区别在于,它提供了一个个人拥有的数据存储“舱”,并可以选择授予任意用户访问权限。 (彭博社)[2022/5/12 3:10:10]

围绕Transaction的生命周期,分析其接收交易、打包区块、运行上链的过程,介绍Libra的Mempool、Executor以及Storage、VM等核心组件;

围绕LibraBFT,介绍Consensus组件以及区块达成共识的过程

如果想了解或者使用Libra,我们需要先启动一个节点,并将它加入到网络中。接下来,我们看看第一条主线,了解一下Node的启动以及Network的设计与实现。

Node启动流程

我们先看一下Node大概的启动流程,主要包含两部分:

生成configLibra的Config的模块中,能构建3种类型的配置文件,分别是validator、faucet、fullnode的配置文件。其中faucet配置是水龙头服务相关的一些配置,通常只有测试网络中第一个validator节点才需要。

QitChain将在10月12日进行全网技术更新和迭代:据官方消息,QTC自9月15号进入主网测试和第三方安全审计之后,全网算力增速加快,发现并修复了其中的一些漏洞。QitChain将在10月12日进行全网技术更新和迭代,在此之前全球存储服务商需要尽快更新至最新版本qitchain-v1.23.4;此次技术迭代的优势是:(1)优化节点数据的可用性,进一步提高节点运行的一致性和稳定性;(2)优化了QTC客户端的一些设置菜单项;(3)增强了创建交易时的严格检查机制;(4)使用优化后的算法,提高了计算效率等[2021/10/10 20:17:34]

启动node

上图中Libra-node用于启动单节点,Libra-swarm用于批量启动多节点。接下来,我们分别看一下这两步的一些实现细节,以及之前的准备工作。

动态 | 郑州市政府:6月底前运用“互联网+政务服务”和区块链技术打造“郑e登”:近日,郑州市人民政府已正式印发《郑州市不动产登记、交易和缴税“当场办、当天办”工作方案的通知》(郑政文2020号),对郑州不动产交易和登记工作提出“更高更快更强”的要求。2020年6月底前,市资源规划局负责完成“政银合作”改革有关工作,运用“互联网+政务服务”和区块链技术,打造“郑e登”,推行标准化、一体化,构建系统数据信息直连互通,金融机构信贷系统、房屋抵押合同网签备案系统与不动产登记系统互联融合,业务数据实现共享互用,抵押登记环节嵌入到客户贷款的整个环节中,群众办理贷款业务从申请贷款、抵押登记到放款,全流程无缝衔接,贷款及抵押登记实现“一件事”要求。(大河日报)[2020/2/28]

准备工作

在一切继续之前,我们先准备需要依赖的环境

?1).获取Libra代码

?gitclone?https://github.com/libra/libra.git

?2).编译和运行环境

?a.建议使用Libra自带的脚本script/dev_setup.sh安装环境依赖

?b.或者自己手动安装rust、cargo、git、pb、go、CMake等工具

?

生成config

?从前面的Node启动流程我们了解到,启动node首先需要生成配置。Libra包含的配置文件比较多,我们来整体看一下配置文件:

亚马逊与区块链技术咨询公司Luxoft Holding签约,大量区块链公司入驻亚马逊云计算服务:亚马逊近日与区块链技术咨询公司Luxoft Holding(纽交所上市公司)签约,后者将与其他5家技术咨询公司一同在亚马逊云计算服务(AWS)上部署开源的区块链项目。值得注意的是,亚马逊本身并没有投入大量资源用于区块链技术开发,而是在其官网上列出了许多其他公司的区块链产品。这表明亚马逊仅仅是托管第三方提供的区块链技术解决方案。目前,亚马逊是迄今为止最大的云计算基础设施提供商,只要其他公司可以在AWS上运行其区块链,亚马逊将坐享其他平台缴纳的存储费和计算功能使用费。[2018/3/6]

不过没有特殊需求的话,需要我们特别注意和关注的配置其实也不算多,主要有:

?a.Node的角色分为Validator和FullNode

?b.生成3个秘钥,2个ed25519算法生成,分别用于打包block签名、网络的消息签名,Libra提供了一个generate_keypair工具生成ed25519秘钥(cargorun-pgenerate_keypair–-omint.key),1个是x25519算法生成,用于标识节点身份

?c.数据存储路径,默认会生成临时路径

?d.network_peers:存放网络中Node的公钥等信息,主要包含网络消息签名的公钥和节点身份的公钥

?e.seed_peers:当前节点加入网络主动去连接的node的信息

?f.consensus_peers:所有Validator节点的信息,Libra网络是一个许可形网络

?g.各服务的端口以及其他配置,没有特殊要求的话,默认就好

启动Node

连接Libra的测试网络shscripts/cli/start_cli_testnet.sh

自建节点cargorun-plibra-node或者cargorun-plibra-swarm–-s

当前node启动起来之后,会根据seed_peers的配置,去连接相应的node节点,加入到网络中去,如果没有seed_peers则会启动一个单独的网络。接下来,我们深入了解一下Node的Network的一些设计与核心实现。

Network组件

1.Network核心模块

我们整体看一下Network包含哪些模块:

上面中,从下往上看:

?a.MemSocket实现了UNIXdomainsocket的功能,一般用于测试

?b.TcpSocket网络连接

?c.Transport可以理解为MemSocket和TcpSocket的一层抽象,封装了socket的操作

?d.Noise是一种加密协议,前面提到的用于网络消息签名的ed25519私钥,就是作用在这里

?e.Rpc是Libra自己实现的远程过程调用协议,调用方会等待被调用方返回结果

?f.DirectSend从字面理解是直接发送,调用方发送完立即返回,不等待被调用方返回结果

?g.Negotiate可以理解为对Rpc和DirectSend的抽象

?h.MultiStream用于多路复用,使用了yamux协议。通俗的理解就是在同一个Tcp连接上,从逻辑上将每种上层协议封装成一个单独SubStream,以实现多个上层协议共用一个Tcp连接的情况。这一点后面我们还会提到。

以上是Libra的Network组件的一个整体实现,接下来我们介绍一下Libra的协议。

2.Libra的主要协议

上面我们对Network组件有了一个宏观的认识,这里我们介绍一下Libra包含的协议:

上图中,从下往上看:

?a.PeerManager封装了网络连接以及多路复用的操作

?b.Identity协议:前面提到的x25519私钥,就是Identity协议用于标识当前节点的身份,协议会根据节点的Role将Validator网络与Fullnode网络进行隔离

?c.Health协议:定期随机选择一个节点发送探活消息

?d.Discovery协议:每个round从相邻的节点同步节点信息,以发现新节点,可以理解为gossip协议

?e.AdmissionControl协议:只有RPC的实现,Fullnode节点在收到用户提交的Transaction之后,通过AC协议将Transaction转发给Validator节点

?f.Mempool协议:只有DirectSend实现,用于不同的Mempool之间同步Transaction

?g.Consensus协议:包含RPC和DirectSend,用于Validator之间达成共识

?h.StateSynchronizer协议:只有DirectSend实现,不同node之间寻找Block

前面我们提到了多路复用,上面的协议都是通过MultiStream分别开了SubStream,逻辑上把消息协议区分出来。其中Identity、Health、Discovery是所有node都会包含的基本协议,而Consensus是只有Validator节点才会包含的协议。

总结

最开始我们讲了Node启动流程,讲述了config配置需要注意的地方以及node启动的方式和流程。然后我们深入到Network组件,讲了Network的组成模块以及提供的协议能力。我们以单节点为例,将整个启动以及加入网络的过程总结如下图:

其中黄色部分表示在Network的端口是开启了SubStream,添加了相应的协议和协议处理过程;绿色部分部分表示服务或者组件实例化,可以看出Storage和Executor不依赖Network;初始化Discovery协议的时候,节点会去连接seed节点,并且seed节点会验证Identity。以上是节点启动以及加入到网络的大概流程。

相关链接

https://github.com/libra/libra

https://developers.libra.org/docs/the-libra-blockchain-paper

郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。

水星链

[0:31ms0-1:25ms