IPFS技术系列 | 揭秘IPFS数据交换模块Bitswap_BLO:LOC

导?读

本文为IPFS系列文第4篇,详解IPFS的核心模块——Bitswap。

星际文件系统是一个旨在创建持久且分布式存储和共享文件的网络传输协议。

与传统的文件系统不同,它是一种基于内容寻址的点对点超媒体分发协议。

IPFS网络中的节点构成一个分布式文件系统网络,其中Bitswap是IPFS的核心模块,负责与网络中其他节点之间请求和发送数据块。

图1

IPFS将文件分解为称为block的数据块,这些块由内容标识符标识。?

IPFS文件内容存储在不同的节点上,每个节点存储rootblock,少量节点存储完整文件数据,大部分节点存储部分文件block。因为block分散存储在不同节点,Bitswap协议解决了从多个节点高效获取全部数据块的问题。

Uniswap最新提交代码显示:用户可以通过星际文件系统IPFS的网关访问Uniswap网站:金色财经报道,Uniswap最新提交代码显示,用户可以通过星际文件系统IPFS的网关访问Uniswap网站。代码提交者表示可以通过使用子域IPFS网关或使用别名访问Uniswap最新版本这两种方式来避免通过同一IPFS网关访问的其他站点在未经许可的情况下读取和修改Uniswap接口设置的问题。[2020/9/25]

图2?多节点文件存储示意图

总体架构

本文基于Bitswapv0.3.3版本进行分析。

IPFS向Bitswap获取block,Bitswap是IPFSexchange接口的具体实现,负责完成IPFS网络数据交换功能。

图3?Bitswap组件架构图

Bitswap协议内容比较繁琐,为了降低实现复杂度协议划分为block请求模块、block发送模块、会话管理模块、block提供者发现模块、网络模块等。

Bitswap模块负责接收新的消息并且提供对外数据交换接口。

IPFSNEXUS 发言人:长远来讲疫情对区块链技术有着推动作用:据IPFS100.com报道,价值互联 链接世界区块链技术论坛会暨IPFSNEXUS交易系统2.0版上线发布会于9月17日在北京圆满落幕。在学术论坛会议上IPFSNEXUS交易系统2.0版本公测版正式上线。

会议上发言人表示,从技术层面,区块链受到政府部门、金融机构、科技公司、公益慈善机构等各方的重视,给区块链、人工智能、大数据、5G等技术带来了新的发展机遇。?从通证层面,以BTC为主的虚拟货币在短期内并没有大幅上涨动力支持,缺乏可持续进场资金的支撑。

总之,疫情对整个区块链行业的直接影响是负面的、短期的,但是从长远来讲对区块链技术的研发和应用的落地、行业的洗牌都有着积极的推动作用。我们看到,区块链技术在疫情这一特殊阶段能够发挥出的特殊作用,同时也能看到其在更长远的未来能够产生的潜在价值。[2020/9/21]

session管理模块用来管理多个session,每个session管理一组文件的下载,来提高下载效率。

block发送模块负责管理向其它节点发送数据块。block请求模块负责管理数据块的请求。block提供者发现模块负责通过DHT网络发现网络中的数据块,通常session找不到已拥有所需block的节点时会调用此模块进行数据块发现。

协议概述

为了完成节点间block交换,Bitswap定义了通信消息及通信协议。

张晓东:京东云无线宝将成为IPFS、区块链和数字化资产管理基础设施:7月4日,由POW POWER、星际视界主办,嘉楠区块链、点存科技联合主办的“IPFS生态与分布式存储产业峰会”在杭州举办。京东智联云事业部无线宝业务经理张晓东做了主题为《基于京东云无线宝智能终端及其价值共享理念构建IPFS基础设施》的演讲。张晓东表示,在5G新时代下京东智联云面临着众多挑战,包括增强型移动带宽,超可靠低时延通信,海量大规模连接物联网,以及海量的数据存储需求和高额的带宽成本。京东云无线宝未来将成为家庭场景中的IPFS、区块链和数字化资产管理基础设施。无线宝内置闲置存储资源,存储空间稳定;多节点服务,速度远超中心服务器速度;碎片化传输,支持低带宽运行。[2020/7/4]

图4

Bitswap消息处理流程:

1、IPFS请求文件区块,Bitswap发送want-have消息携带CID1信息到连接的所有节点。节点根据自己是否有CID1文件块返回have或dont-have消息。

2、client向拥有CID1的节点发送want-block消息,节点返回相应的block消息。

BKEX Global即将开启云虎IPFS超级算力第二期认购:据官方消息,云虎IPFS超级算力第一期认购上线5分钟即售罄,BKEX将于2020年6月16日20:00(UTC+8)开启云虎IPFS超级算力第二期认购。

IPFS星际文件系统(InterPlanetary File System)是个旨在创建持久且分布式存储和共享文件的络传输协议。它是一种内容可寻址的对等超媒体分发协议。Filecoin是在IPFS其上的激励层,通过Token激励模式在IPFS上构建了一个去中心化存储市场。据公开的路线图显示,Filecoin主网有望在7月20日至8月20日启动窗口。[2020/6/15]

3、当没有节点有请求的block,Bitswap广播want-have到所有的连接节点,或者通过DHT查找拥有文件区块的节点。

模块详解

▲?Bitswap模块

Bitswap模块负责接收新消息并且实现对外的数据交换接口。

当接收到新消息后,Bitswap处理流程:

1、记录有关消息的一些统计信息

2、通知发送模块wants消息,这样数据发送模块可以根据实际情况向需求节点发送响应消息。

3、通知发送模块任何收到的blocks,发送模块根据节点的需求列表可以将接收到的块发送给任何需要它们的节点

4、向SessionManager通知接收到的blocks,HAVEs和DONT_HAVEs消息,这样SessionManager可以通知消息相关的session。

观点:IPFS在安全性、传输速度、信息永久存储等方面相对于HTTP有更大优势:据官方消息,以“Web3.0新基建-挖矿热潮下的IPFS与Filecoin”为主题的大型线上论坛已于14:00开启!

在关于Filecoin创富机遇的话题讨论中,链世纪财经CEO Christina表示大家对Filecoin很有信心的原因有三,关注度足够高、FIL流通数量前期稀缺和IPFS受到世界各大公链和传统机构青睐;星际联盟董事长房俊表Filecoin挖矿和比特币挖矿区别很大,Filecoin的算力取决于存储里的有效数据;开源存储创始人 Andy认为长期来看,Filecoin检索市场的繁荣,有希望让ipfs实现替代http的伟大愿景;瑶池区块链CBO七爷表示目前市场上出现很多filecoin衍生处的仿盘类和算力币类的项目印证了Filecoin所走的大方向是必然趋势。[2020/5/22]

Bitswap通过FacadePattern提高了模块使用的便利性,使得Bitswap子系统的用法变得简单,避免了IPFS和Bitswap的高度耦合。

▲?Session管理模块

session管理模块用来管理多个数据块下载session,每个session管理一组文件的下载。

当SessionManager收到新消息时,它将

1、通知BlockPresenceManager组件跟踪每个block。

2、通知对接收到的block感兴趣并想要的Sessions。

3、通知PeerManager组件收到的block,PeerManager检查是否有任何wants被发送到节点以接收已经收到的块。?如果是这样,它将向那些节点发送“CANCEL”消息,防止其它节点重复发送消息。

Session管理模块通过协调多个session的数据需求来提高数据交互的效率,避免数据块的重复请求、发送。

▲?Session模块

Session管理一组文件的下载,用来提高一组文件块,比如单个文件下载效率。当IPFS调用Bitswap时,Bitswap会创建一个新的Session并调用Session的相应方法,比如GetBlocks()获取blocks。Session会管理一个节点列表,数据获取过程只会向session中的节点获取数据,而不是所有的连接节点。当Session中的节点都没有某个block时,Bitswap才会通过DHT获取具有block的节点并加入session。

由于session刚开始没有任何节点,处于“discovery”模式。当IPFS最初从session请求block时,该session处理流程如下:

1、通知SessionInterestManager组件它感兴趣的block。

2、通知sessionWantManager组件需要的block。

3、通知PeerManager组件向连接节点发送“want-have”消息,以发现哪些节点有需要的block。

4、查询ProviderQueryManager组件以发现哪些节点具有该block。

当session收到带有“HAVE”或“block”的消息时,它将通知SessionPeerManager组件。

当session收到带有“block”的消息时,它将通知SessionInterestManager组件。

一旦session具有节点,就不再处于“discovery”模式。当IPFS请求后续block时,session将通知sessionWantSender组件。sessionWantSender组件通知PeerManager组件向会话中的节点发送“want-have”和“want-block”消息。

对于session所需的每个block,sessionWantSender组件通过与BlockPresenceManager组件核对哪些节点已为该block发送了“HAVE”,来确定哪个节点最有可能拥有该block。如果多个节点发送过“HAVE”,则会根据先前请求回复速度来选择节点。

由于DHT内容发现速度慢并且网络带宽消耗大,session通过向一组含有目标数据块可能性大的节点获取数据,从而大大提高了数据块获取的效率。

▲?Block发送模块

block发送模块负责管理向其它节点发送数据块,包含节点需求管理组件和消息发送任务队列。

Engine是block发送模块的处理类,当Engine被告知有新的wants时

1、将want添加到Ledger,Ledger会存储每个节点的需求列表。

2、检查blockstore中的相应block,并将任务添加到PeerTaskQueue组件。如果block库没有想要的block,则添加“DONT_HAVE”任务;如果blockstore有block,对于“want-have”添加了“HAVE”任务,对于“want-block”添加了“block”任务。

3、当Engine收到新block的消息时,它会检查Ledger以查看是否有节点需要此block。对于发送“want-have”的每个节点向PeerTaskQueue组件添加一个?“HAVE”任务,对于为发送了“want-block”的每个节点,向PeerTaskQueue组件添加一个“block”任务。

4、Engine会定期从PeerTaskQueue组件中取出任务,并创建带有“blocks”,“HAVEs”和“DONT_HAVEs”的消息。

PeerTaskQueue组件通过对任务进行优先级排序,发送队列中数据量最少的节点方具有最高优先级,通过这种流控措施,提高数据块发送处理效率。

▲?数据块请求模块

Block请求模块负责管理数据块的请求。PeerManager组件为连接到Bitswap的每个节点创建一个MessageQueue组件,记录了“want-have”?、“want-block”已发送到哪个节点,并将任何新的wants定向到正确的节点。并且MessageQueue组件通过合并多个want为一条消息,然后将该消息发送给节点,从而提高了消息发送效率。

▲?内容发现模块

当Bitswap找不到已拥有所需block的节点时,它会使用DHT进行内容发现。Bitswap通过ProviderQueryManager组件管理这些请求,ProviderQueryManager组件对请求进行速率限制,并对进行中的请求进行重复删除处理。

总结

Bitswap作为IPFS网络数据交换接口的具体实现,设计并实现了一套高效的节点间交换数据的协议。

协议主要关注点是如何快速、高效获取需要的block,其中包括节点选择策略,如何最大化利用每个节点的能力。

Bitswap通过FacadePattern提高了模块使用的便利性,在具体实现上解耦复杂依赖到各功能模块,从而降低系统实现的复杂度。

作者简介

马耀耀来自数据网格实验室BitXMesh团队研究方向:P2P网络、数据安全传输

参考资料

https://github.com/ipfs/go-bitswap/blob/master/docs/how-bitswap-works.md

https://github.com/ipfs/specs/blob/master/BITSWAP.md

郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。

水星链

[0:15ms0-1:73ms