前言
2022年6月3日端午节安康。
今天主要分享如何利用爬虫爬取区块链浏览器上的交易列表数据。
原因
dune上没有bsc链上的转账明细数据表。FootprintAnalytics上现有的bsc_transactions表transfer_type粒度不够。
环境
python3.7
数据存储：mysql5.7
缓存：redis6.2.6
开发工具：pycharm
思路
所有协议、合约、swap地址转账信息全爬不太实际，对存储要求比较高。所以针对需要分析的协议，专门去爬取对应智能合约转账是个不错的选择。
区块链浏览器肯定是有反爬机制的。所以在代理选择上，要选择国外的代理。国内的代理都访问不到，具体原因你懂的。本文中不涉及代理部分，因为国外的代理厂家之前没有了解过。不过即使是上代理，对代码层面改动也比较小
采用了urllib同步请求+范围内随机时长程序休眠。减少了被风控的概率。但是也降低了爬虫的效率。
后面再研究用scrapy或异步请求
同步：请求发送后，需要接受到返回的消息后，才进行下一次发送。异步：不需要等接收到返回的消息。
实现
找到需要爬取合约的具体地址：
PeckShield征求建议以确定如何发出黑客攻击警报，大多数用户支持其标记受影响的协议和交易:8月10日消息，PeckShield称其检测到黑客攻击时发布警报可能会引起人们对黑客的关注并暴露受影响的协议，因此可能会引起争议，发布投票向社区征求建议，以确定检测到黑客攻击时应如何发出警报。当前投票已结束，66.8%的用户选择“标记受影响的协议+tx”、18.4%的用户选择“Alert TG seal 911 bot”、9.9%的用户选择“公开黑客+tx”、4.9%的用户选择“仅Xeet匿名黑客”。[2023/8/10 16:18:10]
第一页
http://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8
第二页
https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&p=2
第三页
https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&p=3
....
可以知道p=？就代表页数。
然后F12点击“网络”，刷新界面，查看网络请求信息。
主要查看，网页上显示的数据，是哪个文件响应的。以什么方式响应的，请求方法是什么
Radix Trading为CFTC对币安诉讼中提到的三家量化公司之一:金色财经报道，总部位于芝加哥的交易公司Radix Trading表示，它就是美国商品期货交易委员会（CFTC）周一对币安诉讼中提到的身份不明的“交易公司A”。在诉讼中，CFTC提到了至少三家总部位于美国的量化交易公司。尽管美国客户本应被禁止在币安交易，但这三家交易所仍然活跃于币安。Radix联合创始人Benjamin Blander表示，Radix通过离岸子公司和一家主要经纪商在币安交易了几年，该公司在加密连接方面的所有事情都经过了法律审查。Blander还表示，Radix在起诉前正与CFTC合作，他不认为Radix是任何调查的目标。[2023/3/29 13:32:08]
如何验证呢，就是找一个txn_hash在响应的数据里面按ctrl+f去搜索，搜索到了说明肯定是这个文件返回的。
Gearbox Protocol 已启动 GEAR/ETH 曲线拍卖计划:金色财经报道，DeFi 可组合型杠杆协议 Gearbox Protocol 已启动 GEAR/ETH 曲线拍卖计划 Cider'ed Liquidity，GEAR 持有者和 ETH 持有者都可以分别参与本次拍卖活动。具体而言，12 月 13 日至 14 日 GEAR 持有者可以向 Cider 合约存入 GEAR，12 月 15 日- 16 日任何人都可以向 Cider 合约提供 ETH。12 月 16 日?Cider?将引导所收到的 GEAR 和 ETH 配对，但前提是合约中的 GEAR 和 ETH 满足最低要求，然后智能合约会创建一个 Curve V2 流动性池，并且用户将被“计算”成比例的 LP 代币。[2022/12/13 21:42:12]
查看响应的数据，是html的格式。在python里面，处理html数据，个人常用的是xpath
在python里面安装相关的依赖
pip?install?lxml?‐i?https://pypi.douban.com/simple
同时在浏览器上安装xpath插件，它能更好的帮助我们获到网页中元素的位置
XPathHelper-Chrome网上应用店(google.com)
然后就可以通过插件去定位了，返回的结果是list
**注：**浏览器看到的网页都是浏览器帮我们渲染好的。存在在浏览器中能定位到数据，但是代码中取不到值的情况，这时候可以通过鼠标右键-查看网页源码，然后搜索实现
派盾：Celsius前CEO地址再将约1万枚CEL兑换为USDC，并转出约2.8万枚USDC:10月11日消息，据派盾监测，标记为加密借贷平台Celsius Network前首席执行官Alex Mashinsky的0x23ce开头地址再将约1万枚CEL兑换为USDC，并转出约2.8万枚USDC。[2022/10/11 10:31:15]
#?请求和xpath定位具体实现代码：
def?start_spider(page_number):
????url_base?=?'http://bscscan.com
/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&'
????#?请求头
????headers?=?{
????????'User-Agent':?'Mozilla/5.0?(Windows?NT?10.0;?Win64;?x64)?AppleWebKit/537.36?(KHTML,?like?Gecko)?Chrome/92.0.4515.159?Safari/537.36',
美国流行女歌手Christina Aguilera申请NFT和元宇宙商标:金色财经报道，美国著名流行歌手克里斯蒂娜·阿奎莱拉（Christina Aguilera）已向美国专利商标局提交了与MFT和元宇宙相关的商标。 这位流行天后计划提供一系列元宇宙商品，例如艺术品、服装、头饰、鞋类、眼镜、美容产品和其他NFT商品。 Aguilera还希望提供娱乐服务，例如音乐表演和元宇宙演出。（U.Today）[2022/9/22 7:12:10]
????????'referer':?'https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8'
????}
????#?需要传入的参数
????data?=?{
????????'p':?page_number
????}
????#?将参数转为Unicode编码格式
????unicode_data?=?urllib.parse.urlencode(data)
????#?拼接网址
????#?http://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8
????url?=?url_base?+?unicode_data
????#?自定义request对象
????request?=?urllib.request.Request(url=url,?headers=headers)
????#?模拟浏览器发送请求
????response?=?urllib.request.urlopen(request)
????#?将返回的数据利用lxml转为
????tree?=?etree.HTML(response.read().decode('utf‐8'))
????#?//div//tbody//td//span/a/text()
????txn_hash_list?=?tree.xpath("//div//tbody//td//span/a/text()")
????#?//div//tbody//td//span/text()
????method_list?=?tree.xpath(
????????"//div//tbody//td//span/text()")
????#?//div//tbody//td//text()
????block_list?=?tree.xpath("//div//tbody//td//text()")
????#?//div//tbody//td/span/@title
????age_list?=?tree.xpath("//div//tbody//td/span/@title")
????#?//div//tbody//td/span/@title
????from_list?=?tree.xpath(
????????"//div//tbody//td/span/@title")
????#?//div//tbody//td/span/text()
????transfer_type_list?=?tree.xpath("//div//tbody//td/span/text()")
????#?//div//tbody//td/span/span//text()
????to_list?=?tree.xpath("//div//tbody//td/span/span//text()")
????#?//div//tbody//td/span/text()
????transfer_free_list?=?tree.xpath(
????????"//div//tbody//td/span/text()")
然后就是利用redis，对txn_hash去重，去重的原因是防止一条数据被爬到了多次
def?add_txn_hash_to_redis(txn_hash):
????red?=?redis.Redis(host='根据你自己的配置',?port=6379,?db=0)
????res?=?red.sadd('txn_hash:txn_set',?get_md5(txn_hash))
????#?如果返回0，这说明插入不成功，表示有重复
????if?res?==?0:
????????return?False
????else:
????????return?True
#?将mmsi进行哈希，用哈希去重更快
def?get_md5(txn_hash):
????md5?=?hashlib.md5()
????md5.update(txn_hash.encode('utf-8'))
????return?md5.hexdigest()
最后一个需要考虑的问题：交易是在增量了，也就是说，当前第二页的数据，很可能过会就到第三页去了。对此我的策略是不管页数的变动。一直往下爬。全量爬完了，再从第一页爬新增加的交易。直到遇到第一次全量爬取的txn_hash
最后就是存入到数据库了。这个没啥好说的。
以上就可以拿到转账列表中的txn_hash，后面还要写一个爬虫深入列表里面，通过txn_hash去爬取详情页面的信息。这个就下个文章再说，代码还没写完。
今天就写到这里。拜拜ヾ(?ω?`)o
来源：Bress
作者：撒酒狂歌
来源：金色财经
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。