使用 Pandas 分析亿行数据

声明,本文译自 pandas with hundreds of millions of rows。 如果您的英语水平较好,可以阅读原文。为了译文更加流畅,译者补充了部分内容。 问题 我们希望获得国内航班平均延误最长的 5 个美国机场。 ...

March 1, 2023 · 9 min · 4353 words · WongSSH

图数据分析:使用 cozodb 分析以太坊交易数据

概述 在之前的两篇文章中,我们讨论了对以太坊常规数据的导入和分析。文章链接如下: Clickhouse 以太坊分析:基础交易数据清洗 Clickhouse 以太坊分析:交易日志分析 如果您未阅读过以上文章并不影响您继续阅读本篇文章,本文内所有数据集均提供下载链接。 ...

February 22, 2023 · 16 min · 7919 words · WongSSH

Clickhouse 以太坊分析:交易日志分析

概述 在上一篇中,我们介绍了如何使用 Clickhouse 进行基础的信息提取,这些信息往往依赖于以太坊底层机制,我们只能获得如 ETH 转账、 gas 等信息,这些信息并没有涵盖以太坊中最重要的智能合约的相关数据。这使我们无法获得 ERC-20 代币转账或 NFT 转移等数据。 ...

February 8, 2023 · 9 min · 4023 words · WongSSH

Clickhouse 以太坊分析:基础交易数据清洗

概述 笔者最近遇到了许多关于数据分析的文章,大部分都使用了 Dune 等 SaaS 工具,这些工具往往提供了清洗后的区块链数据和数据库分析工具。对于大部分数据分析师而言,这些工具可以应对一系列复杂的数据分析问题,而且免去了搭建数据处理平台的苦恼。 ...

January 21, 2023 · 11 min · 5136 words · WongSSH

基于Python与GraphQL的链上数据分析实战

概述 本文主要介绍如何通过免费且高效的的基于GraphQL的basement进行部分链上数据分析实战。本文不要求读者具有GraphQL相关经验,但要求读者会使用Python中的Pandas库,这是本文主要使用的数据分析工具。换言之,本文适用于了解数据分析而不了解链上数据获取的读者。本文会涵盖以下内容: GraphQL检索数据基础入门 Basement的基础API实战 在阅读本文前,读者最好安装一个支持GraphQL请求方法的API调试工具,在此处,我个人使用的是Postman软件,但读者选择其他软件亦可。本文使用了新兴 Web3 链上数据API提供商basement,此处我们使用的是免费版,无需 API Key 等配置,具体限制参考下图: ...

December 6, 2022 · 9 min · 4332 words · WongSSH