作者|ByLucianoStrika来源|CDA数据分析研究院5ProbabilityDistributionsEveryDataScientistShouldKnow
概率分布就像3D眼镜。它们允许熟练的数据科学家识别其他完全随机变量的模式。在某种程度上，大多数其他数据科学或机器学习技能都基于对数据概率分布的某些假设。这使得概率知识成为统计学家构建工具箱的基础。如果您正在寻找如何成为数据科学家的第一步。不用多说，让我们切入正题。
什么是概率分布？
在概率论和统计学中，随机变量是一个随机值的东西，比如“我看到的下一个人的身高”。给定一个随机变量X，我们想要一种描述它的值的方法。更重要的是，我们想要描述该变量获取特定值x的可能性。
例如，如果X是“我的女朋友有多少只猫”，那么这个数字可能是1的非零概率。有人可能会认为这个值甚至可能是5或10的非零概率。然而，没有办法一个人会有负数的猫。因此，我们想要一种明确的数学方法来表达变量X可以采用的每个可能值x，以及事件的可能性。
数据：持有超过0.01枚ETH的地址创历史新高:金色财经报道，Glassnode数据显示，持有超过0.01枚ETH的地址为23,516,993个，创历史新高。[2023/4/2 13:40:08]
为了做到这一点，我们定义函数P，使得P是变量X具有值x的概率。对于间隔而不是离散值，我们也可以要求P或P。这将很快变得更加重要。P是变量的密度函数，它表征变量的分布。
随着时间的推移，科学家们开始意识到自然界中的许多事物，现实生活往往表现相似，变量共享一个分布，或具有相同的密度函数。
有趣的是，对于P是一个实际的密度函数，有些事情必须适用。
对于任何值x,P<=1。是再确定不过的事情了。
对于任何值x，P>=0。也没有什么疑义。
和最后一个：所述之和的P的所有可能的值X为1。
最后一个意味着“X在宇宙中取任何价值的概率,必须加起来为1。Billions项目组离散与连续随机变量分布最后，随机变量可以被认为属于两组：离散和连续随机变量。
离散随机变量
离散变量具有一组离散的可能值，每个值都具有非零概率。例如，如果我们说，当翻转硬币时X=“1表示花色，0表示数字”然后P=P=0.5。但是请注意，离散集合不必是有限的。被用于建模的一些事件的概率的几率p之后发生k的概率。它具有以下密度公式。P(X=k)=p(1-p)^k0<=p<=1其中k可以采用具有正概率的任何非负值。注意所有可能值的概率之和如何仍然加起来为1。
8月17日公链数据一览:据Kingdata数据，Heco链上当前每日Gas消耗量为1806.07亿Wei、每日新增地址数1.78万个、每日交易次数为83.8万笔、累计总交易次数为4.49亿笔、独立地址总数为1813.4万个；
ETH链上当前每日Gas消耗量为1004.46亿Wei、每日新增地址数3.45万个、每日交易次数为125.4万笔、累计总交易次数为12.48亿笔、独立地址总数为1.66亿个；
BSC链上当前每日Gas消耗量为12052.93亿Wei、每日新增地址数12.79万个、每日交易次数为714.45万笔、累计总交易次数为10.31亿笔、独立地址总数为8952.48万个；
polygon链上当前每日新增地址数61.55万个、每日交易次数为489.67万次、累计总交易次数为6.3亿笔、独立地址总数为4607.57万个。[2021/8/17 22:18:52]
连续随机变量
如果你说X=“从我头上随机拔毛的长度”X可以采用哪些可能的值？我们可能都认为负值在这里没有任何意义。但是，如果你说它只是1毫米，而不是1.1853759......或类似的东西，我会怀疑你的测量技巧，或你的测量错误报告。连续随机变量可以在给定间隔中取任何值。因此，如果我们为其所有可能值分配了非零概率，则它们的总和不会加起来为1。
数据：巨鲸和散户投资者正在囤积LEND、REN和KNC:前加密货币基金经理、福布斯30?Under?30入选者Demelza Hays称，DeFi代币Aave（LEND）、Ren（REN）和Kyber Network（KNC）在过去几个月取得显著收益后，加密巨鲸继续表现浓厚兴趣。“在过去30天里，排名前100位的KNC巨鲸余额总共增加3060万KNC（约4810万美元）。在同一时间段内，排名前100位的LEND巨鲸新累积3960万LEND（约1010万美元），而排名前100的REN巨鲸则增加530万REN（约85万美元）。”Hays称，排名前100位的LEND、REN和KNC巨鲸的余额增加，表明投资者高度乐观。
推动三种DeFi资产价值的不仅是巨鲸。LEND、REN和KNC也引起散户投资者的注意。本月初以来，持有超过1000个REN（约150美元）的地址增加550个，持有超过1000个LEND（约250美元）的地址增加817个，而持有超过100 KNC（约157美元）的地址增加150个。
Hays称，巨鲸和散户交易者可能会通过持有资产来缓解抛售压力，表明LEND、REN和KNC的上升趋势仍在继续。（The Daily Hodl）[2020/7/22]
为了解决这个问题，如果X是连续的，我们为所有k设置P=0，而是为X赋予一个非零的机会获取某个间隔的值。为了表示在值a和b之间放置X的概率，我们说P。而不是仅仅在一个密度函数替换值，得到P为X连续变量，你会集成X的密度函数a到b。
数据：随着BTC和ETH价格飙升，其相关性创下历史新高:4月23日，随着市场对BTC飙升的价格津津乐道，山寨币也出现了类似的趋势。ETH一直与BTC有很强的相关性，根据CoinMetrics提供的数据，BTC-ETH的相关性创下历史新高。
随着BTC在3月份下跌，这种相关性出现大幅飙升，此后一直徘徊在0.92左右。比特币价格在4月23日飙升，ETH也上涨7.80%。在价格飙升期间，ETH价格曾一度达到194.86美元的峰值，但后来又回落至190美元下方。在已实现相关性方面，ETH-BTC的1个月相关性有所下降，这可能是由于4月23日两者价格突然上涨。然而，3个月相关性、6个月相关性和1年相关性似乎在横向移动，表明波动性较低。（AMBCrypto）[2020/4/25]
哇，你已经完成了整个理论部分！现在您已经知道了概率分布是什么，让我们了解一些最常见的分布！
伯努利概率分布
具有伯努利分布的随机变量是最简单的。它代表一个二进制事件：“这件事发生”VS“这种情况没有发生”，并采取了值p作为其唯一的参数，它代表的概率是会发生的事件。具有参数p的伯努利分布的随机变量B将具有以下密度函数：
P=p，P=
这里B=1表示事件发生，B=0表示事件没发生。注意两个概率如何加起来为1，因此B的不可能会是其他值。
动态 | 数据表明：非洲对比特币的兴趣与日俱增:币安研究所在推特指出，经过统计从2011年1月至今“比特币”一词在每个国家/地区Google搜索情况。币安研究所发现，“比特币”的相对搜索趋势已经从西方转移到了东方，最近又转移到了非洲。[2019/9/27]
统一概率分布
有两种均匀随机变量：离散变量和连续变量。
离散均匀分布将采取(有限的)值的集合s，为每个值分配1/n的概率，其中n是S中元素的数量。这样，如果我的变量Y在{1,2,3}中是均匀的，则每个值出现的概率为33％。
在骰子中可以找到离散均匀随机变量的典型情况，其中典型的骰子具有一组值{1,2,3,4,5,6}。连续均匀分布，只取两个值a和b作为参数，并为它们之间的间隔中的每个值分配相同的密度。这意味着Y在一个区间(从c到d)取值的概率与相对于整个区间的大小成比例。因此，如果Y在a和b之间均匀分布，那么这样，如果Y是1和2之间的均匀随机变量，P=1且P=0.5
Python的random包的random方法在0和1之间采样均匀分布的连续变量。有趣的是，可以证明，在给定均匀随机值生成器和一些微积分的情况下，可以对任何其他分布进行采样。
正态概率分布
通常分布的变量在自然界中很常见，它们实际上是标注规格。这实际上就是这个名字的来源。如果你把所有的同事都围起来并测量他们的身高，或者对测量体重并用结果绘制直方图，则可能会接近正态分布。当我向您展示探索性数据分析示例时，我实际上看到了这种效果。
还可以证明，如果您采用任意随机变量的样本并对这些度量进行平均，并多次重复该过程，则该平均值也将具有正态分布。这个事实非常重要，它被称为统计学的基本定理。通常分布的变量：
是对称的，以均值为中心。
可以在真实空间中获取所有值，但仅在5％的时间内偏离规范的两个sigmas。
几乎无处不在。
大多数情况下，如果你测量任何经验数据并且它是对称的，假设它是正常的将有点工作。
例如，滚动K骰子并将结果相加将分配非常正常。
对数正态概率分布
对数正态概率分布是正常概率分布的不常见的姐妹。如果变量Y=log遵循正态分布，则称变量X是对数正态分布的。当在直方图中绘制时，对数正态概率分布是不对称的，并且如果它们的标准偏差更大则变得更加如此。我认为对数正态分布值得一提，因为大多数基于货币的变量都是这样的。
如果你看一下与钱有关的任何变量的概率分布，比如
在某个银行的最新转账上发送的金额。
华尔街最新交易量。
一组公司在特定季度的季度收益。
它们通常没有正态的概率分布，但会更接近对数正态随机变量。
指数概率分布
指数概率分布也随处可见。它们与称为泊松过程的概率概念密切相关。直接从维基百科窃取，泊松过程是“事件以恒定的平均速率连续且独立地发生的过程”。所有这些意味着，如果：
你有很多活动。
它们以一定的速率发生。
仅仅因为一个发生了另一个发生的机会不改变。
然后你有一个泊松过程。
一些例子可能是来到服务器的请求，在超市中发生的交易，或在某个湖中捕鱼的鸟类。想象一下频率为λ的泊松过程。指数随机变量模拟事件发生后下一个事件发生所需的时间。有趣的是，在泊松过程中，事件可以在任何时间间隔内发生在0到无穷大之间的任何地方。
这意味着无论您等待多久，事件都不会发生非零事件。这也意味着它可能在很短的时间内发生很多次。在课堂上，我们常常开玩笑的是巴士到达泊松过程。我认为将WhatsApp消息发送给某些人时的响应时间也符合标准。但是，λ参数调节事件的频率。它将使事件实际发生的预期时间以某个值为中心。这意味着如果我们知道出租车每隔15分钟通过我们的街区，即使理论上我们可以永远等待它，我们也很可能不会等待30分钟。
数据科学中的指数概率分布
这是指数分布随机变量的密度函数：
假设您有一个来自变量的样本，并希望查看它是否可以使用指数分布变量建模。最佳λ参数可以很容易地估计为采样值平均值的倒数。指数变量非常适合用非常罕见但巨大的异常值对任何概率分布进行建模。这是因为它们可以取任何非负值但以较小值为中心，随着值的增加频率降低。在特别是异常繁重的样本中，您可能希望将λ估计为中位数而不是平均值，因为中位数对异常值更为稳健。
结论
总而言之，作为数据科学家，我认为学习基础知识对我们很重要。概率和统计可能不像深度学习或无监督机器学习那样华丽，但它们是数据科学的基石。特别是机器学习。根据我的经验，提供具有功能的机器学习模型，而不知道他们遵循哪种分布，这是一个糟糕的选择。记住无处不在的指数和正态概率分布以及它们较小的对应物，对数正态分布也是很好的。在训练机器学习模型时，了解它们的属性，用途和外观会改变游戏规则。在进行任何类型的数据分析时，记住它们通常也很好。
进入···解锁更多精彩内容和专业资讯！
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。