本文介绍了几个重要的变量相关性的度量，包括皮尔逊相关系数、距离相关性和最大信息系数等，并用简单的代码和示例数据展示了这些度量的适用性对比。
从信号的角度来看，这个世界是一个嘈杂的地方。为了弄清楚所有的事情，我们必须有选择地把注意力集中到有用的信息上。
通过数百万年的自然选择过程，我们人类已经变得非常擅长过滤背景信号。我们学会将特定的信号与特定的事件联系起来。
例如，假设你正在繁忙的办公室中打乒乓球。为了回击对手的击球，你需要进行大量复杂的计算和判断，将多个相互竞争的感官信号考虑进去。为了预测球的运动，你的大脑必须重复采样球的位置并估计它未来的轨迹。更厉害的球员还会将对手击球时施加的旋转考虑进去。最后，为了击球，你需要考虑对手的位置、自己的位置、球的速度，以及你打算施加的旋转。
所有这些都涉及到了大量的潜意识微分学。一般来说，我们理所当然的认为，我们的神经系统可以自动做到这些。
同样令人印象深刻的是，人类大脑是如何区别对待它所接收到的无数竞争信号的重要性的。例如，球的位置被认为比你身后发生的对话或你面前打开的门更重要。
这听起来似乎不值得一提，但实际上这证明了可以多大程度上学习从噪声数据中做出准确预测。
当然，一个被给予连续的视听数据流的空白状态机将会面临一个困难的任务，即确定哪些信号能够最好地预测最佳行动方案。
幸运的是，有统计和计算方法可以用来识别带噪声和复杂的数据中的模式。
相关性
一般来说，当我们谈到两个变量之间的「相关性」时，在某种意义上，我们是指它们的「关系」。
相关变量是包含彼此信息的变量。两个变量的相关性越强，其中一个变量告诉我们的关于另一个变量的信息就越多。
cos()的值将根据两个箭头向量之间的角度而发生变化。
当角度为零时，cos()等于1。
ID（SPACE ID）突破0.54美元，24小时涨幅20.17%:金色财经报道，行情数据显示，去中心化身份协议SPACE ID Token ID突破0.54美元，现报价0.5412美元，24小时涨幅20.17%。行情波动较大，请做好风险控制。[2023/4/14 14:02:23]
当角度为-180°时，cos()等于-1。
当角度为90°时，cos()等于0。
这可能看起来很熟悉——一个介于+1和-1之间的衡量标准似乎描述了两个向量之间的关系？那不是Pearson’sr吗？
那么——这正是它的解释！通过将数据视为高维空间中的箭头向量，我们可以用它们之间的角度作为相似度的衡量。
无盛行风向时，小船随机漂流
如果存在盛行风向，那么小船漂流的方向将依赖于风的强度。风力越强，依赖性越显著。
有盛行风向时，小船倾向于同向漂流
与之类似，无关变量可以被看作无盛行风向时随机漂流的小船；相关变量可以被看作在盛行风向影响下漂流的小船。在这个比喻中，风的强弱就代表着两个变量之间相关性的强弱。
如果我们允许盛行风向在湖面的不同位置有所不同，那么我们就可以引入非线性的概念。距离相关性利用「小船」之间的距离推断盛行风的强度。
置信区间？
我们可以采取「重采样」方法为距离相关性估计建立置信区间。一个简单的例子是bootstrap重采样。
这是一个巧妙的统计技巧，需要我们从原始数据集中随机抽样以「重建」数据。这个过程将重复多次，每次都计算感兴趣的统计量。
a16z crypto任命Jason Rosenthal为运营合伙人:金色财经报道，风险投资公司 a16z crypto 宣布任命 Jason Rosenthal 为运营合伙人 ，Jason Rosenthal 最近负责 Google 大部分面向消费者的订阅服务，以在其产品组合中提供领导指导。
Rosenthal 与这家风险投资公司有着长期的联系，创始人本霍洛维茨曾在 1990 年代培训他在 Netscape 担任项目经理。[2023/4/4 13:43:31]
这将为我们感兴趣的统计量产生一系列不同的估计值。我们可以通过它们估计在给定置信水平下的上限和下限。
请看下面的R语言代码，它实现了简单的bootstrap函数：
bootstrap<-function(x,y,reps,alpha){estimates<-c()original<-data.frame(x,y)N<-dim(original)for(iin1:reps){S<-originalestimates<-append(estimates,distanceCorrelation(S$x,S$y)。u<-alpha/2;l<-1-uinterval<-quantile(estimates,c(l,u))return(2*(dcor(x,y))-as.numeric(interval)。Billions项目组-->0.237to0.546
如果你想建立统计显著性，还有另一个重采样技巧，名为「排列检验」。
排列检验与上述bootstrap方法略有不同。在排列检验中，我们保持一个向量不变，并通过重采样对另一个变量进行「洗牌」。这接近于零假设——即，在变量之间不存在依赖关系。
这个经「洗牌」打乱的变量将被用于计算它和常变量间的距离相关性。这个过程将被执行多次，然后，结果的分布将与实际距离相关性相比较。
然后，大于或等于「实际」结果的经「洗牌」的结果的比例将被定为P值，并与给定的显著性阈值进行比较。
比特币全网未确认交易数量为24551笔:金色财经报道，据BTC.com数据显示，目前比特币全网未确认交易数量为24551笔，全网算力为319.47 EH/s，24小时交易速率为3.98交易/s，目前全网难度为43.55 T，预测下次难度上调3.04%至44.87 T，距离调整还剩8天14小时。[2023/3/16 13:06:59]
以下是上述过程的代码实现：
permutationTest<-function(x,y,reps){observed<-distanceCorrelation(x,y)y_i<-sample(y,length(y),replace=T)estimates<-append(estimates,distanceCorrelation(x,y_i)。p_value<-mean(estimates>=observed)return(p_value。Billions项目组-->0.036
最大信息系数
最大信息系数于2011年提出，它是用于检测变量之间非线性相关性的最新方法。用于进行MIC计算的算法将信息论和概率的概念应用于连续型数据。
深入细节
由克劳德·香农于20世纪中叶开创的信息论是数学中一个引人注目的领域。
信息论中的一个关键概念是熵——这是一个衡量给定概率分布的不确定性的度量。概率分布描述了与特定事件相关的一系列给定结果的概率。
概率分布的熵是「每个可能结果的概率乘以其对数后的和」的负值
为了理解其工作原理，让我们比较下面两个概率分布：
X轴标明了可能的结果；Y轴标明了它们各自的概率
左侧是一个常规六面骰子结果的概率分布；而右边的六面骰子不那么均匀。
从直觉上来说，你认为哪个的熵更高呢？哪个骰子结果的不确定性更大？让我们来计算它们的熵，看看答案是什么。
entropy<-function(x){pr<-prop.table(table(x))H<-sum(pr*log(pr,2))return(-H。dice1<-1:6dice2<-c(1,1,1,1,2:6)entropy(dice1)Billions项目组-->2.281
比特币集团据称考虑收购拥有268年历史的德国银行:金色财经报道，比特币集团（Bitcoin Group）正在考虑竞标拥有268年历史的德国银行Bankhaus von der Heydt。后者因进军加密货币和数字资产领域陷入困境。总部位于慕尼黑的Bankhaus von der Heydt成立于1754年。消息人士称，在将自己出售给加密货币衍生品交易所BitMEX的交易失败后，该行一直在与潜在买家商谈。知情人士称，出售交易对该行的估值可能约为2000万欧元。(金十)[2022/10/21 16:33:45]
不出所料，常规骰子的熵更高。这是因为每种结果的可能性都一样，所以我们不会提前知道结果偏向哪个。但是，非常规的骰子有所不同——某些结果的发生概率远大于其它结果——所以它的结果的不确定性也低一些。
这么一来，我们就能明白，当每种结果的发生概率相同时，它的熵最高。而这种概率分布也就是传说中的「均匀」分布。
交叉熵是熵的一个拓展概念，它引入了第二个变量的概率分布。
crossEntropy<-function(x,y){prX<-prop.table(table(x))prY<-prop.table(table(y))H<-sum(prX*log(prY,2)。
两个相同概率分布之间的交叉熵等于其各自单独的熵。但是对于两个不同的概率分布，它们的交叉熵可能跟各自单独的熵有所不同。
这种差异，或者叫「散度」可以通过KL散度量化得出。
两概率分布X与Y的KL散度如下：
概率分布X与Y的KL散度等于它们的交叉熵减去X的熵
KL散度的最小值为0，仅当两个分布相同。
KL_divergence<-function(x,y){kl<-crossEntropy(x,y)-entropy(x)return(kl。
为了发现变量具有相关性，KL散度的用途之一是计算两个变量的互信息。
互信息可以定义为「两个随机变量的联合分布和边缘分布之间的KL散度」。如果二者相同，MI值取0。如若不同，MI值就为一个正数。二者之间的差异越大，MI值就越大。
中国文化传媒集团董事长刘强：高度重视知识版权保护工作，针对侵权盗版问题提供市场化解决方案:金色财经报道，6月30日，由中国文化产业协会主办的中国数字文创行业高质量发展论坛举办。中国文化传媒集团董事长、党委书记刘强指出，数字化、信息化、智能化发展推动文化产品焕发活力。在文创发展中，国家高度重视知识版权保护工作。中国文化传媒集团也以加强知识产权保护为己任，针对侵权盗版问题提供市场化解决方案。近日，中国文化传媒集团推出“中国文化传媒新文创藏品平台”，平台在知识产权溯源、确权的基础，结合区块链技术，对溯源结果生成的数字资产进行存证，通过文化内容（IP）的二次创作、以区块链+数字化的呈现方式，提供网络文化数字资源到数字资产的内容生产方式转变。[2022/6/30 1:41:43]
为了加深理解，我们首先简单回顾一些概率论的知识。
变量X和Y的联合概率就是二者同时发生的概率。例如，如果你抛掷两枚硬币X和Y，它们的联合分布将反映抛掷结果的概率。假设你抛掷硬币100次，得到「正面、正面」的结果40次。联合分布将反映如下：
P(X=H,Y=H)=40/100=0.4
jointDist<-function(x,y){u<-unique(append(x,y))joint<-c()for(iinu){for(jinu){f<-xjoint<-append(joint,length(f)/N。return(joint。
边缘分布是指不考虑其它变量而只关注某一特定变量的概率分布。假设两变量独立，二者边缘概率的乘积即为二者同时发生的概率。仍以抛硬币为例，假如抛掷结果是50次正面和50次反面，它们的边缘分布如下：
P(X=H)=50/100=0.5;P(Y=H)=50/100=0.5
P(X=H)×P(Y=H)=0.5×0.5=0.25
marginalProduct<-function(x,y){marginal<-c()fX<-length(x)/NfY<-length(y)/Nmarginal<-append(marginal,fX*fY。return(marginal。
现在让我们回到抛硬币的例子。如果两枚硬币相互独立，边缘分布的乘积表示每个结果可能发生的概率，而联合分布则为实际得到的结果的概率。
如果两硬币完全独立，它们的联合概率在数值上等于边缘分布的乘积。若只是部分独立，此处就存在散度。
这个例子中，P(X=H,Y=H)>P(X=H)×P(Y=H)。这表明两硬币全为正面的概率要大于它们的边缘分布之积。
联合分布和边缘分布乘积之间的散度越大，两个变量之间相关的可能性就越大。两个变量的互信息定义了散度的度量方式。
X和Y的互信息等于「二者边缘分布积和的联合分布的KL散度」
mutualInfo<-function(x,y){joint<-jointDist(x,y)marginal<-marginalProduct(x,y)Hjm<--sum(joint*log(marginal,2))Hj<--sum(joint*log(joint,2))return(Hjm-Hj。
此处的一个重要假设就是概率分布是离散的。那么我们如何把这些概念应用到连续的概率分布呢？
分箱算法
其中一种方法是量化数据。这是通过分箱算法实现的，它能将连续的数据点分配对应的离散类别。
此方法的关键问题是到底要使用多少「箱子」。幸运的是，首次提出MIC的论文给出了建议：穷举！
也就是说，去尝试不同的「箱子」个数并观测哪个会在变量间取到最大的互信息值。不过，这提出了两个挑战：
要试多少个箱子呢？理论上你可以将变量量化到任意间距值，可以使箱子尺寸越来越小。
互信息对所用的箱子数很敏感。你如何公平比较不同箱子数目之间的MI值？
第一个挑战从理论上讲是不能做到的。但是，论文作者提供了一个启发式解法。他们也给出了可试箱子个数的上限。
最大可用箱子个数由样本数N决定
至于如何公平比较取不同箱子数对MI值的影响，有一个简单的做法……就是归一化！这可以通过将每个MI值除以在特定箱子数组合上取得的理论最大值来完成。我们要采用的是产生最大归一化MI总值的箱子数组合。
互信息可以通过除以最小的箱子数的对数来归一化
最大的归一化互信息就是X和Y的最大信息系数。我们来看看一些估算两个连续变量的MIC的代码。
MIC<-function(x,y){maxBins<-ceiling(N**0.6)MI<-c()for(iin2:maxBins){for(jin2:maxBins){if(i*j>maxBins){nextXbins<-i;Ybins<-jbinnedX<-cut(x,breaks=Xbins,labels=1:Xbins)binnedY<-cut(y,breaks=Ybins,labels=1:Ybins)MI_estimate<-mutualInfo(binnedX,binnedY)MI_normalized<-MI_estimate/log(min(Xbins,Ybins),2)MI<-append(MI,MI_normalized。return(max(MI)。x<-runif(100,-10,10)y<-x**2+rnorm(100,0,10)MIC(x,y)Billions项目组-->0.594to0.88
总结
为了总结相关性这一主题，我们来测试下各算法在人工生成数据上的处理能力。
完整代码：https://gist.github.com/anonymous/fabecccf33f9c3feb568384f626a2c07
噪声函数
set.seed(123)Billions项目组Simplelinearrelationshipx1<--20:20y1<-x1+rnorm(41,0,4)plot(y1~x1,pch=18)cor(x1,y1)distanceCorrelation(x1,y1)MIC(x1,y1)
Pearson'sr=+0.95
距离相关性=0.95
MIC=0.89
简单二次函数
Billions项目组Cosinex3<--20:20y3<-cos(x3/4)+rnorm(41,0,0.2)plot(y3~x3,type='p',pch=18)cor(x3,y3)distanceCorrelation(x3,y3)MIC(x3,y3)
Pearson'sr=-0.035
距离相关性=0.382
MIC=0.484
圆函数
#Circlen<-50theta<-runif(n,0,2*pi)x4<-append(cos(theta),cos(theta))y4<-append(sin(theta),-sin(theta))plot(x4,y4,pch=18)cor(x4,y4)distanceCorrelation(x4,y4)MIC(x4,y4)
Pearson'sr<0.001
距离相关性=0.234
MIC=0.218
原文链接：https://medium.freecodecamp.org/how-machines-make-predictions-finding-correlations-in-complex-data-dfd9f0d87889
本文为机器之心编译，转载请联系本公众号获得授权。
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。