基于混合条件独立性测试的因果发现算法.pdf

年月南宁师范大学学报(自然科学版)J u n 第 卷 第期J o u r n a l o fN a n n i n gN o r m a lU n i v e r s i t y(N a t u r a l S c i e n c eE d i t i o n)V o l N o D O I:/j c n k i i s s n 文章编号:()基于混合条件独立性测试的因果发现算法陈少凡,韦程东,何国源,彭昱忠,徐辉(南宁师范大学 广西人机交互与智能决策重点实验室,广西 南宁 ;广东石油化工学院 计算机学院,广东 茂名 )摘要:在因果发现领域中,条件独立性(C o n d i t i o n a l i n d e p e n d e n c e;C I)测试方法决定了基于约束的算法的效率和准确度P e t e r C l a r k(P C)算法是应用最为广泛的一个基于约束的算法由于C I测试方法的局限性,该算法在处理高维数据时存在耗时过长和准确度不高的问题该文提出一种混合C I测试方法(M i x e dC IT e s t;MC I T),它是一种基于核函数的C I测试方法(K e r n e l b a s e dC o n d i t i o n a l I n d e p e n d e n c eT e s t;K C I T),并结合偏相关性测试 MC I T能与P C算法结合(称为P CMC I T)进行因果发现 MC I T通过偏相关性测试减少了K C I T中存在的大量有关核矩阵的运算,从而提高了因果发现的效率;同时又保留了K C I T能够处理非线性数据的优点,因而保证了因果发现的准确度在各数据集上的实验结果表明,P CMC I T的精确率比基于K C I T的P C算法(称为P CK C I T)有显著提高,与基于非线性回归的P CR C I T算法不相上下;而P CMC I T的平均运行时间比后两者大为缩短关键词:因果发现;贝叶斯网络;条件独立性测试;偏相关性测试;时间复杂度中图分类号:T P 文献标志码:A因果发现是指利用可观测数据发现变量之间的因果关系,因果网络则是用于表示可观测数据因果关系的重要工具因果发现的过程一般是先对因果网络构建无向图,然后确定因果边的方向并进行方向传播,最终得到表示因果网络的有向无环图因为P C算法在高维数据下进行因果发现时效率和准确率都不够理想,所以探究如何对该算法进行改进是当前因果发现研究领域的一个热点目前适用于较高维数据的因果发现算法主要有基于约束(c o n s t r a i n t b a s e d)的因果发现算法和基于分数(s c o r e b a s e d)的因果结构搜索算法两种基于约束的因果发现算法利用条件独立性(C o n d i t i o n a lI n d e p e n d e n c e;C I)测试进行因果发现,从而得到表示因果关系的图基于约束的经典因果发现算法有P C算法(P e t e r C l a r k)、I C算法(I n d u c t i v eC a u s a t i o n)、F C I算法(F a s tC a u s a l I n f e r e n c e)等基于分数的因果结构搜索算法则通过优化恰当的得分函数来搜索具有最佳得分的因果结构,常见的得分函数有后验概率、贝叶斯信息准则(B a y e s i a nI n f o r m a t i o nC r i t e r i o n;B I C)和赤池信息量准则(A k a i k eI n f o r m a t i o nC r i t e r i o n;A I C)等基于分数的因果结构搜索算法有贪婪等价类搜索算法(G r e e d yE q u i v a l e n c eS e a r c h;G E S)、G E S与F C I算法的结合 G F C I算法以及C l a a s s e n等提出的G r e e d yP AGr e s e a r c h算法等随着神经网络技术的发展,一大批使用神经网络的因果发现算法被提出:X i a等 基于梯度下降原理提出了神经因果模型(N e u r a lC a u s a lM o d e l;N CM)以及一个可以同时识别和估计因果效应的梯度下降算法 P a w l o w s k i等 基于深度学习技术提出了深度神经因果网络(D e e pN CM)Z e e v i M等 提出了一个更加精准的N CM,并为图神经网络(G r a p hN e u r a lN e t w o r k;GNN)定义了干预措施这些基于神经网络的因果发现算法通过神经网络对因果网络进行搜索,它们本质上是收稿日期:基金项目:国家自然科学基金(,);广东省教育厅青年创新人才项目(KQN C X );广东省基础与应用基础研究项目(A );广西人机交互与智能决策重点实验室开放基金项目(G XH I I D )第一作者简介:陈少凡(),男,安徽合肥人,硕士研究生,研究方向:因果推断通信作者简介:韦程东(),男,广西上林人,教授,博士,博士生导师,研究方向:贝叶斯统计第期陈少凡,等:基于混合条件独立性测试的因果发现算法 基于分数的算法P C算法是由P e t e rS p i r t e s和C l a r kG l y m o u r提出的一种基于约束的因果发现算法原始的P C算法在稳定性、潜在混杂因子处理、非线性因果关系发现及混合变量处理等方面有诸多局限,所以研究人员不断对P C算法进行改进比如S t a b l eP C算法 通过修改因果骨架学习及因果定向的规则,使P C算法在高维数据上仍可以进行稳定的因果学习;通过添加针对未观测变量的C I测试,基于P C算法的邻接搜索思想的F C I/R F C I算法及其变体,可以在未观测混杂变量和样本选择偏差存在的场景下进行因果发现;C o p u l aP C 将P C算法中基于相关矩阵的C I测试优化成基于G a u s s耦合函数相关矩阵的C I测试,从而使得C o p u l aP C算法能够支持混合变量下的因果发现基于约束的算法通过C I测试来探究数据间的因果关系,因此C I测试方法在很大程度上决定了这类算法的效率Z h a n gK等 提出的基于核函数的C I测试方法(K e r n e l b a s e dC IT e s t;K C I T)可以很好地解决非线性场景下的C I测试问题;D o r a n 提出了基于随机排序的核函数C I测试方法;Z h a n gH等 提出了基于非线性回归的C I测试方法(R e g r e s s i o n b a s e dC IT e s t;R C I T)以及基于残差相似性的C I测试方法;S t r o b l等 利用随机傅里叶特征去逼近K C I T中的核函数,提出了一种近似核函数的C I测试方法使用以上C I测试方法处理高维数据时存在着不够高效和准确的问题,对此,我们将K C I T与偏相关性测试结合,得到一个混合C I测试方法(M i x e dC IT e s t;MC I T)我们的想法如下:首先偏相关性测试的时间复杂度为O(l o g(n),远低于以上提到的C I测试方法,从理论上是可以提高C I测试的效率的其次,当变量服从联合高斯分布时,若变量之间的偏相关性不成立,则变量之间的C I成立,说明在理论上可以利用偏相关性测试进行C I测试再者,偏相关性测试只能验证变量间的线性偏相关性,因此仍然需要K C I T对变量之间的非线性的C I进行测试预备知识因果网络表示变量之间的因果关系的有向无环图(D i r e c t e dA e y c l i cG r a p h;D AG)称为因果网络图,它可表为三元组G(V,E,P)其中,顶点集Vv,v,vn 表示网络中的所有节点;有向边集E表示网络节点之间的因果关系;PP r(vi|P a r e n t(vi)|in 是一组条件概率的集合,这里P r(vi|P a r e n t(vi)表示vi的父节点集P a r e n t(vi)对vi的因果效应因果网络实际上是联合概率分布P r(v,v,vn)中所有C I的图形化表示在不提前说明的情况下,因果网络中的vi同时表示变量与节点准则和假设d 分离准则是描述因果网络节点间关系的一个重要的图性质定义(d 分离准则)设X,Y,Z为图G中互不相交的节点集,X,Y为目标变量,Z为条件变量集称X与Y在G中被Zd 分离,如果从 任意xjX到任意ykY的任一路径均被Z的某个子集Zl阻断,即该路径上的点vi满足下列任一条件:()vi与xj,yk成对撞结构,即为xjviyk,且vi及其子孙节点均不属于Z;()vi与xj,yk构成链式结构或分叉结构,即xjviyk或xjviyk,且viZ假设(忠实性假设,F a i t h f u l n e s sA s s u m p t i o n)给定一个因果网络图G,令P r(X,Y,Z)为三个变量(集)X,Y和Z的联合概率分布,如果由XY|Z可以推出X,Y被Zd 分离,则称P r(X,Y,Z)满足关于G的忠实性假设在满足忠实性假设的情况下,因果发现算法可以通过C I测试得到一个代表因果网络的部分有向无 南 宁 师 范 大 学 学 报(自 然 科 学 版)第 卷环图(P a r t i a lD i r e c t e dA c y c l i cG r a p h;P D AG)假设(马尔可夫假设,M a r k o vA s s u m p t i o n)给定一个因果网络G,令P(X Y Z)为三个变量(集)X,Y和Z的联合概率分布,如果X,Y被Z集d分离XYZ,则称P(X Y Z)满足关于G的马尔可夫假设假设(因果充分性假设,C a u s a lS u f f i c i e n c y)给定一个因果网络G,假设G中所有的变量没有未观测的混杂因子干扰K C I T方法近年来,研究人员提出了一系列基于核函数的C I测试方法:将观测变量映射到再生核H i l b e r t空间(R e p r o d u c i n gK e r n e lH i l b e r tS p a c e;R KH S)上,从而可以用R KH S上的映射去构造用于检验C I的统计量文献 基于R KH S上的归一化互协方差算子,提出了一种关于随机变量C I的度量,从而得以判定X,Y之间的在条件Z下的C I 基于以上工作,Z h a n gK等 提出了K C I T方法,并证明了XYZ成立当且仅当对任意fLX Z,gLY(LY和LX Z分别表示Y和(X,Z)的平方可积函数空间)使得E(fg)成立,其中f(x,Z)f(x,Z)rf(Z),g(y,Z)g(y)rg(Z),其中rf,rg为LZ中的回归函数 K C I T将函数f,g,rf,rg的空间松弛到R KH S中,并利用核函数构造检验统计量与K C I T相结合的P C算法(称为P CK C I T)能够更好地在非线性假设下进行因果发现但由于K C I T涉及核矩阵的特征值分解与求逆,故P CK C I T速度过慢成了一个亟须解决的问题偏相关性与C I的关系文献 基于偏相关性给出了XYZ在平方可积函数空间上的充要条件,即引理条件独立性特性(C h a r a c t e r i z a t i o no fC o n d i t i o n a l I n d e p e n d e n c e;C C I):令X,X为两个实值随机变量,Z(z,z,zn)为n维随机向量,X,X在条件Z下的C I定义为等式E(f g|Z)E(f|Z)E(g|Z)对fLXZ,gLXZ几乎处处成立,其中LXZ为(X,Z)的平方可积函数空间,LXZ同理XX|Z成立,当且仅当E(f g)文献 给出了高斯和非高斯情况下偏相关性与C I的关系引理给定随机变量X,Y以及Z(z,z,zk),三者均是独立随机变量i(i,q)的线性组合如果所有的i服从联合高斯分布,那么XYZ成立当且仅当偏相关系数X YZ引理表明,在非高斯场景下,若变量之间的偏相关性成立,则C I不成立MC I T方法现有的基于核函数的C I测试方法在处理高维数据时存在效率和准确度都不够理想的问题受到R C I T方法和节中偏相关性与C I关系的启发,本节提出一种结合偏相关性测试与K C I T的MC I T方法对C I测试方法来说,最重要的是检验统计量的构造,下面给出偏相关性测试以及K C I T中的检验统计量的定义定义(MC I T中偏相关性测试的检验统计量)设X和Y为实随机变量,Z为N维随机向量,zi表示Z的第i个分量 MC I T方法中的偏相关性测试所使用的检验统计量为z(X YZ)l nX YZX YZ,()其中第期陈少凡,等:基于混合条件独立性测试的因果发现算法 X YZNNieX,ieY,iNNieX,iNNieY,i,()N为观测变量数,eX,ixiwX,zi,eY,iyiwY,zi为线性回归问题wXa r gm i nwNi(xiw,zi),wYa r gm i nwNi(yiw,zi)中的残差,其中 w,zi为向量w和zi的数量积考虑假设检验问题H:X YZH:X YZ当不等式N|Z|z(X YZ)|()()成立时,以显著性水平拒绝原假设H,其中()为标准正态分布的分布函数定义(MC I T中K C I T的检验统计量)考虑假设检验问题H:X与Y在条件Z下C I成立H:X与Y在条件Z下C I不成立当不等式TC I nt r(KX|Z KY|Z)()成立时,以显著性水平拒绝原假设其中,n为X中的变量数,KXHKXH,这里KX为X的高斯核矩阵,HInJ JT,J为全方阵MC I T的主要步骤为:先对变量进行偏相关性测试,再对偏相关性测试无法判定的C I使用K C I T进行C I测试,从而确定变量之间的因果关系MC I T的总体框架如下算法MC I T输入:目标变量X,Y,条件变量Z,显著性水平,输出:X与Y在条件Z下的C I:计算z(X YZ):II ff()成立,tt hh ee nn:根据()计算TC I:II ffTC I,tt hh ee nn:RR ee tt uu rr nnX与Y在条件Z下的C I成立:EE ll ss eeRR ee tt uu rr nnX与Y在条件Z下的C I不成立:EE nn ddII ff:EE ll ss eeRR ee tt uu rr nnX与Y在条件Z下偏相关,即X与Y在条件Z下的C I不成立:EE nn dd ii ff基于MC I T的因果发现算法(P CMC I T)将MC I T与P C算法结合,就可将MC I T应用至因果发现中P CMC I T算法首先,P CMC I T根据原始数据集V中的所有变量建立全连接无向图接着,P CMC I T使用混合C I测试判定变量之间的C I 然后,P CMC I T寻找条件相关变量之间的V 结构,并进行方向传播,从而确定变量之间的因果方向最终,P CMC I T得到结果因果网络GP CMC I T的总体框架如下 南 宁 师 范 大 学 学 报(自 然 科 学 版)第 卷算法P CMC I T输入:原始数据集Vv,v,vn输出:因果网络图G:建立V的全连接图G:FF oo rr在G中相邻的节点vi,vjVdd oo:II ff存在ZVvi,vj使得vivjZ(用混合C I测试进行C I测试)tt hh ee nn:删除G中的e(vi,vj)和e(vj,vi),且保存混合C I测试的结果:EE nn ddII ff:EE nn ddFF oo rr:根据混合C I测试保存的关于vivjZ是否成立的结果,在G中寻找V 结构,并进行方向传播:得到结果因果网络图G我们给出P CMC I T的一个实例,如图所示图P CMC I T算法的一个实例P CMC I T的时间复杂度从定义和不难看出,偏相关性测试在构建检验统计量时只需要进行回归的计算,其时间复杂度为O(l o g(n);而K C I T构建检验统计量的过程中涉及复杂的高斯核矩阵的特征核计算,其时间复杂度为O(n)MC I T通过偏相关性测试大大减少了K C I T的相关计算,从而极大地提高了C I测试的效率考虑P CMC I T的时间复杂度P C算法的时间复杂度C为CnkiniT,()其中n为因果网络中的节点个数,k为任意节点的最大入度,T为C I测试方法的时间复杂度由()可以看出,C I测试的时间复杂度决定了P C算法的效率 P CMC I T在对观测变量进行K C I T之前先进行偏相关性测试,可以避免许多冗余的K C I T,从而提高因果发现的效率数值实验本文的数值实验是在MAT L A BR b上完成的本文分别在A s i a、I n s u r a n c e、A l a r m、B a r l e y、H a i l f i n d e r和W i n p t s这六个真实因果网络(h t t p s:/wwwb n l e a r n c o m/b n r e p o s i t o r y/)上对P CMC I T算法进行数值实验以上真实因果网络的统计信息见表本文选用召回率、精确率和F得分 来对算法性能进行评估,它们分别定义如下:召回率算法发现的真实因果关系真实的因果关系,()第期陈少凡,等:基于混合条件独立性测试的因果发现算法 精确率算法发现的真实因果关系算法发现的因果关系,()F召回率精确率召回率精确率()这三个指标可以用来评价因果学习算法的准确度,各项得分越高,则算法准确度越高表六个因果网络结构的统计信息数据集节点数平均度最大度数A s i a I n s u r a n c e A l a r m B a r l e y H a i l f i n d e r W i n p t s 基于表中的因果网络结构,分别生成大小为,的样本,然后 在 样 本 上 对P CMC I T算法、P CK C I T算法以及P CR C I T算法进行对比测试,以评估各算法发现因果网络的速度与准确度选取P CK C I T作为对比算法是因为K C I T作为最为经典的基于核函数的C I测试方法之一,在处理非线性数据时表现优秀,而且MC I T作为K C I T的一种优化改进方法,与K C I T比较可以直观地展示偏 相 关 性 测 试 对 因 果 推 断 效 果 的 影 响选 取P CR C I T作为对比算法的原因是,R C I T作为目前最先进的C I测试方法之一,它使P C算法可以区分M a r k o v等价类,这极大地提高了因果发现的效率,具有很大的研究和对比价值在小型因果网络A s i a上进行 次数值实验,在中型因果网络I n s u r a n c e、A l a r m和B a r l e y上进行 次数值实验,在大型因果网络H a i l f i n d e r和W i n p t s上进行 次数值实验,并分别取每个样本量下的召回率、精确率和F得分以及各算法运行时间的平均值作为最终的实验结果由于篇幅限制,具体召回率、精确率和F得分结果列于附录中,正文中只给出折线图从图可以看出,P CMC I T在各因果网络上的R e c a l l得分随着样本量的增大而增大,这是由于越多的样本能够提供越多的信息,从而让P CMC I T的因果发现结果更准确P CMC I T在各因果网络上的精确率得分表现尤为优秀,不难看出都是接近,这说明P CMC I T发现真实的因果关系的概率极高由附录可知,P CMC I T的F 得分分别在A s i a、I n s u r a n c e、A l a r m、B a r l e y、H a i l f i n d e r和W i n p t s上比P CK C I T平均高了 、,以及 这是因为偏相关性测试能够提供C I的信息,提高了P CMC I T的准确度P CR C I T实质上是先对变量进行非线性回归,再利用K C I T进行C I测试,在因果方向的确定上它比P CK C I T优秀很多,所以准确率也高很多由图可知,P CMC I T的准确度与P CR C I T不相上下但是,结合表可以看出,P CMC I T的运行速度比P CR C I T快得多,这说明P CMC I T的性能比P CR C I T更加优秀运行时间也是评估算法性能的一个重要指标各算法在各个因果网络上的运行时间见表从表可以得出,比起P CK C I T算法和P CR C I T算法,P CMC I T的运行速度有着数量级上的加快,说明P CMC I T算法利用偏相关性测试对C I测试进行加速是高效的具体来说,P CMC I T在A s i a、A l a r m、I n s u r a n c e、B a r l e y、H a i l f i n d e r和W i n p t s上的平均运行时间分别是P CK C I T的 、和 P CMC I T在A s i a、A l a r m、I n s u r a n c e、B a r l e y、H a i l f i n d e r、W i n p t s上的平均运行时间分别是基于非线性回归的P CR C I T的 、和 表的结果说明P CMC I T中利用偏相关性测试对因果发现进行加速十分有效,也验证了节中对P CMC I T时间复杂度的理论分析 南 宁 师 范 大 学 学 报(自 然 科 学 版)第 卷(a)A s i a(b)A l a r m(c)B a r l e y(d)I n s u r a n c e(e)H a i l f i n d e r(f)W i n p t s图各算法在六个因果网络上的表现第期陈少凡,等:基于混合条件独立性测试的因果发现算法 表各算法在六个因果网络中的运行时间因果网络样本量各算法的运行时间/sP CMC I TP CK C I TP CR C I TA s i a A l a r m I n s u r a n c e B a r l e y H a i l f i n d e r W i n p t s 结束语本文提出的MC I T方法是先对变量进行偏相关性测试,再根据偏相关性测试的结果决定是否对变量利用K C I T进行C I测 试由 于 减 少 了 计 算 过 程 冗 杂 的K C I T的使用,该方法提高了因果发现的效率实验表明,通过合理的参数设置,将MC I T方法与P C算法结合得到的P CMC I T算法比起P CK C I T算法,不仅在准确度上有巨大的提升,而且在运行时间上更是有着数量级上的加快这说明偏相关性测试对于K C I T方 法 有 着 提 高 表 现 的 作 用与P CR C I T算法相比,P CMC I T算法不仅在准确度上不相上下,而且运行时间也有着倍数上的加快,说明MC I T方法的性能比起目前最优的C I测试方法之一 R C I T更加优 秀以 上 实 验 结 果 不 仅 充 分 说 明 了MC I T方法能够提高因果发现的准确度,也验证了对P CMC I T的时间复杂度的理论分析,MC I T能够大大提高C I测试以及因果发现的速度从因果发现领域的研究现状来看,进行因果发现仅仅使用P C算法是不够的今后可以考虑将P CMC I T与其他因果分割方法结合,如文献,提出并改进的C A P A算法、文献 提出的C I P I T算法以及文献 中的C P算法等,继续改进因果发现算法,提高现有的因果发现算法的效率此外,与GNN、图分治、图聚类等图学习领域中的热门技术相结合也是进一步提升因果发现算法性能的新思路参考文献:K u a n gK,L iL,G e n gZ,e t a l C a u s a l i n f e r e n c eJ E n g i n e e r i n g,():G l y m o u rC,Z h a n gK,S p i r t e sP R e v i e wo fc a u s a ld i s c o v e r ym e t h o d sb a s e do ng r a p h i c a lm o d e l sJ F r o n t i e r s i nG e n e t i c s,:Z h a n gK,T i a nC,Z h a n gK,e t a l Af a s tP Ca l g o r i t h m w i t hr e v e r s e d o r d e rp r u n i n ga n dap a r a l l e l i z a t i o ns t r a t e g yJ a r X i vp r e p r i n t a r X i v:,V e r m aT,P e a r l J E q u i v a l e n c ea n ds y n t h e s i so f c a u s a lm o d e l sC/P r o c e e d i n g so f t h eS i x t hA n n u a lC o n f e r e n c eo nU n c e r t a i n t y i nA r t i f i c i a l I n t e l l i g e n c e,M I T,C a m b r i d g e,M a s s,U S A,J u l y ,:S p i r t e sP,G l y m o u rCN,S c h e i n e sR C a u s a t i o n,p r e d i c t i o n,a n ds e a r c hM N e wY o r k,NY:S p r i n g e rN e wY o r k,南 宁 师 范 大 学 学 报(自 然 科 学 版)第 卷K a s a l i J,A d e y e m iA A M o d e l d a t af i tu s i n gA k a i k ei n f o r m a t i o nc r i t e r i o n(A I C),B a y e s i a ni n f o r m a t i o nc r i t e r i o n(B I C),a n dt h es a m p l e s i z e a d j u s t e dB I CJ S q u a r e:J o u r n a l o fM a t h e m a t i c sa n dM a t h e m a t i c sE d u c a t i o n,():C h i c k e r i n gM S t a t i s t i c a l l ye f f i c i e n tg r e e d ye q u i v a l e n c es e a r c hC/C o n f e r e n c eo nU n c e r t a i n t yi nA r t i f i c i a l I n t e l l i g e n c e PML R,:O g a r r i oJM,S p i r t e sP,R a m s e yJ Ah y b r i dc a u s a l s e a r c ha l g o r i t h mf o r l a t e n t v a r i a b l em o d e l sC/C o n f e r e n c eo nP r o b a b i l i s t i cG r a p h i c a lM o d e l s,PML R,:C l a a s s e nT,B u c u r IG G r e e d ye q u i v a l e n c es e a r c h i nt h ep r e s e n c eo f l a t e n t c o n f o u n d e r sC/U n c e r t a i n t y i nA r t i f i c i a l I n t e l l i g e n c e PML R,:X i aK,L e eKZ,B e n g i oY,e t a l T h e c a u s a l n e u r a l c o n n e c t i o n:e x p r e s s i v e n e s s,l e a r n a b i l i t y,a n d i n f e r e n c eJ A d v a n c e s i nN e u r a l I n f o r m a t i o nP r o c e s s i n gS y s t e m s,:P a w l o w s k iN,C o e l h oDC,G l o c k e rB D e e ps t r u c t u r a l c a u s a lm o d e l s f o r t r a c t a b l ec o u n t e r f a c t u a l i n f e r e n c eJ A d v a n c e s i nN e u r a l I n f o r m a t i o nP r o c e s s i n gS y s t e m s,:Z ec e v i c M,D h a m iDS,V e l ic k o v i cP,e t a l R e l a t i n gg r a p hn e u r a l n e t w o r k s t os t r u c t u r a l c a u s a lm o d e l sJ a r X i vp r e p r i n t a r X i v:,C o l o m b oD,M a a t h u i sM H O r d e r i n d e p e n d e n tc o n s t r a i n t b a s e dc a u s a l s t r u c t u r e l e a r n i n gJ J o u r n a lo fM a c h i n eL e a r n i n gR e s e a r c h,:S p i r t e sP,M e e kC,R i c h a r d s o nT A na l g o r i t h mf o r c a u s a l i n f e r e n c e i n t h ep r e s e n c eo f l a t e n t v a r i a b l e s a n ds e l e c t i o nb i a sJ C o m p u t a t i o n,C a u s a t i o n,a n dD i s c o v e r y,:C u iRC,G r o o tP,H e s k e sT C o p u l aP Ca l g o r i t h mf o r c a u s a l d i s c o v e r y f r o m m i x e dd a t aC/J o i n tE u r o p e a nC o n f e r e n c eo nM a c h i n eL e a r n i n ga n dK n o w l e d g eD i s c o v e r y i nD a t a b a s e s C h a m:S p r i n g e r,:Z h a n gK,P e t e r sJ,J a n z i n gD,e t a l K e r n e l b a s e dc o n d i t i o n a l i n d e p e n d e n c e t e s t a n da p p l i c a t i o n i nc a u s a l d i s c o v e r yC/UA I ,P r o c e e d i n g so f t h eT w e n t y S e v e n t hC o n f e r e n c eo nU n c e r t a i n t y i nA r t i f i c i a l I n t e l l i g e n c e,B a r c e l o n a,S p a i n,J u l y,:D o r a nG,M u a n d e tK,Z h a n gK,e t a l Ap e r m u t a t i o n b a s e dk e r n e l c o n d i t i o n a l i n d e p e n d e n c et e s tC/UA I,:Z h a n gH,Z h o uS,Z h a n gK,e ta l C a u s a ld i s c o v e r yu s i n gr e g r e s s i o n b a s e dc o n d i t i o n a l i n d e p e n d e n c et e s t sC/T h i r t y F i r s tAAA IC o n f e r e n c eo nA r t i f i c i a l I n t e l l i g e n c e :S t r o b lEV,V i s w e s w a r a nS,Z h a n gK A p p r o x i m a t ek e r n e l b a s e dc o n d i t i o n a l i n d e p e n d e n c e t e s t s f o r f a s tn o n p a r a m e t r i cc a u s a l d i s c o v e r yJ J o u r n a l o fC a u s a l I n f e r e n c e,():D a u d i nJJ P a r t i a la s s o c i a t i o nm e a s u r e sa n da na p p l i c a t i o nt oq u a l i t a t i v er e g r e s s i o nJ B i o m e t r i k a,():F l a x m a nSR,N e i l lDB,S m o l aAJ G a u s s i a np r o c e s s e s f o r i n d e p e n d e n c e t e s t sw i t hn o n i i dd a t a i nc a u s a l i n f e r e n c eJ A CM T r a n s a c t i o n so nI n t e l l i g e n tS y s t e m sa n dT e c h n o l o g y(T I S T),():P e a r l J C a u s a l i t yM C a m b r i d g e,UK:C a m b r i d g eU n i v e r s i t yP r e s s,F u k u m i z uK,G r e t t o nA,S u nX,e t a l K e r n e lm e a s u r e so f c o n d i t i o n a l d e p e n d e n c eC T w e n t y F i r s tA n n u a lC o n f e r e n c eo nN e u r a l I n f