将政策效应分解为因果渠道

将政策干预的效果分解为其因果通道可以提高政策分析的质量

瑞士弗里堡大学

单页 全文

电梯游说

政策评估旨在评估干预(如求职者咨询)对特定结果(如就业)的因果效应。在形成政策建议时,产生效果的因果渠道通常很重要。例如,为了设计最佳的咨询过程,了解咨询是否通过培训计划、制裁、求职援助或其他方面影响就业是至关重要的。所谓的“调解分析”是指将因果效应分解为各种因果渠道,以评估其各自的重要性。

将干预的影响分为直接渠道和间接渠道

重要发现

优点

对特定政策效果的中介分析可以更好地理解为什么特定政策干预是有效的或无效的。

针对政策效果的因果渠道进行的调解分析可能会产生更好的政策建议,特别是在政策干预的各个组成部分的优化设计方面。

分析因果通道有助于理解干预的某些方面,这些方面的有效性看起来特别有趣(即比其他方面更相关)。

缺点

分析因果渠道需要更强的行为(或识别)假设,而不是评估政策干预的“常规”(全部)因果效应。

分析因果通道需要足够丰富的数据来合理地证明关键的行为假设;在这些情况下通常需要面板数据,但并不总是可用的。

作者的主要信息

政策评估普遍忽视了分析因果渠道以提供更准确的政策建议的潜在价值。在丰富数据可用性不断增长的世界中,中介分析似乎越来越有吸引力,尽管它依赖于重要的行为假设和相对强大的数据需求。因此,在今后的政策评价中应考虑使用中介分析来评估因果渠道。例如,当调查劳动政策对收入的影响在多大程度上来自于增加的搜索工作、增加的人力资本或其他本身受政策影响的中介。

动机

政策评估通常旨在评估一项政策干预(通常被称为“治疗”(如积极的劳动力市场政策))对利益的经济或社会结果(如就业或收入)的因果影响。大多数评估关注的是治疗的“总”因果效应,而不是驱动这种效应的潜在因果渠道。也就是说,这些评估通常不调查总效应可能植根于与影响最终结果的中间变量相关的不同因果通道的可能性。这些中间变量通常被称为“中介”,对其作用的研究称为“中介分析”。如果存在这样的中介,在特定的假设下,整体效应可以分解为几个渠道。

随着插图表明,各种渠道是治疗对结果的直接影响,以及通过中介“运行”的一个(或多个)间接影响。这种分解往往比单独的总体效果更能全面地反映社会和经济影响,对于得出有意义的政策结论可能很重要[2]

正反两面的讨论

说明性的例子

本文使用了三个例子来强调中介分析的潜在优点。首先,考虑求职者培训之后的附加(人力资本增加)计划对就业的影响。将直接和间接的影响(通过额外的计划)分开,可以显示最初的训练本身是有效的,还是只与后来的计划一起有效。这对于为求职者优化设计程序(序列)是有用的[2]

其次,考虑对就业咨询机构提供的整个就业咨询过程的就业效应进行剖析。有趣的是,确定“职业咨询”治疗是否通过培训计划安排、求职帮助、在不合规情况下的制裁(或制裁威胁)、个案工作者的个人沟通或咨询风格或其他维度来影响就业[3].了解这些渠道可能有助于制定更有效的咨询过程的指导方针。

儿童早期干预是第三个例子。例如,这可能会为来自社会背景不利家庭的儿童提供(高质量的)托儿服务,或提高幼儿园教师与儿童的比例。在这里,一个重要的问题是,这些干预措施是否只通过教育决定(例如从高中或大学毕业)影响以后的生活结果(例如收入、健康和生活满意度),这些决定本身也受到幼儿条件的影响,或者也通过其他渠道,如人格特征。这可能会提供一些见解,以了解在生活的后期进行干预(例如免除大学学费)是否能像早期儿童项目一样有效,产生社会可取的影响。

由于一项重要的开创性工作,对直接和间接影响的评估现在在社会科学中广泛存在[4].然而,关于因果通道的早期文献的很大一部分依赖于相当严格的行为模型。一个有问题的限制是:(i)治疗对结果的影响;(二)对调解人的处理;(iii)结果的中介通常由(线性)模型表征,该模型假设对感兴趣的总体中的每个人来说各自的影响是相同的(不考虑个体特征的差异)。尽管这使得中介分析非常方便,但它对人类行为的本质施加了严格的刚性。第二个不现实的限制,通常是隐含的,是中介对结果的准随机性。换句话说,假定除了治疗本身之外,没有其他共同影响中介和结果的特征。中介分析并不直接,即使是随机的治疗,比如在实验中。治疗的随机性并不意味着中介因素的随机性,因为中介因素本身就是治疗后的变量(因此,可以被解释为中间结果)[5]

在评估母亲怀孕期间吸烟对产后婴儿死亡率的影响时,可以发现一个直观的例子,说明对中介的粗心处理如何可能导致有缺陷的结果。一般来说,经验文献发现吸烟和婴儿死亡率之间存在正相关关系。然而,一些研究指出,在那些出生体重最低(即以“低出生体重”为中介因素)的儿童中,吸烟似乎可以降低死亡率。这种矛盾很可能是研究人员没有考虑到与出生体重和死亡率相关的(重要)特征的结果[6].考虑到,由于母亲吸烟而导致出生体重过低的婴儿,其死亡率低于母亲不吸烟的出生体重过低的婴儿;如果后者的低体重是由于其死亡率高于与吸烟相关的特征(如出生缺陷),这可能是正确的。

评估直接和间接影响的策略:对可观察物的选择

为了防止这类问题,两种类型的策略或统计限制主要用于合理地评估直接和间接影响。第一种假设是,研究人员观察到所有共同影响治疗和结果、治疗和中介、或中介和结果的特征,这被称为“可观察物选择”假设。这意味着人们可以通过比较不同治疗组和在这些(可观察的)特征方面具有可比性的中介状态来衡量对结果的直接和间接影响。图1说明了这样一个设置,其中观察到的特征(或协变量)表示为X,并可能对治疗产生影响D,调解人,以及结果Y[2].作为说明,考虑上面给出的第一个例子D代表一个培训计划,以后的节目,还有Y就业。X反映影响所有三个变量的因素,例如教育、工作经验、年龄、职业和其他可能影响入职培训的因素。D)、进一步的节目(),以及就业(Y).

“对可观测物的选择”项下的直接和间接影响

就像插图,每个箭头在图1表示一个变量对另一个变量的因果影响。这种对可观察假设的选择比在对(总)治疗效果的“常规”分析中调用的选择更强。后一种概念仅仅要求人们必须观察所有共同影响处理和结果的特征,而不考虑它们对调解人的影响。

中介分析的应用机会

中所示的因果框架的一些研究讨论了或多或少灵活的估计方法图1,并主要考虑该框架在生物识别学、流行病学和政治学中的应用。同样,在劳动经济学和政策评价中,对调解分析的贡献也在上升。例如,一项研究将佩里学前教育项目(针对美国弱势非裔美国儿童的实验性干预)对晚年生活结果的影响分解为与认知技能和人格特征相关的因果通道[8].一项针对美国弱势青年就业团项目对收入的直接影响的调查认为,“工作经验”是一个中介,可以解释参与该项目期间可能减少的求职努力,即所谓的“锁定效应”。[9].另一项研究评估了就业团对健康的直接影响,以及通过就业产生的间接影响[7].另一项研究将中介框架应用于将工资差距(例如男性和女性之间或本地人和移民之间)(广泛)分解为一个被解释的成分(由于教育、工作经验、职业等中介因素的差异)和一个无法解释的成分(可能由于歧视和其他未观察到的因素)[10]

这些例子表明,因果机制在决策者感兴趣的一系列问题中发挥着作用,尽管在大多数现代政策评估中通常没有认识到这一点。还值得一提的是,已经开发了方便用户使用的软件包,使更广泛的受众越来越容易使用这些方法[11].这可能为在政策评价方面更多地使用调解分析铺平道路,可能会提高所得结果的质量和全面性,从而产生更有效的政策咨询意见。

值得注意的是图1假设相同的协变量集(可观察的特征)会影响治疗和中介(以及结果)。然而,如果某些影响中介和结果的协变量本身也受到治疗的影响,评估因果通道的复杂性就会增加;这就是所谓的“动态混杂”。在这种情况下,对可观察假设的选择需要通过进一步的关于治疗-中介因素、协变量-中介因素或中介因素-结果关联的假设来增强。因此,在处理混淆问题所需的灵活性和模型规范中允许的灵活性之间存在权衡。换句话说,动态混杂问题需要一个更严格设计的评估模型,这可能会限制模型的潜在普遍应用。

到目前为止,在实际应用中很少考虑动态混杂的中介分析,即使它代表了一个与经验相关的案例。作为说明,考虑上面给出的第三个例子D代表托儿质量,大学毕业,以及Y晚年的收入。幼儿保育质素(D)可能会影响自信或动机等性格特征,这可能会影响上大学的决定()及收益(Y)(通过与工作相关的行为)。

替代策略:工具变量方法

在许多经验问题中,基于可观察性假设(即观察到共同影响治疗、中介和结果的所有因素)的选择可能是不合理的。如果对于一些可能影响治疗决定、中介和/或结果的特征,数据中没有或没有适当的测量方法,则会出现这种情况。例如,如果动机、抱负或先天能力驱动求职者参加培训(治疗)和进一步的项目(中介)以及收入(结果),但不能(充分地)衡量,可观察假设的选择就失败了。另一种策略包括使用“工具变量”(IV),这些变量必须影响治疗和/或中介因素,但同时不得直接影响结果(除非通过可能改变的治疗和/或中介因素)。

相对较少的论文考虑基于IV的因果通道评估。其中一项研究假设了一个随机分配的处理方法和一个“完美”的中介工具,这迫使后者接受一个特定的(和期望的)值[5].然而,在实际应用中很难找到这样完美的仪器。例如,考虑到上面的第三个例子,以大学毕业为中介,大学学费豁免的随机分配可以作为一个合理的工具:豁免可能会影响上大学的决定,但对以后的生活结果(如收入)没有直接影响。然而,豁免很可能并不代表一个完美的工具,因为它们可能不会影响所有人的大学决定。也就是说,某些个体的调解人可能不会对其规定的工具作出反应。

文献中有一些关于基于“不完善”中介工具(即允许某些个体的“无反应”)的实验中因果通道评估的讨论,而处理被假设为随机的[12].在特定的实验设计下,可以测量那些中介对其工具做出反应的个体的因果通道。这意味着直接和间接影响可以通过双重随机化的治疗(例如随机分配高质量的托儿场所)和中介工具(例如免除学校或大学的学费)来评估。这似乎是未来设计旨在评估政策干预的随机试验的一个有前途的策略。

进一步的研究考虑了两种不同的工具,用于治疗和中介的各种模型和假设的中介及其工具的行为[1].一个有趣的贡献是在调解人的工具可能有许多不同值的情况下对因果机制的评估。在实践中,这可以通过随机的经济激励来实现(例如,对于中介来说,“大学出勤率”),其数量(随机)在研究参与者之间有所不同。中提供了该框架的说明图2,其中双刃箭头意味着因果关系可能朝任何一个方向发展。第一种乐器Z₁影响D,但不是直接Y,即它可能只是影响Y通过它对D.第二种乐器Z₁影响,但类似地,不是直接的Y.在这样的设置,直接和间接的影响可以测量,尽管存在假定未观察到的特征表示UV,W,两者相互影响D,Y[2].举个例子,假设Z₁表示随机分配到托儿所和D托儿设施的实际使用情况,如果有些家庭不遵守分配的情况,可能会与分配的情况有所不同。是大学出勤率Z₁是一种学费减免,其金额可以随机变化,一些人的学费可以全额报销,而另一些人的学费只能得到部分补偿或根本得不到补偿。Y是收入UV,W是一些未被观察到的特征,如家庭背景、能力、动机等。在这个框架中,未观察到的变量可能与早期儿童保育设施的安置有关;例如,受教育程度高的父母与受教育程度低的父母在这些决定方面可能存在系统性差异。家庭背景(W)也会影响上大学的动机(V)和工作动机(U),后者是收入的决定因素(Y).然而,如果儿童保育时段(Z₁)是随机分配的,并且实际上会影响使用托儿服务的决定,至少在一部分家庭中是这样。同样,学费减免(Z₂)在获得豁免时,一定会诱使一些人去上大学。这两个随机变量都不是Z₁Z₂然而,这可能会对晚年的收入产生直接影响。也就是说,它们可能会产生影响Y只能分别通过处理和中介。

仪器的直接和间接影响

注意中描述的因果框架图2可以通过观察到的影响仪器、治疗、中介、不可观察因素和结果的协变量来增强,但为了简单起见,这里忽略了这一点。例如,假设在数据中观察到家庭财富,并影响教育决策和以后的生活收入,以及分配到托儿名额或大学学费减免的机会。因此,托儿名额和豁免是在财富相同的家庭中随机分配的,而不是在不同的财富水平之间分配的(例如,财富较低的家庭可能比财富较高的家庭有更高的机会获得一个名额或豁免)。与可观察物框架上的选择类似,测量因果通道所需的IV假设通常强于基于IV的(总)治疗效果评估所需的IV假设。

数据要求和可用性

适当的策略,考虑IV或可观察方法的选择(或两者都不),可以因经验问题而异,并且必须根据现有数据单独评估。首先,统计方法通常只有在存在面板数据时才显得可信,这些面板数据允许在不同时间点测量治疗、中介因素和结果变量,以便与本研究中考虑的因果框架相匹配插图

其次,只有当观察到大量变量时,假设才可能是合理的,这样才能排除共同影响治疗、中介和结果(在可观察对象选择的情况下)或仪器和结果(在IV的情况下)的未观察到的因素。例如,如果父母的收入既影响分配到高质量的儿童保育或获得大学学费减免的概率,也影响以后的生活结果(如收入),那么研究人员需要观察父母的收入,以避免混淆儿童保育或大学入学率与父母收入的影响。这就需要收集相当全面的研究参与者信息数据。

关于IV方法,一个进一步的警告是,可信的工具(不直接影响结果)可能很难在经验数据中找到。

到目前为止概述的方法的另一种选择是一个严格的定义,所谓的“结构动态模型”,它明确了在假设的因果框架内正式允许的任何可能的选择和渠道。在一项基于结构模型估计学校教育、工作和职业选择决策的研究中发现了一个例子[13].坦率地说,经济学理论取代了对可观察数据或IV假设进行选择的需要。虽然这种方法允许明确地关注兴趣的因果渠道,但它的有用性关键取决于狭义的理论模型的适当性,这在现实中可能并不成立。

局限性和差距

对以往文献的调查表明,分析因果渠道通常需要更强的行为(或识别)假设,而不仅仅是评估政策干预的(全部)因果效果。与此部分相关的是,在评估因果通道时,数据需求也更高。首先,需要观察一组相对丰富的特征,在某种程度上,对可观察物和IV假设的选择在中介分析的背景下显得可信。然而,一个数据集是否“足够丰富”最终不能通过统计方法直接检验,而是需要根据理论考虑和经验证据逐案判断。其次,通常需要一个面板数据集来测量所考虑的因果框架在不同时间发挥作用的各种因素(这种框架由初始治疗、中间中介、最终结果和可能观察到的需要控制的协变量组成)。

此外,并不是所有在政策评价中常用的方法都被转移到中介分析的语境中。例如,在“自然实验”的背景下使用的方法的可行性和优点(不是由研究人员在实验中指定的干预,但仍然包含准随机元素)尚未被考虑用于分析因果通道。这代表了在未来研究中进一步发展评价方法以解决和分析因果渠道的实质性领域。

摘要和政策建议

中介分析需要注意的是,它通常意味着更高的行为限制和数据要求,而不是某些政策干预的(总)因果效应分析。然而,如果这些问题能够令人满意地解决,那么中介分析可以通过评估特定的因果渠道更好地理解特定的因果影响。这可能会产生更准确的政策建议,特别是在涉及到政策干预(各组成部分)的优化设计时。例如,调解分析允许调查干预的特别感兴趣的特定方面,例如,作为针对求职者再就业的咨询过程的一部分,培训计划的安排有多重要。

随着丰富的数据和适当的软件包越来越多,中介分析在政策评价中的可行性和吸引力可能会增加。因此,建议在(设计)未来的政策评价时考虑到因果渠道的评估。通过设计政策实验,对政策干预(如求职者咨询)和中介因素(如培训参与)进行双重(或两步)随机化,可以最可靠地实现这一点。这意味着根据所选择的实验设计,上面讨论的几个行为假设是有效的。因此,政策制定者可能希望与研究人员合作开展此类实验,以改进对干预总因果效应的“经典”政策评估。

致谢

作者感谢两位匿名的推荐人和IZA劳动世界的编辑为早期的草稿提供了许多有用的建议。作者以前的作品(与Markus Frölich一起)包含了本文所介绍材料的大量背景参考,在本文的所有主要部分中都有大量使用[1]

相互竞争的利益

IZA劳动世界项目致力于IZA研究诚信指导原则.作者声明他遵守了这些原则。

©Martin Huber

证据地图

将政策效应分解为因果渠道

完整的引用

完整的引用

数据源(年代)

数据类型(年代)

方法(年代)

国家