实验的有用性

实验为项目评估人员提供了许多好处

当涉及到评估时，最根本的问题涉及到项目参与者的非随机选择(以及政策的管辖权，等等)。这个选择问题意味着，将参与者的结果与非参与者的结果进行比较，将以未知的比例，将项目的因果影响和即使没有项目也会出现的差异结合起来。一个执行良好的实验评估和一个足够规模的样本消除了对非随机选择的担忧，因此支持关于一个程序对随机分配的人群的影响的强有力的因果主张。

即使采用最先进的方法对高质量数据进行了强有力的非实验评估，因果关系的主张也总是笼罩着怀疑的阴霾。换句话说，非实验性评估总是会引起对程序中非随机选择的关注。非实验方法和非参与者比较组的观察数据的每一种组合都解决了特定假设下的非随机选择问题，但这些假设至少在一定程度上是不可检验的。

相比之下，实验直接解决了非随机选择的问题，通过随机强迫一些本来会参加一个项目的人不这样做。实验提供了这一重要的因果关系服务，无论他们是试图估计平均治疗效果还是“结构性”参数，如美国负所得税实验中的劳动力供给弹性。因此，虽然实验需要对某些事情进行假设(下面将讨论)，但为了对随机分配的人群提供令人信服的因果效应估计，它们不需要对程序的选择过程进行假设。

此外，实验在概念上的简单性有助于使它们提供的证据更容易被非专业人士理解，从而使他们更有说服力。正如著名经济学家加里·伯特利斯(Gary Burtless)所解释的那样:“因为政策制定者可以很容易地掌握一个简单实验的结果和意义，所以他们专注于结果对改变公共政策的影响……政治家更有可能根据他们认为令人信服的结果采取行动。”［2］。大多数人都明白随机化是如何导致因果关系的一个令人信服的案例，特别是在没有体现下面讨论的太多限制的实验中。

此外，实验减少了有意识或无意识的研究者偏见影响影响估计的可能性。采用非实验方法的研究人员通常在选择如何进行分析方面有更多的自由度。例如，在使用匹配方法的评估中，研究人员既选择匹配变量集，也选择匹配过程的细节。即使对专家读者来说，导致估计影响的实质性有意义差异的选择也可能同样合理，正如上文提到的CETA评估。实验并没有使操纵变得不可能，但它们通常会降低操纵的可能性。

最后，实验具有重要的知识溢出效应。一个庞大且不断增长的文献使用实验影响作为基准来检查非实验方法和数据的替代组合的性能。例如，有一组论文利用美国JTPA实验的实验结果，研究了非实验评价设计的各个方面［3］。这些包括特定类型的条件变量的价值，比较结果趋势和结果水平之间的选择，以及是否将比较组定位为与参与者相同的当地劳动力市场的选择。通过比较使用不同计量经济学方法、不同对照组数据和不同条件变量集获得的非实验估计，这些研究提供了关于什么有效、什么无效的证据，这些证据在最近的非实验评估中被证明是有价值的。由于实验的较高财政和政治成本意味着它们永远不会完全取代非实验评估，因此利用实验来了解如何设计更有说服力的非实验评估是一项重要贡献。

在程序评估中使用实验的潜在缺点

尽管实验有明显的好处，但相对于非实验程序评估，实验有一些独特的特征，这可能导致它们产生较差的估计。此外，随机分配可能会加剧一些非实验评估中出现的问题。然而，并非所有的缺陷都适用于所有的实验设计，而且大多数限制了“外部效度”，即将实验结果推广到其他人群的能力，而不是“内部效度”，即对那些实际随机化的人的因果解释。

首先，考虑到当不是治疗组的每个人都接受了这个程序，和/或实验对照组的一些人接受了它或一些类似的程序(尽管他们不应该接受的具体意图)时出现的解释问题。一些被分配到治疗组的人可能无法参与(“没有出现”)，或者完全参与(“辍学”)。缺席(和退学)的出现可能是因为治疗小组的成员找到了工作，或者搬家，或者进了监狱，或者只是对一个自愿项目了解得更多，然后决定不喜欢它。同样，控制组的成员可能会通过加入该项目来挫败实验协议，或者，更常见的是，他们可能会从其他来源或使用替代资金获得相同或类似的服务;文献称之为“对照组替代”。缺席和退学的可能性取决于实验设计的特征，例如随机分配和服务接收之间的时间滞后，以及治疗的性质。操纵预算集的治疗(例如收入补贴)通常不会有这些问题，因为个人无论如何都会收到这些问题，而涉及服务收据的治疗通常会。控制组替代还取决于程序化环境:集中式环境中，只有一个机构提供给定的服务类型，它将较少。根据经验，许多实验评估显示，治疗组缺席(和辍学)和对照组在实质上相关的水平上参与相同或类似的项目［４］。

文献提供了两个主要的方法来处理这个分配问题。第一种方法将实验对比——实验实验组和实验对照组之间观察到的平均结果的差异——重新解释为实验组的平均影响提供治疗而不是治疗收据。文献称其为“治疗意向”(ITT)参数。在自愿项目的背景下，政府可以提供项目，但不要求它，提供的平均影响回答了一个相关的政策问题:“在现有的项目中增加一个选择的平均影响是什么?”这个答案可能与在实验中得到的政策问题有很大的不同，在实验中，每个治疗组成员都得到了治疗，而对照组成员没有得到治疗，即:“治疗和不治疗的平均影响是什么?”

第二种方法是用实验平均差异除以实验组中接受治疗方案的个体比例与对照组中接受类似治疗方案的个体比例之差。例如，在一个实验评估中，实验实验组参与项目的概率为0.6，对照组成员参与非常相似项目的概率为0.2，则实验均值差按比例放大0.6 - 0.2 = 0.4。为了直观地看出这一点，假设该程序和与其相近的替代程序对每个人的影响都是10，并且两个组的成员都有相同的未经处理的结果100。在本例中，治疗组平均结果为106 = 100 +(0.6)(10)，对照组平均结果为102 = 100 +(0.2)(10)。实验平均差等于4(= 106 - 102)。用实验均值差除以参与概率差可以得到10 = 4 / 0.4的共同影响。在更一般的情况下，项目对个体的影响是不同的，重新调整的实验平均差异提供了(在某些，通常是合理的假设下)对个体的平均影响依令行事的人——之所以这么说，是因为他们在被分配到治疗组时接受治疗，而在被分配到对照组时不接受治疗，从而遵守了实验方案。对编纂者的平均影响为ITT政策问题的成本效益分析提供了信息，但对于该项目对那些愿意接受它或类似项目的人的影响，无论他们被分配到治疗组还是对照组，却没有任何说明。

在许多机构设置中，个人必须明确同意参与(即选择加入而不是选择退出)使用随机分配的研究，但可能在没有明确同意的情况下被纳入非实验研究。在实践中，有些人会拒绝接受随机分配。这些人可能有非常高的风险厌恶程度，或者对随机分配有哲学上的反对，或者只是相反或困惑。这类人的数量往往很小(可以通过深思熟虑的营销努力使其更小)，但并非微不足道。关于这一现象的非常有限的经验证据提出了这样一种可能性，即治疗对排除自己的个体的平均影响可能不同于对同意参与的个体的平均影响，这意味着实验影响对那些在没有实验的情况下会参与该计划的个体群体的影响提供了一个不完美的指导［5］。

在许多情况下，实验中的部分或全部个人将知道他们正在参与的评估可能会产生政策后果，而非实验评估中的个人则不会。这种认识增加了改变行为的可能性，从而改变实验的结果，从而影响政策。例如，文献中包括了一些个案工作者的例子，他们忽略了统计处理规则中关于最佳培训任务的信息，也许是因为他们没有看到其中的价值，或者可能是因为他们认为统计处理规则对他们的工作构成了威胁，并认为他们可以通过在影响评估中导致无效发现的方式来扼杀它[6]。同样，在一项试验性评估中，实验组接受财务绩效激励，对照组的教师可能会出于意识形态的原因，更加努力地工作。这种反应破坏了实验评估的完整性，使其结果对政策的价值有限。

现有项目的实验评估(与示范项目相反)面临着在对照组的规模和在没有实验的情况下保持项目运行规模的愿望之间的权衡。考虑一个每年为大约1000名参与者提供服务的项目。将这些参与者中的一半随机分配到对照组，将服务人数减少到500人。这可能意味着项目工作人员的裁员，或者，如果这些工作人员被保留下来，那么随机分配到治疗组的个人会得到比没有实验时更好的服务。前者可能会引起政治上的麻烦，或者意味着在实验结束后组织希望拥有的有价值的员工的流失，而后者改变了项目的性质，因此使得实验估计成为一个有问题的项目影响指南，因为它通常运作。或者，在某些情况下，项目可以选择从那些没有随机分配就不会服务的参与者中招募额外的参与者。在当前示例中，这将允许将服务数量保持在1,000。但是，如果该计划对新招募的参与者的平均影响不同于该计划正常运行时的参与者，那么实验估计将再次提供正常情况下该计划影响的误导性图片。

实验的最后一个缺点涉及到分散项目中的地方合作。考虑一个通过当地就业中心网络运作的积极劳动力市场项目。以最大的普遍性为目标的评估要么考虑所有的中心，要么考虑它们的一个(足够大的)随机样本。在非实验评估中，让被选中的中心参与通常是很容易的，因为除了分享一些数据外，参与可能对他们要求很少。相比之下，在实验中获得当地合作面临更大的挑战，因为随机分配评估所带来的成本要高得多:选定的站点必须建立、运营和记录随机分配，而且它们必须拒绝向原本可以提供服务的个人提供服务。即使在中央行政机关不需要地方机关参与的情况下，实施随机分配也需要地方机关的高度配合。在美国JTPA实验中，评估人员必须联系600个培训中心中的大约200个(并且必须提供大量的额外支付和其他让步)，才能让16个参与实验［7］。不用说，对从这16个中心获得的影响进行概括的合理性的担忧困扰着对实验结果的讨论。