Q：从事政策评估时，在下列的实验设计图示中符号C所代表的意义为何？
E X O1
C O2
(A)实验组 (B)控制组 (C)评估的政策 (D)衡量的效果
ANS：
这是公共政策中的第三代政策评估，出题典试委员一定是邱昌泰！这些实验设计一二三四代的鬼东西，连公行所的学生都不一定念得通！
还好题目问得还不深，万一问最完美的「所罗门四组设计」，大家都会疯掉！
这一大段公共政策的东西，只是两个美国学者拿来整人用的，弄了半天，结论是这种实验设计「不实用也不好用」！
台湾的教授把这些学者的论述翻译成中文编在自己的书里表示自己与众不同，然后考试时用来修理考生，实在太超过了！
C代表控制组（Control）
E代表实验组（Experiment）
X代表实验处理或政策的采行
O代表观察、测量结果
R代表随机分配
第三代政策评估
第三代实验评估学者乃将实验设计原理从实验室、田野扩展到整个社会或政府所推动的公共政策，以实验成果作为评估政策的主要方法论。
坎贝尔与史坦利（Campbell and Stanley, 1963）的实验与准实验设计（Experimental and Quasi-experimental designs for Research），介绍许多实验设计的方法，成为社会或政策实验的代表性着作。
六、七○年代美国政府推动重要的社会或政策实验如：负所得税实验（Negative Income Tax Experiment）、国民住宅实验与启蒙计划（Head Start）。
三、实验设计的类型
（一）前实验设计
前实验设计可以分为三种类型：在各类型中，X代表实验变项或称为政策干预；O1代表政策实施之前的政策效果，O2代表政策实施之后的政策效果。
1. 单组后测设计（one-shot case study）
X O
此一设计的缺点在于：（1）欠缺测定政策实施之前的效果；（2）欠缺比较组，无法确定X的改变是否会带来O的改变。
2. 单组前测后测设计
O1 X O2
优点为有政策实施前后的效果加以衡量，但仍欠缺比较组的设计，仍然无法确定O2与O1之间的变化是否真正由于X的影响。影响O2与O1之间的变化因素很多，诸如：历史因素、心理或生理的成熟、测量工具失去测量效果等，在这个实验中，无法排除前述因素影响结果的可能性。
3. 静态组比较设计
E
X O1
C O2(在上下两行间有虚线，抱歉我画不出来)
优点为有比较组的设计，可以确定O2与O1之间的变化可能受到X的影响。但这种比较的基础相当脆弱，因为实验组与控制组的成员选择相当重要，如果没有按照随机抽样的法则加以抽取，则这种比较是没有意义的。
（二）真实验设计
4.实验组控制组前测后测设计
R E O1 X O2 DE= O2- O1
C O3 O4 DE= O3- O4 （在上下二行间有一条实线，R也是居中）
在所有政策实验中，本类型使用的状况最为频繁，故政策评估学者将它称为「古典实验设计」。这个实验组有许多好处：（1）它有实验组与控制组，可以系统比较实验变项之效果；（2）同时，实验组与控制组的成员是依随机抽样原理而组成的；（3）有政策实施前后的效果，可以肯定政策的效果。因此，这个实验设计的最大优点为具有内在效度，但欠缺外在效度，无法将本实验推广到其他政策环境上。
5.实验组控制组后测设计
R E X O1 C O2 （在上下二行间有实线，R也是居中，代表随机分配）
这个实验设计取消了前项设计中的测定前之政策效果，故可以提高实验中的内在效度，但外在效度的问题仍然无法解决。
6.所罗门四组设计（最完美的设计）
E1 O1 X O2 R C1 O3 O4←—实验四
E2 X O5
C2 O6←—实验五 （在上面四行中有三条实线，R是位于C1和E2的中间位置）
这个实验设计结合了前面两种实验设计，而成为一种同时可以控制内在效度与外在效度的实验，因此，是一种相当完美的实验设计；但由于它的运用程序过于繁复，而且实验组接受的实验次数太多，容易出现测验的反感作用。特别是由于实验情境太过复杂，本研究的运用情况并不理想。
（三）准实验设计
7. 间断时间序列分析法（interrupted Time-series analysis）
间断时间序列分析法指政策行动执行某段期间以后，以统计上的时间序列方式加以表达的过程。
O1 O2 O3 O4 X O5 O6 O7 O8
依此，我们可以得知：
它所要描述的对象是政策行动所造成的结果，如机车骑士一律配戴安全帽的政策，我们所要描述的对象是机车骑士的车祸死亡率。
必须以统计上的时间序列加以表达，至于时间单位为何？并没有严格规定，如空气污染监测资料，几乎每天都有；车祸死亡率则可能仅有月报表。
8. 控制序列分析（control-series analysis）
间断时间序列分析的最大缺点在于政策结果的不确定性，因为纵使我们发现政策结果A与B是受到政策行动的干预而发生效果，但仍欠缺充份的证据肯定政策发生干预的结果，因为可能有其他政策以外的因素会影响此一结果的变化；为了解决这个问题，最好的办法为将原来的结果视为实验组，另外再找出一个条件相似的控制组两相比较，这就是控制序列分析的基本概念。
E O1 O2 O3 O4 X O5 O6 O7 O8 C O9 O10 O11 O12 O13 O14 O15 O16 （E、C二行间有一条实线）
四、实验设计的缺点
（一）实验设计无法应用在复杂的公共政策情境上；
（二）实验设计的结果过度的人为化，无法应用于自然的社会与人类行为环境上；
（三）人本身是无法进行实验的，实验应遵守实验伦理与规范；
（四）人是有思想、有动机的动物，实验无法观察到人类的这些内在意涵。
