Q：從事政策評估時，在下列的實驗設計圖示中符號C所代表的意義為何？
E X O1
C O2
(A)實驗組 (B)控制組 (C)評估的政策 (D)衡量的效果
ANS：
這是公共政策中的第三代政策評估，出題典試委員一定是邱昌泰！這些實驗設計一二三四代的鬼東西，連公行所的學生都不一定念得通！
還好題目問得還不深，萬一問最完美的「所羅門四組設計」，大家都會瘋掉！
這一大段公共政策的東西，只是兩個美國學者拿來整人用的，弄了半天，結論是這種實驗設計「不實用也不好用」！
台灣的教授把這些學者的論述翻譯成中文編在自己的書裡表示自己與眾不同，然後考試時用來修理考生，實在太超過了！
C代表控制組（Control）
E代表實驗組（Experiment）
X代表實驗處理或政策的採行
O代表觀察、測量結果
R代表隨機分配
第三代政策評估
第三代實驗評估學者乃將實驗設計原理從實驗室、田野擴展到整個社會或政府所推動的公共政策，以實驗成果作為評估政策的主要方法論。
坎貝爾與史坦利（Campbell and Stanley, 1963）的實驗與準實驗設計（Experimental and Quasi-experimental designs for Research），介紹許多實驗設計的方法，成為社會或政策實驗的代表性著作。
六、七○年代美國政府推動重要的社會或政策實驗如：負所得稅實驗（Negative Income Tax Experiment）、國民住宅實驗與啟蒙計劃（Head Start）。
三、實驗設計的類型
（一）前實驗設計
前實驗設計可以分為三種類型：在各類型中，X代表實驗變項或稱為政策干預；O1代表政策實施之前的政策效果，O2代表政策實施之後的政策效果。
1. 單組後測設計（one-shot case study）
X O
此一設計的缺點在於：（1）欠缺測定政策實施之前的效果；（2）欠缺比較組，無法確定X的改變是否會帶來O的改變。
2. 單組前測後測設計
O1 X O2
優點為有政策實施前後的效果加以衡量，但仍欠缺比較組的設計，仍然無法確定O2與O1之間的變化是否真正由於X的影響。影響O2與O1之間的變化因素很多，諸如：歷史因素、心理或生理的成熟、測量工具失去測量效果等，在這個實驗中，無法排除前述因素影響結果的可能性。
3. 靜態組比較設計
E
X O1
C O2(在上下兩行間有虛線，抱歉我畫不出來)
優點為有比較組的設計，可以確定O2與O1之間的變化可能受到X的影響。但這種比較的基礎相當脆弱，因為實驗組與控制組的成員選擇相當重要，如果沒有按照隨機抽樣的法則加以抽取，則這種比較是沒有意義的。
（二）真實驗設計
4.實驗組控制組前測後測設計
R E O1 X O2 DE= O2- O1
C O3 O4 DE= O3- O4 （在上下二行間有一條實線，R也是居中）
在所有政策實驗中，本類型使用的狀況最為頻繁，故政策評估學者將它稱為「古典實驗設計」。這個實驗組有許多好處：（1）它有實驗組與控制組，可以系統比較實驗變項之效果；（2）同時，實驗組與控制組的成員是依隨機抽樣原理而組成的；（3）有政策實施前後的效果，可以肯定政策的效果。因此，這個實驗設計的最大優點為具有內在效度，但欠缺外在效度，無法將本實驗推廣到其他政策環境上。
5.實驗組控制組後測設計
R E X O1 C O2 （在上下二行間有實線，R也是居中，代表隨機分配）
這個實驗設計取消了前項設計中的測定前之政策效果，故可以提高實驗中的內在效度，但外在效度的問題仍然無法解決。
6.所羅門四組設計（最完美的設計）
E1 O1 X O2 R C1 O3 O4←—實驗四
E2 X O5
C2 O6←—實驗五 （在上面四行中有三條實線，R是位於C1和E2的中間位置）
這個實驗設計結合了前面兩種實驗設計，而成為一種同時可以控制內在效度與外在效度的實驗，因此，是一種相當完美的實驗設計；但由於它的運用程序過於繁複，而且實驗組接受的實驗次數太多，容易出現測驗的反感作用。特別是由於實驗情境太過複雜，本研究的運用情況並不理想。
（三）準實驗設計
7. 間斷時間序列分析法（interrupted Time-series analysis）
間斷時間序列分析法指政策行動執行某段期間以後，以統計上的時間序列方式加以表達的過程。
O1 O2 O3 O4 X O5 O6 O7 O8
依此，我們可以得知：
它所要描述的對象是政策行動所造成的結果，如機車騎士一律配戴安全帽的政策，我們所要描述的對象是機車騎士的車禍死亡率。
必須以統計上的時間序列加以表達，至於時間單位為何？並沒有嚴格規定，如空氣污染監測資料，幾乎每天都有；車禍死亡率則可能僅有月報表。
8. 控制序列分析（control-series analysis）
間斷時間序列分析的最大缺點在於政策結果的不確定性，因為縱使我們發現政策結果A與B是受到政策行動的干預而發生效果，但仍欠缺充份的証據肯定政策發生干預的結果，因為可能有其他政策以外的因素會影響此一結果的變化；為了解決這個問題，最好的辦法為將原來的結果視為實驗組，另外再找出一個條件相似的控制組兩相比較，這就是控制序列分析的基本概念。
E O1 O2 O3 O4 X O5 O6 O7 O8 C O9 O10 O11 O12 O13 O14 O15 O16 （E、C二行間有一條實線）
四、實驗設計的缺點
（一）實驗設計無法應用在複雜的公共政策情境上；
（二）實驗設計的結果過度的人為化，無法應用於自然的社會與人類行為環境上；
（三）人本身是無法進行實驗的，實驗應遵守實驗倫理與規範；
（四）人是有思想、有動機的動物，實驗無法觀察到人類的這些內在意涵。
