Assignment 1: Ethical Dilemma
A PPE N DIX A ppen dix A : F io n a's C hoic e : A n E th ic a l D ile m ma f o r a P ro gra m E va lu ato r F io n a B arn es d id n ot f e el w ell a s t h e d ep u ty c o m mis sio n er's o ffic e d oor c lo se d b eh in d h er. S h e w alk ed b ack t o h er o ffic e w on derin g w hy b ad n ew s s e em s t o c o m e o n F rid ay a ft e rn oon s. S it tin g a t h er d esk , s h e w en t o ver t h e e v en ts o f t h e p ast s e v era l d ays a n d t h e d ecis io n t h at l a y a h ea d o f h er. T his w as c le a rly t h e m ost d if fic u lt s it u atio n t h at s h e h ad e n co u n te re d s in ce h er p ro m otio n t o t h e p osit io n o f d ir e cto r o f e v a lu atio n i n t h e D ep artm en t o f H um an S erv ic e s.
F io n a's p re d ic a m en t h ad b eg u n t h e d ay b efo re , w hen t h e n ew c o m mis sio n er, F ra n A tk in , h ad c a lle d a m eetin g w it h F io n a a n d t h e d ep u ty c o m mis sio n er. T he g o vern or w as i n a d if fic u lt p osit io n : I n h is r e ce n t e le ctio n c a m paig n , h e h ad m ad e p ote n tia lly c o n fli c tin g c a m paig n p ro m is e s. H e h ad p ro m is e d t o r e d u ce t a x es a n d h ad a ls o p ro m is e d t o m ain ta in e x is tin g h ea lt h a n d s o cia l p ro gra m s, w hile b ala n cin g t h e s ta te b u dget.
T he w eek b efo re , a l o u d a n d l e n gth y m eetin g o f t h e c o m mis sio n ers i n t h e s ta te g o vern m en t h ad r e su lt e d i n a c o u rs e o f a ctio n i n te n ded t o r e so lv e t h e i s su e o f c o n fli c tin g e le ctio n p ro m is e s. F ra n A tk in h ad b een p ers u ad ed b y t h e g o vern or t h at s h e s h ou ld m eet w it h t h e s e n io r s ta ff i n h er d ep artm en t, a n d a ft e r t h e m eetin g, a m ajo r e v a lu atio n o f t h e d ep artm en t's p ro gra m s w ou ld b e a n nou n ce d . T he e v a lu atio n w ou ld p ro vid e t h e g o vern or w it h s o m e p ost e le ctio n b re a th in g s p ace . B ut t h e e v a lu atio n r e su lt s w ere p re d ete rm in ed — th ey w ou ld b e u se d t o j u stif y p ro gra m c u ts . I n s u m , a “ c o m passio n ate ” b u t s u bsta n tia l r e d u ctio n i n t h e d ep artm en t's s o cia l p ro gra m s w ou ld b e m ad e t o e n su re t h e d ep artm en t's c o n tr ib u tio n t o a b ala n ce d b u dget.
A s t h e n ew c o m mis sio n er, F ra n A tk in r e li e d o n h er d ep u ty c o m mis sio n er, E li n or A m es. E li n or h ad b een o n e o f s e v era l d ep u tie s t o c o n tin ue o n u n der t h e n ew a d m in is tr a tio n a n d h ad b een h ea vily c o m mit te d t o d ev elo p in g a n d i m ple m en tin g k ey p ro gra m s i n t h e d ep artm en t, u n der t h e p re v io u s a d m in is tr a tio n . H er s u cce ss i n d oin g t h at h ad b een a p rin cip al r e a so n w hy s h e h ad b een p ro m ote d t o d ep u ty c o m mis sio n er.
O n W ed n esd ay, t h e d ay b efo re t h e m eetin g w it h F io n a, F ra n A tk in h ad m et w it h E li n or A m es t o e x p la in t h e d ecis io n r e a ch ed b y t h e g o vern or, d ow npla yin g t h e c o n te n tio u sn ess o f t h e d is c u ssio n . F ra n h ad a ck n ow le d ged s o m e d is c o m fo rt w it h h er p osit io n , b u t s h e b eli e v ed h er d ep artm en t n ow h ad a m an date . P ro ce ed in g w it h i t w as i n t h e p u bli c 's i n te re st.
E li n or w as u pse t w it h t h e g o vern or's d ecis io n . S h e h ad f o u gh t h ard o ver t h e y ea rs t o b u ild t h e p ro gra m s i n q u estio n . N ow s h e w as b ein g t o ld t o d is m an tle h er l e g acy — pro gra m s s h e b eli e v ed i n t h at m ad e u p a c o n sid era b le p art o f h er b u dget a n d p ers o n y ea r a llo ca tio n s.
I n h er m eetin g w it h F io n a o n F rid ay a ft e rn oon , E li n or h ad f ille d F io n a i n o n t h e p oli t ic a l r a tio n ale f o r t h e d ecis io n t o c u t h um an s e rv ic e p ro gra m s. S h e a ls o m ad e c le a r w hat F io n a h ad s u sp ecte d w hen t h ey h ad m et w it h t h e c o m mis sio n er e a rli e r t h at w eek — th e o u tc o m es o f t h e e v a lu atio n w ere p re d ete rm in ed : T hey w ou ld s h ow t h at k ey p ro gra m s w here s u bsta n tia l r e so u rc e s w ere t ie d u p w ere n ot e ffe ctiv e a n d w ou ld b e u se d t o j u stif y c u ts t o t h e d ep artm en t's p ro gra m s.
F io n a w as u pse t w it h t h e c o m mis sio n er's i n te n ded u se o f h er b ra n ch . E li n or, w atc h in g F io n a's r e a ctio n s c lo se ly , h ad e x p re sse d s o m e r e g re t o ver t h e s it u atio n . A ft e r s o m e h esit a tio n , s h e s u ggeste d t h at s h e a n d F io n a c o u ld w ork o n t h e e v a lu atio n t o geth er, “ to e n su re t h at i t m eets o u r n eed s a n d i s d on e a cco rd in g t o o u r s ta n dard s.” A ft e r p au sin g o n ce m ore , E li n or a d ded , “ O f c o u rs e , F io n a, i f y o u d o n ot f e el t h at t h e b ra n ch h as t h e c a p ab ili t ie s n eed ed t o u n derta k e t h is p ro je ct, w e c a n c o n tr a ct i t o u t. I k n ow s o m e g o od p eo p le i n t h is a re a .” F io n a w as s h ow n t o t h e d oor a n d a sk ed t o t h in k a b ou t i t o ver t h e w eek en d.
F io n a B arn es t o ok p rid e i n h er g ro w in g r e p u ta tio n a s a c o m pete n t a n d s e rio u s d ir e cto r o f a g o od e v a lu atio n s h op . H er p eo p le d id g o od w ork t h at w as v ie w ed a s b ein g h on est, a n d t h ey p rid ed t h em se lv es o n b ein g a b le t o h an dle a n y w ork t h at c a m e t h eir w ay. E li n or A m es h ad a p poin te d F io n a t o t h e j o b , a n d n ow t h is .
Y ou r T ask A naly ze t h is c a se a n d o ffe r a r e so lu tio n t o F io n a's d ile m ma. S h ou ld F io n a u n derta k e t h e e v a lu atio n p ro je ct? S h ou ld s h e a g re e t o h ave t h e w ork c o n tr a cte d o u t? W hy?
I n r e sp on din g t o t h is c a se , c o n sid er t h e i s su es o n t w o l e v els : ( 1 ) l o ok a t t h e i s su es t a k in g i n to a cco u n t F io n a's p ers o n al s it u atio n a n d t h e “ b en efit s a n d c o sts ” o f t h e o p tio n s a va ila b le t o h er a n d ( 2 ) l o ok a t t h e i s su es f r o m a n o rg an iz a tio n al s ta n dpoin t, a g ain w eig h in g t h e “ b en efit s a n d t h e c o sts .” U lt im ate ly , y o u w ill h ave t o d ecid e h ow t o w eig h t h e b en efit s a n d c o sts f r o m b oth F io n a's a n d t h e d ep artm en t's s ta n dpoin ts .
R EFE R EN CE S A berc ro m bie , M . L . J . ( 1 9 60 ). T he a n ato m y o f j u dgm en t: A n i n vestig atio n i n to t h e p ro ce sse s o f p erce p tio n a n d r e a so n in g. N ew Y ork : B asic B ooks. A lt s c h uld , J . ( 1 9 99). T he c e rtif ic a tio n o f e v a lu ato rs : H ig h li g h ts f r o m a r e p ort s u bm it te d t o t h e B oard o f D ir e cto rs o f t h e A m eric a n E va lu atio n A sso cia tio n . A m eric a n J o u rn al o f E va lu atio n , 2 0 ( 3 ), 4 8 1– 49 3. A m eric a n E va lu atio n A sso cia tio n . ( 1 9 95). G uid in g p rin cip le s f o r e v a lu ato rs . N ew D ir e ctio n s f o r P ro g ra m E va lu atio n , 6 6 , 1 9 – 26 . A m eric a n E va lu atio n A sso cia tio n . ( 2 0 04). G uid in g p rin cip le s f o r e v a lu ato rs. R etr ie v ed f r o m h ttp :/ /w ww.e va l.o rg /P ubli c a tio n s/G uid in gP rin cip le s.a sp A yto n , P . ( 1 9 98 ). H ow b ad i s h um an j u dgm en t? I n G . W rig h t & P . G ood w in ( E ds.) , F ore ca stin g w it h j u dgem en t ( p p. 2 37– 26 7). C hic h este r, W est S u sse x , U K: J o h n W ile y . B am berg er, M ., R ugh , J ., & M ab ry , L . ( 2 0 12 ). R ea l w orld e v a lu atio n : W ork in g u n der b u dget, t im e, d ata , a n d p oli t ic a l c o n str a in ts ( 2 n d e d .) . T hou sa n d O ak s, C A : S ag e. B asile v sk y, A ., & H um , D . ( 1 9 8 4). E xp erim en ta l s o cia l p ro g ra m s a n d a n aly tic m eth od s: A n e v a lu atio n o f t h e U .S . i n co m e m ain te n an ce p ro je cts . O rla n do, F L : A ca d em ic P re ss. B erk , R . A ., & R ossi, P . H . ( 1 9 99). T hin kin g a bou t p ro g ra m e v a lu atio n ( 2 n d e d .) . T hou sa n d O ak s, C A : S ag e.
B ic k m an , L . ( 1 9 97). E va lu atin g e v a lu atio n : W here d o w e g o f r o m h ere ? E va lu atio n P ra ctic e , 1 8 ( 1 ), 1 – 1 6 .
B ra n don , P ., S m it h , N ., & H wale k , M . ( 2 0 11). A sp ects o f s u cce ssfu l e v a lu atio n p ra ctic e a t a n e sta b li s h ed p riv a te e v a lu atio n f ir m . A m eric a n J o u rn al o f E va lu atio n , 3 2 ( 2 ), 2 9 5– 30 7. C am pbell C olla b ora tio n . ( 2 0 10 ). A bou t u s. R etr ie v ed f r o m h ttp :/ /w ww.c a m pbellc o lla b ora tio n .o rg /a b ou t_ us/in dex .p h p C am pbell, D . T . ( 1 9 91). M eth od s f o r t h e e x p erim en tin g s o cie ty . E va lu atio n P ra ctic e , 1 2 ( 3 ), 2 23– 26 0 . C an ad ia n E va lu atio n S ocie ty . ( 2 0 12 a). C E S g u id eli n es f o r e th ic a l c o n duct. R etr ie v ed f r o m h ttp :/ /w ww.e va lu atio n ca n ad a.c a /s it e .c g i? s= 5& ss= 4& _la n g= en C an ad ia n E va lu atio n S ocie ty . ( 2 0 12 b ). P ro g ra m e v a lu atio n s ta n dard s. R etr ie v ed f r o m h ttp :/ /w ww.e va lu atio n ca n ad a.c a /s it e .c g i? s= 6& ss= 10 & _la n g= E N C an ad ia n I n stit u te s o f H ea lt h R ese a rc h , N atu ra l S cie n ce s a n d E ngin eerin g R ese a rc h C ou n cil o f C an ad a, & S ocia l S cie n ce s a n d H um an it ie s R ese a rc h C ou n cil o f C an ad a. ( 2 0 10 ). T ri c o u n cil p oli c y s ta te m en t: E th ic a l c o n duct f o r r e se a rch i n volv in g h u m an s, D ece m ber 2 0 10 . R etr ie v ed f r o m h ttp :/ /w ww.p re .e th ic s.g c.c a /p d f/ e n g/tc p s2 /T C PS_ 2_ FIN AL_ W eb .p d f C hen , H . T ., D on ald so n , S . I ., & M ark , M . M . ( 2 0 11). V ali d it y f r a m ew ork s f o r o u tc o m e e v a lu atio n . N ew D ir e ctio n s f o r E va lu atio n , 2 0 11 ( 1 3 0 ), 5 – 16 . C ook, T . D ., & C am pbell, D . T . ( 1 9 79 ). Q uasi e x p erim en ta tio n : D esig n & a n aly sis i s su es f o r f ie ld s e ttin gs. C hic a g o , I L : R an d M cN ally . C ook, T . D ., S criv en , M ., C ory n , C . L ., & E verg re en , S . D . ( 2 0 10 ). C on te m pora ry t h in kin g a b ou t c a u sa tio n i n e v a lu atio n : A d ia lo gu e w it h T om C ook a n d M ic h ael S criv en . A m eric a n J o u rn al o f E va lu atio n , 3 1 ( 1 ), 1 0 5– 117 . C ooksy , L . J . ( 2 0 08). C halle n ges a n d o p portu n it ie s i n e x p erie n tia l l e a rn in g. A m eric a n J o u rn al o f E va lu atio n , 2 9 ( 3 ), 3 4 0 – 34 2. C ro n bach , L . J . ( 1 9 8 0 ). T ow ard r e fo rm o f p ro g ra m e v a lu atio n ( 1 s t e d .) . S an F ra n cis c o , C A : J o sse y B ass.
C ro n bach , L . J . ( 1 9 8 2). D esig n in g e v a lu atio n s o f e d uca tio n al a n d s o cia l p ro g ra m s ( 1 s t e d .) . S an F ra n cis c o , C A : J o sse y B ass.
E pste in , R . M . ( 1 9 99). M in dfu l p ra ctic e . J o u rn al o f t h e A m eric a n M ed ic a l A sso cia tio n , 2 8 2 ( 9 ), 8 33– 8 39 .
E pste in , R . M . ( 2 0 03). M in dfu l p ra ctic e i n a ctio n ( I ): T ech n ic a l c o m pete n ce , e v id en ce b ase d m ed ic in e, a n d r e la tio n sh ip c e n te re d c a re . F am ili e s, S yste m s & H ea lt h , 2 1 ( 1 ), 1 – 9. E pste in , R . M ., S ie g el, D . J ., & S ilb erm an , J . ( 2 0 08). S elf m on it o rin g i n c li n ic a l p ra ctic e : A c h alle n ge f o r m ed ic a l e d u ca to rs . J o u rn al o f C on tin uin g E duca tio n i n t h e H ea lt h P ro fe ssio n s , 2 8 ( 1 ), 5 – 13 . E ra u t, M . ( 1 9 94). D ev elo p in g p ro fe ssio n al k n ow le d ge a n d c o m pete n ce . W ash in gto n , D C: F alm er P re ss.
F is h , D ., & C ole s, C . ( 1 9 98 ). D ev elo p in g p ro fe ssio n al j u dgem en t i n h ea lt h c a re : L ea rn in g t h ro u gh t h e c r it ic a l a p pre cia tio n o f p ra ctic e . B osto n , M A: B utte rw orth H ein em an n. F ord , R ., G ya rm ati, D ., F ole y , K ., T attr ie , D ., & J im en ez, L . ( 2 0 03). C an w ork i n ce n tiv es p ay f o r t h em se lv es? F in al r e p ort o n t h e S elf S u ffic ie n cy P ro je ct f o r w elf a re a p pli c a n ts . O tta w a, O nta rio , C an ad a: S ocia l R ese a rc h a n d D em on str a tio n C orp ora tio n .
G arv in , D . A . ( 1 9 93). B uild in g a l e a rn in g o rg an iz a tio n . H arv a rd B usin ess R ev ie w , 7 1 ( 4 ), 7 8 – 90 . G here , G ., K in g, J . A ., S te v a h n , L ., & M in nem a, J . ( 2 0 06). A p ro fe ssio n al d ev elo p m en t u n it f o r r e fle ctin g o n p ro gra m e v a lu ato r c o m pete n cie s. A m eric a n J o u rn al o f E va lu atio n , 2 7 ( 1 ), 1 0 8– 12 3. G ib bin s, M ., & M aso n , A . K . ( 1 9 8 8). P ro fe ssio n al j u dgm en t i n f in an cia l r e p ortin g. T oro n to , O nta rio , C an ad a: C an ad ia n I n stit u te o f C harte re d A cco u n ta n ts .
G usta fs o n , P . ( 2 0 03). H ow r a n dom m ust r a n dom a ssig n m en t b e i n r a n dom a ssig n m en t e x p erim en ts ? O tta w a, O nta rio , C an ad a: S ocia l R ese a rc h a n d D em on str a tio n C orp ora tio n . H en ry , G . T ., & M ark , M . M . ( 2 0 03). T ow ard a n a g en da f o r r e se a rc h o n e v a lu atio n . N ew D ir e ctio n s f o r E va lu atio n , 9 7 , 6 9– 80 . H ig gin s, J ., & G re en , S . ( E ds.) . ( 2 0 11). C och ra n e h a n dbook f o r s y ste m atic r e v ie w s o f i n te rv en tio n s: V ersio n 5 .0 .2 ( u pd ate d M arc h 2 0 11). T he C och ra n e C olla b ora tio n 2 0 11. R etr ie v ed f r o m w ww.c o ch ra n eh an dbook.o rg H ou se , E . R ., & H ow e, K . R . ( 1 9 99). V alu es i n e v a lu atio n a n d s o cia l r e se a rch . T hou sa n d O ak s, C A : S ag e.
H um an R eso u rc e s D ev elo p m en t C an ad a. ( 1 9 98 ). Q uasi e x p erim en ta l e v a lu atio n ( P ubli c a tio n N o. S P A H 053 E 0 1– 98 ). O tta w a, O nta rio , C an ad a: E va lu atio n a n d D ata D ev elo p m en t B ra n ch .
H urte a u , M ., H ou le , S ., & M on gia t, S . ( 2 0 09). H ow l e g it im ate a n d j u stif ie d a re j u dgm en ts i n p ro gra m e v a lu atio n ? E va lu atio n , 1 5 ( 3 ), 3 0 7– 319 . J ew is s, J ., & C la rk K eefe , K . ( 2 0 07). O n a p ers o n al n ote : P ra ctic a l p ed ag o gic a l a ctiv it ie s t o f o ste r t h e d ev elo p m en t o f “ re fle ctiv e p ra ctit io n ers .” A m eric a n J o u rn al o f E va lu atio n , 2 8 ( 3 ), 3 34 – 34 7. K atz , J . ( 1 9 8 8). W hy d octo rs d on 't d is c lo se u n ce rta in ty . I n J . D ow ie & A . S . E ls te in ( E ds.) , P ro fe ssio n al j u dgm en t: A r e a d er i n c li n ic a l d ecis io n m akin g ( p p. 5 4 4– 56 5). C am brid ge, M A: C am brid ge U niv ers it y P re ss.
K elli n g, G . L . ( 1 9 74 a). T he K an sa s C it y p re v en tiv e p atr o l e x p erim en t: A s u m mary r e p ort. W ash in gto n , D C: P oli c e F ou n datio n . K elli n g, G . L . ( 1 9 74 b). T he K an sa s C it y p re v en tiv e p atr o l e x p erim en t: A t e ch n ic a l r e p ort. W ash in gto n , D C: P oli c e F ou n datio n . K in g, J . A ., S te v a h n , L ., G here , G ., & M in nem a, J . ( 2 0 01). T ow ard a t a x o n om y o f e sse n tia l e v a lu ato r c o m pete n cie s. A m eric a n J o u rn al o f E va lu atio n , 2 2 ( 2 ), 2 29 – 24 7. K it c h en er, K . S . ( 1 9 8 4). I n tu it io n , c rit ic a l e v a lu atio n a n d e th ic a l p rin cip le s: T he f o u n datio n f o r e th ic a l d ecis io n s i n c o u n se li n g p sy ch olo gy. T he C ou n se li n g P sy ch olo g is t , 1 2 ( 3 ), 4 3– 55. K ra sn er, M . S ., E pste in , R . M ., B eck m an , H ., S u ch m an , A . L ., C hap m an , B ., M oon ey , C . J ., & Q uill, T .
E . ( 2 0 09). A sso cia tio n o f a n e d u ca tio n al p ro gra m i n m in dfu l c o m mun ic a tio n w it h b u rn ou t, e m path y, a n d a ttit u des a m on g p rim ary c a re p h ysic ia n s. J o u rn al o f t h e A m eric a n M ed ic a l A sso cia tio n , 3 0 2 ( 1 2 ), 1 2 8 4– 12 9 3.
K uh n , T . S . ( 1 9 62). T he s tr u ctu re o f s c ie n tif ic r e v olu tio n s. C hic a g o , I L : U niv ers it y o f C hic a g o P re ss. K un din , D . M . ( 2 0 10 ). A c o n ce p tu al f r a m ew ork f o r h ow e v a lu ato rs m ak e e v ery d ay p ra ctic e d ecis io n s. A m eric a n J o u rn al o f E va lu atio n , 3 1 ( 3 ), 3 4 7– 36 2. L ars o n , R . C . ( 1 9 8 2). C rit iq u in g c rit iq u es: A noth er w ord o n t h e K an sa s C it y p re v en tiv e p atr o l e x p erim en t. E va lu atio n R ev ie w , 6 ( 2 ), 2 8 5– 29 3. L ev in , H . M ., & M cE w an , P . J . ( E ds.) . ( 2 0 01). C ost e ffe ctiv en ess a n aly sis : M eth od s a n d a p pli c a tio n s ( 2 n d e d .) . T hou sa n d O ak s, C A : S ag e. M ab ry , L . ( 1 9 97). E th ic a l l a n dm in es i n p ro gra m e v a lu atio n . I n R . E . S ta k es ( C hair ), G ro u n ds f o r t u rn in g d ow n a h a n dso m e e v a lu atio n c o n tr a ct. S ym posiu m c o n du cte d a t t h e m eetin g o f t h e A ER A, C hic a g o , I L .
M ark , M . M ., H en ry , G . T ., & J u ln es, G . ( 2 0 00). E va lu atio n : A n i n te g ra te d f r a m ew ork f o r u n dersta n din g, g u id in g, a n d i m pro v in g p oli c ie s a n d p ro g ra m s ( 1 s t e d .) . S an F ra n cis c o , C A : J o sse y B ass.
M aso n , J . ( 2 0 02). Q uali t a tiv e r e se a rch in g ( 2 n d e d .) . T hou sa n d O ak s, C A : S ag e. M ayn e, J . ( 2 0 08). B uild in g a n e v a lu ativ e c u lt u re f o r e ffe ctiv e e v a lu atio n a n d r e su lt s m an agem en t. R etr ie v ed f r o m h ttp :/ /w ww.c g ia r i la c.o rg /file s/p u bli c a tio n s/b rie fs /IL A C_B rie f2 0 _ E va lu ativ e _ C ult u re .p d f M od arre si, S ., N ew m an , D . L ., & A bola fia , M . Y . ( 2 0 01). A ca d em ic e v a lu ato rs v ers u s p ra ctit io n ers :
A lt e rn ativ e e x p erie n ce s o f p ro fe ssio n ali s m . E va lu atio n a n d P ro g ra m P la n nin g , 2 4 ( 1 ), 1 – 11. M orris , M . ( 1 9 98 ). E th ic a l c h alle n ges. A m eric a n J o u rn al o f E va lu atio n , 1 9 ( 3 ), 3 8 1– 38 2. M orris , M . ( E d.) . ( 2 0 08). E va lu atio n e th ic s f o r b est p ra ctic e : C ase s a n d c o m men ta rie s. N ew Y ork : G uilf o rd P re ss.
M orris , M . ( 2 0 11). T he g o od , t h e b ad , a n d t h e e v a lu ato r: 2 5 y ea rs o f A JE e th ic s. A m eric a n J o u rn al o f E va lu atio n , 3 2 ( 1 ), 1 3 4 – 15 1. M ow en , J . C . ( 1 9 93). J u dgm en t c a lls : H ig hs ta kes d ecis io n s i n a r is k y w orld . N ew Y ork : S im on & S ch uste r.
N ew m an , D . L ., & B ro w n, R . D . ( 1 9 96). A ppli e d e th ic s f o r p ro g ra m e v a lu atio n . T hou sa n d O ak s, C A : S ag e.
N o C hild L eft B eh in d A ct o f 2 0 01, P ub. L . N o. 1 0 71 10 , 1 15 S ta t. 1 4 25.
O ffic e o f M an ag em en t a n d B udget. ( 2 0 04). W ha t c o n stit u te s s tr o n g e v id en ce o f a p ro g ra m 's e ffe ctiv en ess? R etr ie v ed f r o m h ttp :/ /w ww.w hit e h ou se .g o v/o m b/p art/ 2 0 04_ pro gra m _eva l.p d f P atto n , M . Q . ( 1 9 97). U tili z a tio n fo cu se d e v a lu atio n : T he n ew c e n tu ry t e x t ( 3 rd e d .) . T hou sa n d O ak s, C A : S ag e. P atto n , M . Q . ( 2 0 08). U tili z a tio n fo cu se d e v a lu atio n ( 4 th e d .) T hou sa n d O ak s, C A : S ag e. P aw so n , R ., & T ille y , N . ( 1 9 97). R ea li s tic e v a lu atio n . T hou sa n d O ak s, C A : S ag e. P ic cio tto , R . ( 2 0 11). T he l o gic o f e v a lu atio n p ro fe ssio n ali s m . E va lu atio n , 1 7 ( 2 ), 1 6 5– 18 0 . P ola n yi, M . ( 1 9 58 ). P erso n al k n ow le d ge: T ow ard s a p ost c r it ic a l p hilo so p hy. C hic a g o , I L : U niv ers it y o f C hic a g o P re ss.
P ola n yi, M ., & G re n e, M . G . ( 1 9 69). K now in g a n d b ein g: E ssa ys. C hic a g o , I L : U niv ers it y o f C hic a g o P re ss.
R ossi, P . H ., L ip se y , M . W ., & F re em an , H . E . ( 2 0 04). E va lu atio n : A s y ste m atic a p pro a ch . T hou sa n d O ak s, C A : S ag e.
S an ders , J . R . ( 1 9 94). P ubli s h er d esc r ip tio n f o r t h e p ro g ra m e v a lu atio n s ta n dard s: H ow t o a sse ss e v a lu atio n s o f e d uca tio n al p ro g ra m s. R etr ie v ed f r o m h ttp :/ /c a td ir .l o c.g o v/c a td ir /e n han ce m en ts /fy 0 655/9 4 0 0117 8 d .h tm l S ch ön , D . A . ( 1 9 8 7). E duca tin g t h e r e fle ctiv e p ra ctit io n er: T ow ard a n ew d esig n f o r t e a ch in g a n d l e a rn in g i n t h e p ro fe ssio n s ( 1 s t e d .) . S an F ra n cis c o , C A : J o sse y B ass. S ch ön , D . A . ( 1 9 8 8). F ro m t e ch n ic a l r a tio n ali t y t o r e fle ctio n in a ctio n . I n J . D ow ie & A . S . E ls te in ( E ds.) , P ro fe ssio n al j u dgm en t: A r e a d er i n c li n ic a l d ecis io n m akin g ( p p. 6 0 – 77). N ew Y ork : C am brid ge U niv ers it y P re ss.
S ch w an dt, T . A . ( 2 0 00). T hre e e p is te m olo gic a l s ta n ce s f o r q u ali t a tiv e e n qu ir y . I n N . K . D en zin & Y . S .
L in co ln ( E ds.) , H an dbook o f q u ali t a tiv e r e se a rch ( 2 n d e d ., p p. 1 8 9– 213 ). T hou sa n d O ak s, C A : S ag e. S ch w an dt, T . A . ( 2 0 07). E xp an din g t h e c o n vers a tio n o n e v a lu atio n e th ic s. E va lu atio n a n d P ro g ra m P la n nin g , 3 0 ( 4 ), 4 0 0– 40 3. S ch w an dt, T . A . ( 2 0 08). T he r e le v a n ce o f p ra ctic a l k n ow le d ge t r a d it io n s t o e v a lu atio n p ra ctic e . I n N .
L . S m it h & P . R . B ra n don ( E ds.) , F un dam en ta l i s su es i n e v a lu atio n ( p p. 2 9 – 40 ). N ew Y ork : G uilf o rd P re ss.
S ch w an dt, T . A ., & D ah le rL ars e n , P . ( 2 0 06). W hen e v a lu atio n m eets t h e “ ro u gh g ro u n d” i n c o m mun it ie s. E va lu atio n , 1 2 ( 4 ), 4 9 6– 50 5. S ch w eig ert, F . J . ( 2 0 07). T he p rio rit y o f j u stic e : A f r a m ew ork a p pro ach t o e th ic s i n p ro gra m e v a lu atio n . E va lu atio n a n d P ro g ra m P la n nin g , 3 0 ( 4 ), 3 9 4– 39 9. S criv en , M . ( 1 9 94). T he f in al s y n th esis . E va lu atio n P ra ctic e , 1 5 ( 3 ), 3 6 7– 38 2. S criv en , M . ( 2 0 04). C au sa tio n . U npu bli s h ed m an usc rip t, U niv ers it y o f A uck la n d, A uck la n d, N ew Z ea la n d.
S criv en , M . ( 2 0 08). A s u m mativ e e v a lu atio n o f R CT m eth od olo gy & a n a lt e rn ativ e a p pro ach t o c a u sa l r e se a rc h . J o u rn al o f M ult id is c ip li n ary E va lu atio n , 5 ( 9 ), 1 1– 24 . S eib er, J . ( 2 0 09). P la n nin g e th ic a lly r e sp on sib le r e se a rc h . I n L . B ic k m an & D . R og ( E ds.) , T he S a ge h a n dbook o f a p pli e d s o cia l r e se a rch m eth od s ( 2 n d e d ., p p. 1 0 6– 14 2). T hou sa n d O ak s, C A : S ag e. S h ad is h , W . R ., C ook, T . D ., & C am pbell, D . T . ( 2 0 02). E xp erim en ta l a n d q u asi e x p erim en ta l d esig n s f o r g en era li z e d c a u sa l i n fe re n ce . B osto n , M A: H ou gh to n M if fli n . S im on s, H . ( 2 0 06). E th ic s i n e v a lu atio n . I n I . S h aw , J . G re en e, & M . M . M ark ( E ds.) , T he S a ge h a n dbook o f e v a lu atio n ( p p. 2 4 3– 26 5). T hou sa n d O ak s, C A : S ag e. S ko li t s , G . J ., M orro w , J . A ., & B urr, E . M . ( 2 0 09). R eco n ce p tu ali z in g e v a lu ato r r o le s. A m eric a n J o u rn al o f E va lu atio n , 3 0 ( 3 ), 2 75 – 29 5. S m it h , M . L . ( 1 9 94). Q uali t a tiv e p lu s/ v ers u s q u an tit a tiv e: T he l a st w ord . N ew D ir e ctio n s f o r P ro g ra m E va lu atio n , 6 1 , 3 7– 44. S m it h , N . L . ( 1 9 98 ). P ro fe ssio n al r e a so n s f o r d ecli n in g a n e v a lu atio n c o n tr a ct. A m eric a n J o u rn al o f E va lu atio n , 1 9 ( 2 ), 1 7 7– 19 0 . S m it h , N . L . ( 2 0 07). E m pow erm en t e v a lu atio n a s e v a lu atio n i d eo lo gy. A m eric a n J o u rn al o f E va lu atio n , 2 8 ( 2 ), 1 6 9– 17 8 . S ta k e, R ., & M ab ry , L . ( 1 9 98 ). E th ic s i n p ro gra m e v a lu atio n . S ca n din avia n J o u rn al o f S ocia l W elf a re , 7 ( 2 ), 9 9– 10 9. S te v a h n , L ., K in g, J . A ., G here , G ., & M in nem a, J . ( 2 0 05a). E sta b li s h in g e sse n tia l c o m pete n cie s f o r p ro gra m e v a lu ato rs . A m eric a n J o u rn al o f E va lu atio n , 2 6 ( 1 ), 4 3– 59 . S te v a h n , L ., K in g, J . A ., G here , G ., & M in nem a, J . ( 2 0 05b ). E va lu ato r c o m pete n cie s i n u n iv ers it y b ase d t r a in in g p ro gra m s. C an ad ia n J o u rn al o f P ro g ra m E va lu atio n , 2 0 ( 2 ), 1 0 1– 12 3. T rip p, D . ( 1 9 93). C rit ic a l i n cid en ts i n t e a ch in g: D ev elo p in g p ro fe ssio n al j u dgem en t. L on don , E ngla n d: R ou tle d ge.
U .S . D ep artm en t o f H ea lt h a n d H um an S erv ic e s. ( 2 0 09). C od e o f F ed era l R eg u la tio n s — Tit le 4 5: P ubli c W elf a re ; P art 4 6 : P ro te ctio n o f H um an S u bje cts . R ev is e d J an uary 1 5 , 2 0 09: E ffe ctiv e J u ly 1 4 , 2 0 09.
W eis s, C . H . ( 1 9 98 ). E va lu atio n : M eth od s f o r s tu dyin g p ro g ra m s a n d p oli c ie s ( 2 n d e d .) . U pper S ad dle R iv er, N J: P re n tic e H all.
Y arb ro u gh , D ., S h ulh a, L ., H op so n , R ., & C aru th ers , F . ( 2 0 11). J o in t C om mit te e o n S ta n dard s f o r E duca tio n al E va lu atio n : A g u id e f o r e v a lu ato rs a n d e v a lu atio n u se rs ( 3 rd e d .) . L os A ngele s, C A : S ag e.