Assignment 1: Ethical Dilemma

A PPE N DIX A ppen dix  A :   F io n a's  C hoic e : A n E th ic a l D ile m ma f o r a P ro gra m  E va lu ato r F io n a B arn es d id  n ot f e el w ell a s t h e d ep u ty  c o m mis sio n er's  o ffic e  d oor c lo se d  b eh in d h er. S h e w alk ed b ack  t o  h er o ffic e  w on derin g w hy b ad  n ew s s e em s t o  c o m e o n  F rid ay a ft e rn oon s. S it tin g a t h er d esk , s h e w en t o ver t h e e v en ts  o f t h e p ast s e v era l d ays a n d t h e d ecis io n  t h at l a y a h ea d  o f h er. T his  w as c le a rly  t h e m ost d if fic u lt  s it u atio n  t h at s h e h ad  e n co u n te re d  s in ce  h er p ro m otio n  t o  t h e p osit io n  o f d ir e cto r o f e v a lu atio n  i n  t h e D ep artm en t o f H um an  S erv ic e s.

F io n a's  p re d ic a m en t h ad  b eg u n  t h e d ay b efo re , w hen  t h e n ew  c o m mis sio n er, F ra n  A tk in , h ad  c a lle d  a m eetin g w it h  F io n a a n d t h e d ep u ty  c o m mis sio n er. T he g o vern or w as i n  a  d if fic u lt  p osit io n : I n  h is r e ce n t e le ctio n  c a m paig n , h e h ad  m ad e p ote n tia lly  c o n fli c tin g c a m paig n  p ro m is e s. H e h ad  p ro m is e d  t o r e d u ce  t a x es a n d h ad  a ls o  p ro m is e d  t o  m ain ta in  e x is tin g h ea lt h  a n d s o cia l p ro gra m s, w hile  b ala n cin g t h e s ta te  b u dget.

T he w eek  b efo re , a  l o u d a n d l e n gth y m eetin g o f t h e c o m mis sio n ers  i n  t h e s ta te  g o vern m en t h ad r e su lt e d  i n  a  c o u rs e  o f a ctio n  i n te n ded  t o  r e so lv e t h e i s su e o f c o n fli c tin g e le ctio n  p ro m is e s. F ra n  A tk in h ad  b een  p ers u ad ed  b y t h e g o vern or t h at s h e s h ou ld  m eet w it h  t h e s e n io r s ta ff i n  h er d ep artm en t, a n d a ft e r t h e m eetin g, a  m ajo r e v a lu atio n  o f t h e d ep artm en t's  p ro gra m s w ou ld  b e a n nou n ce d . T he e v a lu atio n  w ou ld  p ro vid e t h e g o vern or w it h  s o m e p ost­ e le ctio n  b re a th in g s p ace . B ut t h e e v a lu atio n r e su lt s  w ere  p re d ete rm in ed — th ey  w ou ld  b e u se d  t o  j u stif y  p ro gra m  c u ts . I n  s u m , a  “ c o m passio n ate ” b u t s u bsta n tia l r e d u ctio n  i n  t h e d ep artm en t's  s o cia l p ro gra m s w ou ld  b e m ad e t o  e n su re  t h e d ep artm en t's  c o n tr ib u tio n  t o  a  b ala n ce d  b u dget.

A s t h e n ew  c o m mis sio n er, F ra n  A tk in  r e li e d  o n  h er d ep u ty  c o m mis sio n er, E li n or A m es. E li n or h ad b een  o n e o f s e v era l d ep u tie s t o  c o n tin ue o n  u n der t h e n ew  a d m in is tr a tio n  a n d h ad  b een  h ea vily c o m mit te d  t o  d ev elo p in g a n d i m ple m en tin g k ey  p ro gra m s i n  t h e d ep artm en t, u n der t h e p re v io u s a d m in is tr a tio n . H er s u cce ss i n  d oin g t h at h ad  b een  a  p rin cip al r e a so n  w hy s h e h ad  b een  p ro m ote d  t o d ep u ty  c o m mis sio n er.

O n W ed n esd ay, t h e d ay b efo re  t h e m eetin g w it h  F io n a, F ra n  A tk in  h ad  m et w it h  E li n or A m es t o e x p la in  t h e d ecis io n  r e a ch ed  b y t h e g o vern or, d ow npla yin g t h e c o n te n tio u sn ess o f t h e d is c u ssio n . F ra n h ad  a ck n ow le d ged  s o m e d is c o m fo rt w it h  h er p osit io n , b u t s h e b eli e v ed  h er d ep artm en t n ow  h ad  a m an date . P ro ce ed in g w it h  i t  w as i n  t h e p u bli c 's  i n te re st.

E li n or w as u pse t w it h  t h e g o vern or's  d ecis io n . S h e h ad  f o u gh t h ard  o ver t h e y ea rs  t o  b u ild  t h e p ro gra m s i n  q u estio n . N ow  s h e w as b ein g t o ld  t o  d is m an tle  h er l e g acy — pro gra m s s h e b eli e v ed  i n  t h at m ad e u p a  c o n sid era b le  p art o f h er b u dget a n d p ers o n ­y ea r a llo ca tio n s.

I n  h er m eetin g w it h  F io n a o n  F rid ay a ft e rn oon , E li n or h ad  f ille d  F io n a i n  o n  t h e p oli t ic a l r a tio n ale  f o r t h e d ecis io n  t o  c u t h um an  s e rv ic e  p ro gra m s. S h e a ls o  m ad e c le a r w hat F io n a h ad  s u sp ecte d  w hen  t h ey h ad  m et w it h  t h e c o m mis sio n er e a rli e r t h at w eek — th e o u tc o m es o f t h e e v a lu atio n  w ere p re d ete rm in ed : T hey  w ou ld  s h ow  t h at k ey  p ro gra m s w here  s u bsta n tia l r e so u rc e s w ere  t ie d  u p w ere n ot e ffe ctiv e a n d w ou ld  b e u se d  t o  j u stif y  c u ts  t o  t h e d ep artm en t's  p ro gra m s.

F io n a w as u pse t w it h  t h e c o m mis sio n er's  i n te n ded  u se  o f h er b ra n ch . E li n or, w atc h in g F io n a's r e a ctio n s c lo se ly , h ad  e x p re sse d  s o m e r e g re t o ver t h e s it u atio n . A ft e r s o m e   h esit a tio n , s h e s u ggeste d t h at s h e a n d F io n a c o u ld  w ork  o n  t h e e v a lu atio n  t o geth er, “ to  e n su re  t h at i t  m eets  o u r n eed s a n d i s d on e a cco rd in g t o  o u r s ta n dard s.”  A ft e r p au sin g o n ce  m ore , E li n or a d ded , “ O f c o u rs e , F io n a, i f  y o u  d o n ot f e el t h at t h e b ra n ch  h as t h e c a p ab ili t ie s n eed ed  t o  u n derta k e t h is  p ro je ct, w e c a n  c o n tr a ct i t  o u t. I k n ow  s o m e g o od  p eo p le  i n  t h is  a re a .” F io n a w as s h ow n t o  t h e d oor a n d a sk ed  t o  t h in k a b ou t i t  o ver t h e w eek en d.

F io n a B arn es t o ok p rid e i n  h er g ro w in g r e p u ta tio n  a s a  c o m pete n t a n d s e rio u s d ir e cto r o f a  g o od e v a lu atio n  s h op . H er p eo p le  d id  g o od  w ork  t h at w as v ie w ed  a s b ein g h on est, a n d t h ey  p rid ed t h em se lv es o n  b ein g a b le  t o  h an dle  a n y w ork  t h at c a m e t h eir  w ay. E li n or A m es h ad  a p poin te d  F io n a t o t h e j o b , a n d n ow  t h is .

Y ou r T ask A naly ze  t h is  c a se  a n d o ffe r a  r e so lu tio n  t o  F io n a's  d ile m ma. S h ou ld  F io n a u n derta k e t h e e v a lu atio n p ro je ct?  S h ou ld  s h e a g re e t o  h ave t h e w ork  c o n tr a cte d  o u t?  W hy?

I n  r e sp on din g t o  t h is  c a se , c o n sid er t h e i s su es o n  t w o l e v els : ( 1 ) l o ok a t t h e i s su es t a k in g i n to  a cco u n t F io n a's  p ers o n al s it u atio n  a n d t h e “ b en efit s  a n d c o sts ” o f t h e o p tio n s a va ila b le  t o  h er a n d ( 2 ) l o ok a t t h e i s su es f r o m  a n  o rg an iz a tio n al s ta n dpoin t, a g ain  w eig h in g t h e “ b en efit s  a n d t h e c o sts .”  U lt im ate ly , y o u  w ill h ave t o  d ecid e h ow  t o  w eig h  t h e b en efit s  a n d c o sts  f r o m  b oth  F io n a's  a n d t h e d ep artm en t's s ta n dpoin ts .

R EFE R EN CE S A berc ro m bie , M . L . J . ( 1 9 60 ).   T he a n ato m y o f j u dgm en t:  A n i n vestig atio n  i n to  t h e p ro ce sse s o f p erce p tio n  a n d r e a so n in g.   N ew  Y ork : B asic  B ooks. A lt s c h uld , J . ( 1 9 99). T he c e rtif ic a tio n  o f e v a lu ato rs : H ig h li g h ts  f r o m  a  r e p ort s u bm it te d  t o  t h e B oard  o f D ir e cto rs  o f t h e A m eric a n  E va lu atio n  A sso cia tio n .   A m eric a n  J o u rn al o f E va lu atio n ,   2 0 ( 3 ), 4 8 1– 49 3. A m eric a n  E va lu atio n  A sso cia tio n . ( 1 9 95). G uid in g p rin cip le s f o r e v a lu ato rs .   N ew  D ir e ctio n s f o r P ro g ra m  E va lu atio n , 6 6 ,  1 9 – 26 . A m eric a n  E va lu atio n  A sso cia tio n . ( 2 0 04).   G uid in g p rin cip le s f o r e v a lu ato rs.   R etr ie v ed f r o m   h ttp :/ /w ww.e va l.o rg /P ubli c a tio n s/G uid in gP rin cip le s.a sp A yto n , P . ( 1 9 98 ). H ow  b ad  i s  h um an  j u dgm en t?  I n  G . W rig h t &  P . G ood w in  ( E ds.) ,   F ore ca stin g w it h j u dgem en t   ( p p. 2 37– 26 7). C hic h este r, W est S u sse x , U K: J o h n  W ile y . B am berg er, M ., R ugh , J ., &  M ab ry , L . ( 2 0 12 ).   R ea l w orld  e v a lu atio n : W ork in g u n der b u dget, t im e, d ata , a n d p oli t ic a l c o n str a in ts   ( 2 n d e d .) . T hou sa n d O ak s, C A : S ag e. B asile v sk y, A ., &  H um , D . ( 1 9 8 4).   E xp erim en ta l s o cia l p ro g ra m s a n d a n aly tic  m eth od s: A n e v a lu atio n  o f t h e U .S . i n co m e m ain te n an ce  p ro je cts .   O rla n do, F L : A ca d em ic  P re ss. B erk , R . A ., &  R ossi, P . H . ( 1 9 99).   T hin kin g a bou t p ro g ra m  e v a lu atio n   ( 2 n d e d .) . T hou sa n d O ak s, C A : S ag e.

B ic k m an , L . ( 1 9 97). E va lu atin g e v a lu atio n : W here  d o w e g o  f r o m  h ere ?   E va lu atio n  P ra ctic e ,   1 8 ( 1 ), 1 – 1 6 .

B ra n don , P ., S m it h , N ., &  H wale k , M . ( 2 0 11). A sp ects  o f s u cce ssfu l e v a lu atio n  p ra ctic e  a t a n e sta b li s h ed  p riv a te  e v a lu atio n  f ir m .   A m eric a n  J o u rn al o f E va lu atio n ,   3 2 ( 2 ), 2 9 5– 30 7. C am pbell C olla b ora tio n . ( 2 0 10 ).   A bou t u s.   R etr ie v ed f r o m   h ttp :/ /w ww.c a m pbellc o lla b ora tio n .o rg /a b ou t_ us/in dex .p h p C am pbell, D . T . ( 1 9 91). M eth od s f o r t h e e x p erim en tin g s o cie ty .   E va lu atio n  P ra ctic e ,   1 2 ( 3 ), 2 23– 26 0 . C an ad ia n  E va lu atio n  S ocie ty . ( 2 0 12 a).   C E S g u id eli n es f o r e th ic a l c o n duct.   R etr ie v ed f r o m   h ttp :/ /w ww.e va lu atio n ca n ad a.c a /s it e .c g i? s= 5& ss= 4& _la n g= en C an ad ia n  E va lu atio n  S ocie ty . ( 2 0 12 b ).   P ro g ra m  e v a lu atio n  s ta n dard s.   R etr ie v ed f r o m   h ttp :/ /w ww.e va lu atio n ca n ad a.c a /s it e .c g i? s= 6& ss= 10 & _la n g= E N C an ad ia n  I n stit u te s o f H ea lt h  R ese a rc h , N atu ra l S cie n ce s a n d E ngin eerin g R ese a rc h  C ou n cil o f C an ad a, &  S ocia l S cie n ce s a n d H um an it ie s R ese a rc h  C ou n cil o f C an ad a. ( 2 0 10 ).   T ri­ c o u n cil p oli c y s ta te m en t:  E th ic a l c o n duct f o r r e se a rch  i n volv in g h u m an s, D ece m ber 2 0 10 .   R etr ie v ed f r o m   h ttp :/ /w ww.p re .e th ic s.g c.c a /p d f/ e n g/tc p s2 /T C PS_ 2_ FIN AL_ W eb .p d f C hen , H . T ., D on ald so n , S . I ., &  M ark , M . M . ( 2 0 11). V ali d it y  f r a m ew ork s f o r o u tc o m e e v a lu atio n .   N ew D ir e ctio n s f o r E va lu atio n ,   2 0 11 ( 1 3 0 ), 5 – 16 . C ook, T . D ., &  C am pbell, D . T . ( 1 9 79 ).   Q uasi­ e x p erim en ta tio n : D esig n  &  a n aly sis  i s su es f o r f ie ld s e ttin gs.   C hic a g o , I L : R an d M cN ally . C ook, T . D ., S criv en , M ., C ory n , C . L ., &  E verg re en , S . D . ( 2 0 10 ). C on te m pora ry  t h in kin g a b ou t c a u sa tio n  i n  e v a lu atio n : A  d ia lo gu e w it h  T om  C ook a n d M ic h ael S criv en .   A m eric a n  J o u rn al o f E va lu atio n ,   3 1 ( 1 ), 1 0 5– 117 . C ooksy , L . J . ( 2 0 08). C halle n ges a n d o p portu n it ie s i n  e x p erie n tia l l e a rn in g.   A m eric a n  J o u rn al o f E va lu atio n ,   2 9 ( 3 ), 3 4 0 – 34 2. C ro n bach , L . J . ( 1 9 8 0 ).   T ow ard  r e fo rm  o f p ro g ra m  e v a lu atio n   ( 1 s t e d .) . S an  F ra n cis c o , C A : J o sse y ­ B ass.

C ro n bach , L . J . ( 1 9 8 2).   D esig n in g e v a lu atio n s o f e d uca tio n al a n d s o cia l p ro g ra m s   ( 1 s t e d .) . S an F ra n cis c o , C A : J o sse y ­B ass.

E pste in , R . M . ( 1 9 99). M in dfu l p ra ctic e .   J o u rn al o f t h e A m eric a n  M ed ic a l A sso cia tio n ,   2 8 2 ( 9 ), 8 33– 8 39 .

E pste in , R . M . ( 2 0 03). M in dfu l p ra ctic e  i n  a ctio n  ( I ): T ech n ic a l c o m pete n ce , e v id en ce ­b ase d  m ed ic in e, a n d r e la tio n sh ip ­c e n te re d  c a re .   F am ili e s, S yste m s &  H ea lt h ,   2 1 ( 1 ), 1 – 9. E pste in , R . M ., S ie g el, D . J ., &  S ilb erm an , J . ( 2 0 08). S elf ­ m on it o rin g i n  c li n ic a l p ra ctic e : A  c h alle n ge f o r m ed ic a l e d u ca to rs .   J o u rn al o f C on tin uin g E duca tio n  i n  t h e H ea lt h  P ro fe ssio n s ,   2 8 ( 1 ), 5 – 13 . E ra u t, M . ( 1 9 94).   D ev elo p in g p ro fe ssio n al k n ow le d ge a n d c o m pete n ce .   W ash in gto n , D C: F alm er P re ss.

F is h , D ., &  C ole s, C . ( 1 9 98 ).   D ev elo p in g p ro fe ssio n al j u dgem en t i n  h ea lt h  c a re : L ea rn in g t h ro u gh t h e c r it ic a l a p pre cia tio n  o f p ra ctic e .   B osto n , M A: B utte rw orth ­H ein em an n. F ord , R ., G ya rm ati, D ., F ole y , K ., T attr ie , D ., &  J im en ez, L . ( 2 0 03).   C an  w ork  i n ce n tiv es p ay f o r t h em se lv es?  F in al r e p ort o n  t h e S elf ­ S u ffic ie n cy  P ro je ct f o r w elf a re  a p pli c a n ts .   O tta w a, O nta rio , C an ad a: S ocia l R ese a rc h  a n d D em on str a tio n  C orp ora tio n .

G arv in , D . A . ( 1 9 93). B uild in g a  l e a rn in g o rg an iz a tio n .   H arv a rd  B usin ess R ev ie w ,   7 1 ( 4 ), 7 8 – 90 . G here , G ., K in g, J . A ., S te v a h n , L ., &  M in nem a, J . ( 2 0 06). A  p ro fe ssio n al d ev elo p m en t u n it  f o r r e fle ctin g o n  p ro gra m  e v a lu ato r c o m pete n cie s.   A m eric a n  J o u rn al o f E va lu atio n ,   2 7 ( 1 ), 1 0 8– 12 3. G ib bin s, M ., &  M aso n , A . K . ( 1 9 8 8).   P ro fe ssio n al j u dgm en t i n  f in an cia l r e p ortin g.   T oro n to , O nta rio , C an ad a: C an ad ia n  I n stit u te  o f C harte re d  A cco u n ta n ts .

G usta fs o n , P . ( 2 0 03).   H ow  r a n dom  m ust r a n dom  a ssig n m en t b e i n  r a n dom  a ssig n m en t e x p erim en ts ?   O tta w a, O nta rio , C an ad a: S ocia l R ese a rc h  a n d D em on str a tio n  C orp ora tio n . H en ry , G . T ., &  M ark , M . M . ( 2 0 03). T ow ard  a n  a g en da f o r r e se a rc h  o n  e v a lu atio n .   N ew  D ir e ctio n s f o r E va lu atio n , 9 7 ,  6 9– 80 . H ig gin s, J ., &  G re en , S . ( E ds.) . ( 2 0 11).   C och ra n e h a n dbook f o r s y ste m atic  r e v ie w s o f i n te rv en tio n s: V ersio n  5 .0 .2   ( u pd ate d  M arc h  2 0 11). T he C och ra n e C olla b ora tio n  2 0 11. R etr ie v ed f r o m   w ww.c o ch ra n e­h an dbook.o rg H ou se , E . R ., &  H ow e, K . R . ( 1 9 99).   V alu es i n  e v a lu atio n  a n d s o cia l r e se a rch .   T hou sa n d O ak s, C A : S ag e.

H um an  R eso u rc e s D ev elo p m en t C an ad a. ( 1 9 98 ).   Q uasi­ e x p erim en ta l e v a lu atio n   ( P ubli c a tio n  N o. S P ­ A H 053 E ­0 1– 98 ). O tta w a, O nta rio , C an ad a: E va lu atio n  a n d D ata  D ev elo p m en t B ra n ch .

H urte a u , M ., H ou le , S ., &  M on gia t, S . ( 2 0 09). H ow  l e g it im ate  a n d j u stif ie d  a re  j u dgm en ts  i n  p ro gra m e v a lu atio n ?   E va lu atio n ,   1 5 ( 3 ), 3 0 7– 319 . J ew is s, J ., &  C la rk ­K eefe , K . ( 2 0 07). O n a  p ers o n al n ote : P ra ctic a l p ed ag o gic a l a ctiv it ie s t o  f o ste r t h e d ev elo p m en t o f “ re fle ctiv e p ra ctit io n ers .”   A m eric a n  J o u rn al o f E va lu atio n ,   2 8 ( 3 ), 3 34 – 34 7. K atz , J . ( 1 9 8 8). W hy d octo rs  d on 't  d is c lo se  u n ce rta in ty . I n  J . D ow ie  &  A . S . E ls te in ( E ds.) ,   P ro fe ssio n al j u dgm en t:  A  r e a d er i n  c li n ic a l d ecis io n  m akin g   ( p p. 5 4 4– 56 5). C am brid ge, M A: C am brid ge U niv ers it y  P re ss.

K elli n g, G . L . ( 1 9 74 a).   T he K an sa s C it y  p re v en tiv e p atr o l e x p erim en t:  A  s u m mary r e p ort.   W ash in gto n , D C: P oli c e  F ou n datio n . K elli n g, G . L . ( 1 9 74 b).   T he K an sa s C it y  p re v en tiv e p atr o l e x p erim en t:  A  t e ch n ic a l r e p ort.   W ash in gto n , D C: P oli c e  F ou n datio n . K in g, J . A ., S te v a h n , L ., G here , G ., &  M in nem a, J . ( 2 0 01). T ow ard  a  t a x o n om y o f e sse n tia l e v a lu ato r c o m pete n cie s.   A m eric a n  J o u rn al o f E va lu atio n ,   2 2 ( 2 ), 2 29 – 24 7. K it c h en er, K . S . ( 1 9 8 4). I n tu it io n , c rit ic a l e v a lu atio n  a n d e th ic a l p rin cip le s: T he f o u n datio n  f o r e th ic a l d ecis io n s i n  c o u n se li n g p sy ch olo gy.   T he C ou n se li n g P sy ch olo g is t ,   1 2 ( 3 ), 4 3– 55. K ra sn er, M . S ., E pste in , R . M ., B eck m an , H ., S u ch m an , A . L ., C hap m an , B ., M oon ey , C . J ., &  Q uill, T .

E . ( 2 0 09). A sso cia tio n  o f a n  e d u ca tio n al p ro gra m  i n  m in dfu l c o m mun ic a tio n  w it h  b u rn ou t, e m path y, a n d a ttit u des a m on g p rim ary  c a re  p h ysic ia n s.   J o u rn al o f t h e A m eric a n  M ed ic a l A sso cia tio n ,   3 0 2 ( 1 2 ), 1 2 8 4– 12 9 3.

K uh n , T . S . ( 1 9 62).   T he s tr u ctu re  o f s c ie n tif ic  r e v olu tio n s.   C hic a g o , I L : U niv ers it y  o f C hic a g o  P re ss. K un din , D . M . ( 2 0 10 ). A  c o n ce p tu al f r a m ew ork  f o r h ow  e v a lu ato rs  m ak e e v ery d ay p ra ctic e d ecis io n s.   A m eric a n  J o u rn al o f E va lu atio n ,   3 1 ( 3 ), 3 4 7– 36 2. L ars o n , R . C . ( 1 9 8 2). C rit iq u in g c rit iq u es: A noth er w ord  o n  t h e K an sa s C it y  p re v en tiv e p atr o l e x p erim en t.   E va lu atio n  R ev ie w ,   6 ( 2 ), 2 8 5– 29 3. L ev in , H . M ., &  M cE w an , P . J . ( E ds.) . ( 2 0 01).   C ost­ e ffe ctiv en ess a n aly sis : M eth od s a n d a p pli c a tio n s   ( 2 n d e d .) . T hou sa n d O ak s, C A : S ag e. M ab ry , L . ( 1 9 97). E th ic a l l a n dm in es i n  p ro gra m  e v a lu atio n . I n  R . E . S ta k es ( C hair ),   G ro u n ds f o r t u rn in g d ow n a  h a n dso m e e v a lu atio n  c o n tr a ct.   S ym posiu m  c o n du cte d  a t t h e m eetin g o f t h e A ER A, C hic a g o , I L .

M ark , M . M ., H en ry , G . T ., &  J u ln es, G . ( 2 0 00).   E va lu atio n : A n i n te g ra te d  f r a m ew ork  f o r u n dersta n din g, g u id in g, a n d i m pro v in g p oli c ie s a n d p ro g ra m s   ( 1 s t e d .) . S an  F ra n cis c o , C A : J o sse y ­ B ass.

M aso n , J . ( 2 0 02).   Q uali t a tiv e r e se a rch in g   ( 2 n d e d .) . T hou sa n d O ak s, C A : S ag e. M ayn e, J . ( 2 0 08).   B uild in g a n  e v a lu ativ e c u lt u re  f o r e ffe ctiv e e v a lu atio n  a n d r e su lt s m an agem en t.   R etr ie v ed  f r o m   h ttp :/ /w ww.c g ia r­ i la c.o rg /file s/p u bli c a tio n s/b rie fs /IL A C_B rie f2 0 _ E va lu ativ e _ C ult u re .p d f M od arre si, S ., N ew m an , D . L ., &  A bola fia , M . Y . ( 2 0 01). A ca d em ic  e v a lu ato rs  v ers u s p ra ctit io n ers :

A lt e rn ativ e e x p erie n ce s o f p ro fe ssio n ali s m .   E va lu atio n  a n d P ro g ra m  P la n nin g ,   2 4 ( 1 ), 1 – 11. M orris , M . ( 1 9 98 ). E th ic a l c h alle n ges.   A m eric a n  J o u rn al o f E va lu atio n ,   1 9 ( 3 ), 3 8 1– 38 2. M orris , M . ( E d.) . ( 2 0 08).   E va lu atio n  e th ic s f o r b est p ra ctic e : C ase s a n d c o m men ta rie s.   N ew  Y ork : G uilf o rd  P re ss.

M orris , M . ( 2 0 11). T he g o od , t h e b ad , a n d t h e e v a lu ato r: 2 5 y ea rs  o f A JE  e th ic s.   A m eric a n  J o u rn al o f E va lu atio n ,   3 2 ( 1 ), 1 3 4 – 15 1. M ow en , J . C . ( 1 9 93).   J u dgm en t c a lls : H ig h­s ta kes d ecis io n s i n  a  r is k y  w orld .   N ew  Y ork : S im on  & S ch uste r.

N ew m an , D . L ., &  B ro w n, R . D . ( 1 9 96).   A ppli e d  e th ic s f o r p ro g ra m  e v a lu atio n .   T hou sa n d O ak s, C A : S ag e.

N o C hild  L eft  B eh in d A ct o f 2 0 01, P ub. L . N o. 1 0 7­1 10 , 1 15  S ta t. 1 4 25.

O ffic e  o f M an ag em en t a n d B udget. ( 2 0 04).   W ha t c o n stit u te s s tr o n g e v id en ce  o f a  p ro g ra m 's e ffe ctiv en ess?   R etr ie v ed f r o m   h ttp :/ /w ww.w hit e h ou se .g o v/o m b/p art/ 2 0 04_ pro gra m _eva l.p d f P atto n , M . Q . ( 1 9 97).   U tili z a tio n ­fo cu se d  e v a lu atio n : T he n ew  c e n tu ry  t e x t   ( 3 rd  e d .) . T hou sa n d O ak s, C A : S ag e. P atto n , M . Q . ( 2 0 08).   U tili z a tio n ­fo cu se d  e v a lu atio n   ( 4 th  e d .)  T hou sa n d O ak s, C A : S ag e. P aw so n , R ., &  T ille y , N . ( 1 9 97).   R ea li s tic  e v a lu atio n .   T hou sa n d O ak s, C A : S ag e. P ic cio tto , R . ( 2 0 11). T he l o gic  o f e v a lu atio n  p ro fe ssio n ali s m .   E va lu atio n ,   1 7 ( 2 ), 1 6 5– 18 0 . P ola n yi, M . ( 1 9 58 ).   P erso n al k n ow le d ge: T ow ard s a  p ost­ c r it ic a l p hilo so p hy.   C hic a g o , I L : U niv ers it y o f C hic a g o  P re ss.

P ola n yi, M ., &  G re n e, M . G . ( 1 9 69).   K now in g a n d b ein g: E ssa ys.   C hic a g o , I L : U niv ers it y  o f C hic a g o P re ss.

R ossi, P . H ., L ip se y , M . W ., &  F re em an , H . E . ( 2 0 04).   E va lu atio n : A  s y ste m atic  a p pro a ch .   T hou sa n d O ak s, C A : S ag e.

S an ders , J . R . ( 1 9 94).   P ubli s h er d esc r ip tio n  f o r t h e p ro g ra m  e v a lu atio n  s ta n dard s: H ow  t o  a sse ss e v a lu atio n s o f e d uca tio n al p ro g ra m s.   R etr ie v ed f r o m   h ttp :/ /c a td ir .l o c.g o v/c a td ir /e n han ce m en ts /fy 0 655/9 4 0 0117 8 ­d .h tm l S ch ön , D . A . ( 1 9 8 7).   E duca tin g t h e r e fle ctiv e p ra ctit io n er: T ow ard  a  n ew  d esig n  f o r t e a ch in g a n d l e a rn in g i n  t h e p ro fe ssio n s   ( 1 s t e d .) . S an  F ra n cis c o , C A : J o sse y ­B ass. S ch ön , D . A . ( 1 9 8 8). F ro m  t e ch n ic a l r a tio n ali t y  t o  r e fle ctio n ­in ­a ctio n . I n  J . D ow ie  &  A . S . E ls te in ( E ds.) ,   P ro fe ssio n al j u dgm en t:  A  r e a d er i n  c li n ic a l d ecis io n  m akin g   ( p p. 6 0 – 77). N ew  Y ork : C am brid ge U niv ers it y  P re ss.

S ch w an dt, T . A . ( 2 0 00). T hre e e p is te m olo gic a l s ta n ce s f o r q u ali t a tiv e e n qu ir y . I n  N . K . D en zin  &  Y . S .

L in co ln  ( E ds.) ,   H an dbook o f q u ali t a tiv e r e se a rch   ( 2 n d e d ., p p. 1 8 9– 213 ). T hou sa n d O ak s, C A : S ag e. S ch w an dt, T . A . ( 2 0 07). E xp an din g t h e c o n vers a tio n  o n  e v a lu atio n  e th ic s.   E va lu atio n  a n d P ro g ra m P la n nin g ,   3 0 ( 4 ), 4 0 0– 40 3. S ch w an dt, T . A . ( 2 0 08). T he r e le v a n ce  o f p ra ctic a l k n ow le d ge t r a d it io n s t o  e v a lu atio n  p ra ctic e . I n  N .

L . S m it h  &  P . R . B ra n don  ( E ds.) ,   F un dam en ta l i s su es i n  e v a lu atio n   ( p p. 2 9 – 40 ). N ew  Y ork : G uilf o rd P re ss.

S ch w an dt, T . A ., &  D ah le r­L ars e n , P . ( 2 0 06). W hen  e v a lu atio n  m eets  t h e “ ro u gh  g ro u n d” i n c o m mun it ie s.   E va lu atio n ,   1 2 ( 4 ), 4 9 6– 50 5. S ch w eig ert, F . J . ( 2 0 07). T he p rio rit y  o f j u stic e : A  f r a m ew ork  a p pro ach  t o  e th ic s i n  p ro gra m e v a lu atio n .   E va lu atio n  a n d P ro g ra m  P la n nin g ,   3 0 ( 4 ), 3 9 4– 39 9. S criv en , M . ( 1 9 94). T he f in al s y n th esis .   E va lu atio n  P ra ctic e ,   1 5 ( 3 ), 3 6 7– 38 2. S criv en , M . ( 2 0 04).   C au sa tio n .   U npu bli s h ed  m an usc rip t, U niv ers it y  o f A uck la n d, A uck la n d, N ew Z ea la n d.

S criv en , M . ( 2 0 08). A  s u m mativ e e v a lu atio n  o f R CT m eth od olo gy &  a n  a lt e rn ativ e a p pro ach  t o  c a u sa l r e se a rc h .   J o u rn al o f M ult id is c ip li n ary  E va lu atio n ,   5 ( 9 ), 1 1– 24 . S eib er, J . ( 2 0 09). P la n nin g e th ic a lly  r e sp on sib le  r e se a rc h . I n  L . B ic k m an  &  D . R og ( E ds.) ,   T he S a ge h a n dbook o f a p pli e d  s o cia l r e se a rch  m eth od s   ( 2 n d e d ., p p. 1 0 6– 14 2). T hou sa n d O ak s, C A : S ag e. S h ad is h , W . R ., C ook, T . D ., &  C am pbell, D . T . ( 2 0 02).   E xp erim en ta l a n d q u asi­ e x p erim en ta l d esig n s f o r g en era li z e d  c a u sa l i n fe re n ce .   B osto n , M A: H ou gh to n  M if fli n . S im on s, H . ( 2 0 06). E th ic s i n  e v a lu atio n . I n  I . S h aw , J . G re en e, &  M . M . M ark  ( E ds.) ,   T he S a ge h a n dbook o f e v a lu atio n   ( p p. 2 4 3– 26 5). T hou sa n d O ak s, C A : S ag e. S ko li t s , G . J ., M orro w , J . A ., &  B urr, E . M . ( 2 0 09). R eco n ce p tu ali z in g e v a lu ato r r o le s.   A m eric a n J o u rn al o f E va lu atio n ,   3 0 ( 3 ), 2 75 – 29 5. S m it h , M . L . ( 1 9 94). Q uali t a tiv e p lu s/ v ers u s q u an tit a tiv e: T he l a st w ord .   N ew  D ir e ctio n s f o r P ro g ra m E va lu atio n , 6 1 ,  3 7– 44. S m it h , N . L . ( 1 9 98 ). P ro fe ssio n al r e a so n s f o r d ecli n in g a n  e v a lu atio n  c o n tr a ct.   A m eric a n  J o u rn al o f E va lu atio n ,   1 9 ( 2 ), 1 7 7– 19 0 . S m it h , N . L . ( 2 0 07). E m pow erm en t e v a lu atio n  a s e v a lu atio n  i d eo lo gy.   A m eric a n  J o u rn al o f E va lu atio n ,   2 8 ( 2 ), 1 6 9– 17 8 . S ta k e, R ., &  M ab ry , L . ( 1 9 98 ). E th ic s i n  p ro gra m  e v a lu atio n .   S ca n din avia n  J o u rn al o f S ocia l W elf a re ,   7 ( 2 ), 9 9– 10 9. S te v a h n , L ., K in g, J . A ., G here , G ., &  M in nem a, J . ( 2 0 05a). E sta b li s h in g e sse n tia l c o m pete n cie s f o r p ro gra m  e v a lu ato rs .   A m eric a n  J o u rn al o f E va lu atio n ,   2 6 ( 1 ), 4 3– 59 . S te v a h n , L ., K in g, J . A ., G here , G ., &  M in nem a, J . ( 2 0 05b ). E va lu ato r c o m pete n cie s i n  u n iv ers it y ­ b ase d  t r a in in g p ro gra m s.   C an ad ia n  J o u rn al o f P ro g ra m  E va lu atio n ,   2 0 ( 2 ), 1 0 1– 12 3. T rip p, D . ( 1 9 93).   C rit ic a l i n cid en ts  i n  t e a ch in g: D ev elo p in g p ro fe ssio n al j u dgem en t.   L on don , E ngla n d: R ou tle d ge.

U .S . D ep artm en t o f H ea lt h  a n d H um an  S erv ic e s. ( 2 0 09).   C od e o f F ed era l R eg u la tio n s — Tit le  4 5: P ubli c  W elf a re ; P art 4 6 : P ro te ctio n  o f H um an  S u bje cts . R ev is e d  J an uary  1 5 , 2 0 09: E ffe ctiv e J u ly  1 4 , 2 0 09.

W eis s, C . H . ( 1 9 98 ).   E va lu atio n : M eth od s f o r s tu dyin g p ro g ra m s a n d p oli c ie s   ( 2 n d e d .) . U pper S ad dle  R iv er, N J: P re n tic e  H all.

Y arb ro u gh , D ., S h ulh a, L ., H op so n , R ., &  C aru th ers , F . ( 2 0 11).   J o in t C om mit te e o n  S ta n dard s f o r E duca tio n al E va lu atio n : A  g u id e f o r e v a lu ato rs a n d e v a lu atio n  u se rs   ( 3 rd  e d .) . L os A ngele s, C A : S ag e.