INSTRUMENTU MONITORIZASAUN NO EVALUASAUN

ARTIKULASAUN MONITORIZASAUN; aktividades projeitu nebe halo hodi identifika feedback konstan ba iha progresu liu husi projeitu nebe’e relevanti, inklui mos problemas nebe’e hasoru no efisiensi husi implementasaun projeitu ne’e rasik. (Hewitt,1986). Depois de ida ne’e monitorizasaun mos hanesan prosesu kontinuasaun nebe’e hala’o hodi rekolha informasaun konaba saida maka planea ona iha projeitu, inklui iha laran maka indikadores-indikadores ou faktores-faktores eksternal no efek husi implementasaun projeitu ne’e rasik positivo ka ou negativo. Monitorizasaun ninia kontiudu atu fo’o valour oinsa maka input husi projeitu bele hala’o no bele hetan output ida nebe’e ita determina.

ARTIKULASAUN EVALUASAUN; prosesu valour konaba objectivo ida nebe’e hatudu direitamente atu hasa’e kualidade kinerja liu husi programa ou aktividades.

Basicamente evaluasaun fo’o vantagem atu elabora projeitu sira nebe’e la’o diak liu tan iha tempo oin mai. Iha vantagem ba evaluasaun ne’e rasik atu identifika desvantagem husi projeitu hirak ne’e, ho ida ne’e maka impaktu negativo bele halo redusaun ou bele mos halakon (Hewitt,1986). Laiha sistema evaluasaun ida efektivo ba kada projeitu bele mos hamosu impaktu negativo tamba labele hetan returno ou rejultado balun diak tuir ita nia hakarak (Hewitt,1986).

Tamba ne’e maka Monitoring no evaluasaun sai hanesan prosesu ida kontinue inklui hola ou foti dadus, prosesu no hili informasaun konaba implementasaun projeitu, progressu nebe hetan husi projeitu to’o iha impaktu no efek husi projeitu ne’e rasik (Ojha, 1998).

Differensia basica entre monitorizasaun no evaluasaun hare liu husi substansial aktividades. Bele hare liu husi tabela tuir mai ne’e :

Tabela 1 Differensia Monitorizasaun ho Evaluasaun

Monitorizasaun	Evaluasaun
Aktividades internal projeitu nebe buka atu hatene konaba variabel  projeitu, mak hanesan: o  Recursus husi projeitu (osan, material, staff) uja tuir orsamentu no orario nebe aseitado? o  Rejultado output tuir tempo nebe determina - cost-effective. o  Projeito ne’e lao ho efesien?	Aktividades durante hala’o projeitu ex post nebe hare maka: o Projeito nebe hala’o lori impaktu (impact) ou rejultado (outcome) o  Efektividade orsamentu (cost-effectiveness) tuir projeito nebe hala’o sei iha karik alternativo ou modelu seluk?
Monitorizasaun kinerja o Relasaun ho input no output    Monitorizasaun prosesu o   Sistema delivery projeito	Evaluasaun impaktu; o Impaktu projeitu ba targetu populasaun    Analiza efektividade orsamentu o Halo diferensia orsamentu ho alternativa  seluk

Aktividades Monitorizasaun no Evaluasaun tenki hala’o tuir prinsipiu balun hanesan tuir mai ne’e;

1)      Tuir standarizasaun nebe presija atu hatene hamutuk, katak aktividades Monitorizasaun no Evaluasaun tenki-ser standar buka atu hatene konaba sucssesu ou insucsseso indikadores, sala ou lolos tuir dalan nebe’e maka determina ona. Tamba ida ne’e presija atu hatene uluk indikadoes hirak ne’e molok atu fo sai ba orgaun ou instituisaun nebe kompetenti.

2)      Nakloke, katak aktividades Monitorizasaun no Evaluasaun laos deit ba ema nebe’e maka halo Monitorizasaun no Evaluasaun, maibe mos ba orgaun ou instituisaun nebe’e maka halo monitor no evaluasaun ba aktividades ne’e rasik. Bele mos ba orgaun ou instituisaun sira seluk maibe presija tuir standarizasaun no indikadores Monitorizasaun no Evaluasaun atu hotu-hotu bele hatene.

3)      Justo, katak hala’o ho standarizasaun tuir indikadores aktividades Monitorizasaun no Evaluasaun tenki hanesan entre area no entre nivel. Uja material nebe’e lolos ou hanesan iha area ida labele dehan sala iha area seluk, maibe sekarik iha tamba faktores kondisaun natureza.

4)      Orientasaun ba Solusaun, katak aktividades Monitorizasaun no Evaluasaun presija esplika ninia rejultado atu bele hetan solusaun ba problema nebe mosu ou akontese, tamba ida ne’e sai orientasaun ba hasa’e kinerja servisu.

5)      Partisipativo, resumo standarizasaun tuir indikadores aktividades Monitorizasaun no Evaluasaun presija inklui mos orgaun ou instituisaun kompetenti nebe’e monitor no evalua hela hodi buka solusaun hodi rekomenda sai agenda hamutuk.  

6)      Nivel, katak aktividades Monitorizasaun no Evaluasaun hala’o tuir ninia nivel ou posizaun ema nian rasik. Exemplo Program Manager halo Monitor ou Evaluasi ba Chefe Unit Implementasaun no Manager Distrito. Manager Distrito halo Monitor ou Evaluasi ba Specialis no Specialis halo Monitor ou Evaluasi ba Fasilitator hotu-hotu. Manager Distrito sei halo Monitor ou Evaluasi ba Adm. Assistant no Adm. Assistant sei halo Monitor ou Evaluasi staff hotu-hotu nst. Ida ne’e sistema Monitorizasaun no Evaluasaun Struktural nune’e mos presija hala’o Monitor ou Evaluasaun Fungsional.

Tuir livru Ojha (1998) redasaun II kapitulo 4 hateten katak iha Elemen 5 (lima) konaba  Monitorizasaun no Evaluasaun nebe’e diak, maka hanesan;

1)      Iha objectivo nebe’e lolos no iha mos indikadores nebe lolos.

2)      Indikadores-indikadores hirak ne;e hanesan Input, Prosesu, Output no Impaktu.

3)      Iha teknico hola ou foti dadus no manajementu dadus nebe’e lolos no iha justifikasaun.

4)      Objectivo atu prepara sistema institusional no desemvolve kapasidade.

5)      Hatama Monitorizasaun no Evaluasaun ba iha manajementu projeitu.

Iha ninia prosesu, Monitorizasaun no Evaluasaun basicamente presija perguntas 3 (tolu) basica atu halo plano ba sistema Monitorizasaun no Evaluasaun nebe’e diak no bele iha implementasaun. Maka hanesan perguntas tuir mai ne’e;

1)      What, Saida maka atu monitor no evaluasi

2)      How, Oinsa metode no instrumentu nebe’e uja atu halibur informasaun no atu desemvolve indikador.

3)      Who, Se mak atu halo aktividades Monitorizasaun no Evaluasaun, mesmo internal ou eksternal, instituisaun nebe’e akumula nst.

Iha manjemen Desemvolvimentu, Monitorizasaun no Evaluasaun sai etapa ikus, tamba sei hala’o uluk maka Planeamentu, Budget, no Implementasaun. Kategoria ida ne’e hare liu husi objectivo Monitorizasaun no Evaluasaun ne’e rasik, tamba nia objectivo atu hare (feedback) konaba oinsa aktividades nebe maka hala’o ona.

 Prepara Indikator Kinerja

Dalan ida atu hala’o Monitorizasaun no Evaluasaun  maka prepara indikator kinerja. Indikator kinerja sai indikasaun ida atu uja ba termos kuantitativo ou kualitativo, ho indikasaun nebe’e iha maka objectivo ne’e presija hetan aseita no promulga. Indikator kuantitativo uja atu koko buat nebe’e maka (measurable) no objektif. Indikator kuantitativo sempre hare konaba valour absolute (total), prosentagem, rasio no hirarkia.

Konaba indikator kualitativo sai hanesan subyektivo tamba hare  liu ba lala’ok, hahalok, no sentimentu kada individu. Atu hetan dadus indikator kualitativo hala’o liu husi interview nebe’e struktural iha communidade. Indikator kinerja mos sai orientasaun (guideline) atu bele hetan objectivo, visaun, misaun iha organizasaun. Indikator kinerja bele aplika ba :

a)      Input;

b)      Output;

c)      Outcome;

d)     Benefit;

e)      Impaktu.

Tuir mai atu esplika konaba indikator ida-idak mak hanesan tuir mai ne’e;

a. Indikator Input

Utiliza ba hala’o aktividades Monitorizasaun no Evaluasaun konaba expend/Gastu, exemplo osan mai husi OJE, Swasta, no communidade), supporta hanoin (Specialista, hanoin husi communidade), supporta desijaun (central no local). Standarizasaun ida ne’e uja atu monitor total recursus nebe atu uja implementasaun, presija kuidado no distribuisaun produto, aktividades no servi.

b. Indikator Output

Buat nebe’e maka hetan direitamente husi aktividades konaba fisico no non-fisico, exemplo plano, desijaun, programa, sosializasaun. Indikator Output sai hanesan baze atu hare konaba mudansa aktividades, se-kuando targetu kinerja iha definisaun nebe’e diak no bele sukat.   Tamba ida ne’e, indikator output tenki hanesan ho fungsaun unit organizasaun atu monitoriza prosentagem nebe’e hetan ou aproxima. Exemplo total ema nebe hala’o treinamentu, total prosesu dokumentus no total karta authorizasaun nebe maka hasai.

c. Indikator Outcome

Outcome fo hanoin konaba prosentagem nebe’e hetan no rejultado ida nebe bo’ot husi  aktividades hotu-hotu. Indikator ida ne’e atu bele hatene ninia rejultado nebe’e maka fo’o benefisiu liu ba orgaun, instituisaun no ba communidade. Exemplo total rejultado husi aktividades, total ema nebe komprende atu halo pratika iha treinamentu, fo sai ou voka konaba buat nebe’e positivo.

d. Indikator Benefit

Indikator benefisiu ninia objectivo hatudu konaba buat nebe maka presija atu hetan sekuando ninia impaktu lao ho fungsional no optimal. Liu-liu hare ba tempo klaran no tempo naruk oin mai. Exemplo hasa’e aktividades ekonomia, hatun prosentagem kriminaliras nst.

e. Indikator Impaktu

Indikator ida ne’e hatudu impaktu husi rejultado mai husi aktividades, ninia konsekuensia hasoru iha tempo klaran no iha tempo naruk liu husi akrividades sira nebe’e maka hala’o ona. Exemplo hamenus kiak no hamenus mortalidade.

Instrumentu Monitorizasaun no Evaluasaun

 Instrumentu Monitorizasaun no Evaluasaun iha oin 3 (tolu), dadus, metode foti/rekolha  dadus, dadus nia fukun. Nune’e mos presija esplika itoan konaba teknico nebe uja atu halo analiza konaba dadus kuantitativo (statistika) nomos kualitativo. Indikator = SMART

ü  Specific; objectivo spesifiku analiza konaba buat nebe’e mak ita hakarak.

ü  Measurable; objectivo tenki splika iha indikator nebe’e mak ita sukat

ü  Attainable; objectivo tenki succesu ho kondisaun recursus no potensi nebe’e iha.

ü  Relevant; objectivo tenki relevansia ho informasaun no dadus nebe’e iha.

Prosesu foti/rekolha dadus no informasaun ba aktividades Monitorizasaun no Evaluasaun mai husi metode balun, mak hanesan (Hewitt, 1986):

1. Survei

Metodologia ida ne’e uja material survey maka hanesan fahe kuesioner ba partisipantes ou responden sai hanesan sampel, iha kontens informasaun maka hanesan;

 informasaun konaba kateristika sosial ekonomia partisipantes.

 informasi konaba oinsa partisipantes bele partisipa iha survey ida ne’e.

 opiniaun partisipantes konaba problema ida nebe maka mosu dadaun.

 buka atu hatene kondisaun problemas ida nebe mosu iha durante hala’o survey ida ne’e.

2. Observasi Direita

Iha aspektu ba problemas nebe direita durante halo observasaun ida ne’e la presija atu  buka hatene konaba problema nebe maka mai husi responden, exemplo;

 total communidade nebe maka partisipa iha komunitas grupo servisu.

 partisipasaun iha encontru, prosesu foti desijaun no nivel partisipasaun grupo.

 indikator mudansa kondisaun ekonomia communidade (ex. Kualitas hela fatin, total uma     nebe maka iha, kareta no motorizada nst).

3. Dadus sekunder

Barak liu maka analizator iha dokumentos nebe skrita no statistika. Validasaun dadus tenki halo ho uja dadus nia fukun sekunder maibe bele sai mos informasaun nebe maka ladun akurasi no ladun kompletu ou bias.

4. Metode ethonografika

Teknika ida que universal maka observador halo observasi ba partisipantes konaba hela fatin, soe tempo barak iha communidade ou iha grupo nia let. Objectivo maka atu hare konaba hahalok natural membro grupo ninian no oinsa maka sira halo interaksaun ho sentimentu tuir sira nia hahalok. Metode seluk maka studa intensivo konaba ema ou familia balun hodi hato’o deskripsaun monografia (Oscar Lewis "Children of Sanchez" adalah klasik).

LITERATURA

Bartow, CJ. 2000. Social Impact Assessment: An Introduction. New York : Oxford University Press Inc.

Michael Bamberger. 1986. Monitoring and Evaluating Urban Development Programs.

World Bank, Washington Lartz, Anderson T. 1995. Guidelines for Preparing Urban Plans. Chicago: American Planning Association Ojha, Durga. 1998.

Impact Monitoring Approaches and Indicators. GTZ: Escborn Panduan ANSSP Volume 6- GTZ Capacity Development Workshop: Strategies and Practices Toward a More Enabling Business and Investment Climate“ on May 23, 2006. Solihin, Dadang. 2008.

Teknik Penyusunan Indikator Kinerja Pembangunan. Bintek Perencanaan Penganggaran dan Monev Pembangunan Ikatan Widyaiswara Indonesia. Disampaikan di Hotel Grand Cempaka-Jakarta, 19 November 2008 World Bank. 2004. Monitoring and Evaluation: Some Tools Methods and Approaches. The World Bank,Wahington

Wong, Cecilia. 2005. Indicators for Urban and Regional Planning. London : Routledge