Perspectiva 02 Avaluació

PERSPECTIVA
2
GUIA PER A LAVALUACI
DE LA FORMACI
Perspectiva 2 12/7/99 18:17 Pgina 1
PERSPECTIVA
2
GUIA PER A LAVALUACI
DE LA FORMACI
NGELES PAREDES MARIO
Diputaci de Barcelona
Primera edici: novembre de 1995
de l'edici: Diputaci de Barcelona
del text: ngeles Paredes Mario
Disseny grfic: DIDRIC
Realitzaci: Institut d'Edicions
Impressi: Grficas Almogvares SA
ISBN: 84-7794-415-6
Dipsit legal: B-46484-95
Edici no venal
NDEX
INTRODUCCI 7
PASSAT, PRESENT I FUTUR DE LAVALUACI 11
QU ENTENEM PER AVALUACI DE LA FORMACI? 15
EL REPTE DE LAVALUACI: LA DECISI DAVALUAR
I AVALUAR PER PRENDRE DECISIONS 17
FITXA NM. 1: ANLISI SOBRE EL SISTEMA AVALUATIU
ETAPES DE LA FORMACI: FINS A QUIN PUNT PODEM AVALUAR? 25
AVALUACI TCNICO-PEDAGGICA: DE LANLISI
DE NECESSITATS A LEXECUCI DE LA FORMACI 29
FITXA NM. 2: ANLISI DE NECESSITATS
FITXA NM. 3: DEFINICI DOBJECTIUS
FITXA NM. 4: AVALUACI DE DISSENY I EXECUCI
AVALUACI DE GESTI 43
FITXA NM. 5: REGISTRE PER A LAVALUACI DE LA GESTI
NIVELLS DE LAVALUACI: DE LA SATISFACCI
DE LALUMNE A LIMPACTE DE LA FORMACI 47
FITXA NM. 6: AVALUACI DE LAPLICACI
AL LLOC DE TREBALL
FITXA NM. 7: AVALUACI DE LIMPACTE ECONMIC
FITXA NM. 8: IMPACTE EN LORGANITZACI
INSTRUMENTS I TCNIQUES DAVALUACI 57
LOBSERVACI 59
FITXA NM. 9: OBSERVACI
LA REUNI DE GRUP 65
FITXA NM. 10: REUNI DE GRUP
LENTREVISTA 69
FITXA NM. 11: ENTREVISTA
EL QESTIONARI 75
FITXA NM. 12: QESTIONARI
CONCLUSIONS 79
BIBLIOGRAFIA 81
INTRODUCCI
Quan em vam proposar lelaboraci dun dossier sobre avaluaci de la for-
maci, la meva primera reacci va ser pensar que ja est tot escrit, que
hi ha molta bibliografia que shi refereix, sobretot si tenim en compte cer-
tes aportacions molt valuoses, entre les quals hi ha les darreres publica-
cions de Guy Le Boterf. A poc a poc, pensant en termes de mrqueting,
em vaig plantejar quin podia ser el meu lector potencial, amb quins inte-
ressos Les respostes em van anar engrescant.
Les preguntes que van guiar la meva reflexi van ser:
Quin pot ser el pblic potencial daquest dossier? Possiblement treba-
lladors i treballadores de lAdministraci local que pensen que la for-
maci s una eina que pot ajudar a la modernitzaci i a ladaptaci de
les nostres organitzacions als nous reptes que sens plantegen.
Professionals de la formaci o dels recursos humans que vulguin fer o
hagin de fer avaluacions sistemtiques i que no han tingut formaci te-
rico-metodolgica en el camp de lavaluaci.
En quin moment es troba la formaci a les nostres organitzacions?
Linters de lAdministraci local per la formaci s un fenomen en
ala. Els darrers quatre o cinc anys hem assistit al naixement dels plans
de formaci lligats a la poltica de recursos humans dels ajuntaments,
i tamb al disseny en institucions, universitats i escoles de negocis
de programes de formaci adreats especialment al personal de
lAdministraci pblica en general, i en certs casos especficament
orientats al de les corporacions locals.
Parallelament shan designat professionals de les nostres organitzacions
per portar a terme aquesta qesti o per responsabilitzar-sen.
Quines preguntes ens fem les persones que ens ocupem de qestions
relacionades amb la formaci? En primer lloc, la pregunta potser s: ho
7
fem b? I a continuaci: els treballadors i les treballadores que assis-
teixen als cursos que organitzem o les persones que enviem a cursos
externs, en treuen profit, naprenen?, apliquen els coneixements, les
habilitats i les actituds apresos al seu lloc de treball?, els nostres pro-
grames, responen a les necessitats de lorganitzaci? Lavaluaci ens
pot ajudar a trobar la resposta a aquestes preguntes.
A partir daquestes respostes vaig anar elaborant aquest dossier, que no
t ms pretensi que ser una sntesi dalgunes de les aportacions ms inte-
ressants sobre lavaluaci i tamb una guia de suport a la reflexi a lho-
ra dencarar-nos-hi, per tamb vol ser un dossier simple i didctic sobre
avaluaci de formaci en les organitzacions.
Pel que fa al contingut del dossier, podem distingir dues parts: la prime-
ra s una rpida visi histrica sobre el tema a la consideraci dels dife-
rents nivells de lavaluaci; a la segona intento fer una sntesi valorativa
de les principals tcniques que es fan servir dins les estratgies dava-
luaci.
Cadascuna de les dues parts cont uns epgrafs amb un resum de diferents
aportacions teriques sobre lavaluaci de la formaci. Aquests punts de
contingut teric van acompanyats dunes fitxes prctiques, que he plan-
tejat com un suport a la reflexi, amb interrogants o aspectes concrets que
shan de tenir en compte sobre els punts tractats.
Abans dentrar en matria, haig de reconixer que una ra que em va ani-
mar a elaborar aquest dossier va ser el fet que em donava loportunitat
de desmitificar i intentar posar a lloc el tema de lavaluaci; personalment,
aix em va costar molt temps. Un dels mites relatius a lavaluaci s voler
avaluar-ho tot o pensar que lavaluaci s un examen; daltra banda, des
duna perspectiva ms pessimista, es pot pensar que els resultats de les-
for en formaci no sn mesurables o b que, com que hi ha tantes varia-
bles que afecten laprenentatge, s impossible avaluar limpacte de la for-
maci.
Tres constatacions per fer boca:
1. Avaluar s necessari.
2. Avaluar s possible.
3. Avaluar s imprescindible per poder prendre decisions en matria de
formaci.
8
Ara b:
1. No tot s avaluable.
2. Lavaluaci no s nicament responsabilitat del departament de for-
maci.
3. Lestratgia davaluaci est directament relacionada amb el paper que
satorga a la formaci en les nostres organitzacions i amb la situaci
que hi ocupen el departament o el responsable de la formaci.
9
PASSAT, PRESENT I FUTUR DE L AVALUACI
No pretenc fer un recorregut exhaustiu ni de carcter cientfic per totes
les aportacions fetes durant les ltimes dcades sobre avaluaci de la for-
maci. Sintticament, intentar exposar algunes de les contribucions que
considero ms significatives i que ens situen en els models que fem ser-
vir avui dia.
Originalment des de comenament de segle, el concepte davaluaci de
la formaci va lligat fonamentalment amb lmbit de leducaci reglada,
centrat sobretot en lalumne i els resultats de laprenentatge. s un tipus
davaluaci que respon ms al concepte de mesura que no pas al dava-
luaci tal com avui lentenem en el mn de les organitzacions.
Als anys cinquanta Tyler formula lavaluaci fonamentant-la sobre el con-
cepte dobjectius. El procs davaluaci, diu Tyler, s essencialment el
procs de determinar fins a quin punt shan assolit realment els objectius
de leducaci. La formaci comena a ser entesa, no pas com una cosa
momentnia, sin com un procs. Lavaluaci ja es concep com un meca-
nisme que pot ajudar a millorar el procs de formaci i els seus resultats.
s Cronbach, als anys seixanta, qui, recollint les aportacions de Tyler,
estableix les bases del que avui entenem per avaluaci en el context de
les organitzacions i relaciona avaluaci amb presa de decisions.
Lavaluaci intentar actuar durant tot el procs de desenvolupament de
la formaci, no tan sols al final, per poder-hi anar introduint canvis.
Ja a la dcada segent sn fonamentals les aportacions de Stufflebeam,
que defineix lavaluaci des dun punt de vista sistemtic: Lavaluaci
s el procs didentificar, obtenir i proporcionar informaci til i des-
criptiva sobre el valor i el mrit de les metes, la planificaci, la realitza-
ci i limpacte dun objecte determinat, amb la finalitat de servir de guia
11
a la presa de decisions, solucionar els problemes de responsabilitat i pro-
moure la comprensi dels fenmens implicats (Stufflebeam, 1987).
Stufflebeam (1987) crea el model CIPP (avaluaci de context, input, pro-
cs i producte), model que proporcionar informaci til per respondre
les preguntes segents:
Quines necessitats shan plantejat, amb quina transcendncia i
importncia i fins a quin punt els objectius del projecte sn un reflex
de les necessitats valorades? (context).
Quin pla sha adoptat per plantejar les necessitats, quines alternatives
shan considerat, per qu se nha escollit una i no les altres? (input).
Fins a quin punt sha realitzat el pla del projecte i com i per quin motiu
sha modificat? (procs).
Quins resultats shan observat, com han jutjat els diferents clients el
valor i el mrit dels resultats i fins a quin punt shan satisfet les neces-
sitats dels usuaris del producte? (producte).
Per Stufflebeam, lobjectiu bsic de lavaluaci no s demostrar, sin per-
feccionar: s un instrument per ajudar que els programes siguin millors
per a la gent que ha de fer-los servir.
Crec que tamb s interessant laportaci de Stake, que a final dels anys
setanta, des dun punt de vista ms qualitatiu, considera transaccional el
model avaluatiu: lavaluador negocia amb el client una part de lestrat-
gia davaluaci, s a dir, fins on sha darribar, quin tipus dinformaci
interessa ms en cada programa.
Veiem que gradualment les diferents concepcions, seguint la mateixa
complexitat de les organitzacions, van fent abordatges de les realitats des
de diverses perspectives, i van enriquint les possibilitats i la potencialitat
com a eines de lavaluaci, que, al mateix temps, es fa ms complexa.
Ens trobem, doncs, als vuitanta i comenament dels noranta amb la
segent concepci de lavaluaci:
Instrument al servei de la presa de decisions.
Instrument que recull la informaci significativa dun procs de for-
maci des de punts de vista qualitatius i quantitatius.
Instrument que per a la recollida dinformaci requereix el maneig de
diferents tcniques (qualitatives i quantitatives).
12
Instrument que ha de ser present en els diferents moments dun procs
de formaci (anlisi de necessitats, planificaci, programaci, etc-
tera).
Instrument que incorpora diferents agents (tcnics de formaci, alum-
nes, responsables directes, etctera).
Instrument que t en compte diferents nivells, des de la satisfacci de
lalumne fins a limpacte de la formaci en lorganitzaci.
Quin s el futur de lavaluaci? No ho podem predir. En aquesta poca
de canvis accelerats, quan encara estem assimilant aquest concepte da-
valuaci en les nostres organitzacions, quan estem insatisfets dels nos-
tres sistemes davaluaci, ja truquen a la porta noves formes dentendre
la formaci en les organitzacions que ens diuen que la formaci a laula
s obsoleta i que s lorganitzaci la que ha daprendre, no tan sols els
individus un per un.
Sorgiran noves idees que no trigaran a fer-nos reflexionar sobre el paper
del departament de formaci i dels formadors en els processos dapre-
nentatge. Puc aventurar que lavaluaci cada vegada ser ms a prop del
lloc de treball, perqu laprenentatge en grups en el lloc de treball tindr
una importncia creixent, perqu laprenentatge sha danar orientant a
lexperincia i als problemes reals dels usuaris de la formaci.
s a dir, no est gens malament saber per on vindran els trets. De moment
els nostres objectius han de ser posar en marxa un pla de formaci que
respongui al mxim als objectius estratgics de les nostres organitza-
cions, i dissenyar i portar a terme unes accions de formaci dalt nivell
de qualitat. Lavaluaci ser leina per analitzar i comprovar que realment
comencem a aconseguir aquests objectius.
13
QU ENTENEM PER AVALUACI DE LA FORMACI?
Seguint les aportacions de Stufflebeam, lavaluaci s un procs que ens
ha dajudar a perfeccionar, a millorar el que fem. Avaluar no consis-
teix a examinar, mesurar, controlar o qualificar, sin a recollir i analit-
zar informaci significativa que serveixi de base per emetre un judici de
valor sobre els aspectes avaluats.
Resumint diferents aportacions, podem definir lavaluaci de la manera
segent:
Un procs de reflexi sistemtic a travs del qual es recull i
sanalitza la informaci amb la finalitat de prendre decisions
destinades a millorar la qualitat del funcionament de la formaci.
Aquesta definici cont el que considero que sn els quatre aspectes clau
de lavaluaci de la formaci en les organitzacions i que guiaran el con-
tingut daquest dossier:
Entendre lavaluaci com un procs, amb un carcter dinmic. Lava-
luaci no s un moment puntual al final dun curs, lavaluaci ha de ser
present a les diferents fases del procs formatiu.
La incorporaci destratgies de disseny, recollida i anlisi de la infor-
maci rigoroses i sistematitzades, combinades amb daltres dinfor-
mals.
Ls de la informaci: lorientaci a la presa de decisions.
La introducci del concepte de qualitat de la formaci, entenent per qua-
litat el conjunt de condicions que cal reunir i posar sota control per
maximitzar la possibilitat dobtenir el nivell previst de les competn-
cies que shan de produir amb una acci de formaci (Le Boterf,
1993).
15
Aquesta definici suscita una confirmaci i un repte: duna banda, la con-
firmaci de lavaluaci com una eina duna gran potencialitat per opti-
mitzar el funcionament de la formaci; i, de laltra, un repte per la com-
plexitat que comporta, per la quantitat dinterrogants que planteja i que
configuraran lelecci dun mtode o laltre, el major o menor grau da-
profundiment en els nostres estudis avaluatius i el subjecte i lobjecte de
lavaluaci.
16
EL REPTE DE L AVALUACI:
LA DECISI D AVALUAR I AVALUAR PER PRENDRE DECISIONS
Durant les jornades dAFYDE del juny de 1994, en qu es va dedicar una
atenci especial a lavaluaci de la formaci, es va passar una enquesta
al pblic assistent, fonamentalment consultors i directors de formaci,
amb la finalitat dobtenir algunes respostes sobre aquest fet.
La conclusi principal (Capital Humano, 1994) extreta dels resultats va
ser que, encara que lopini majoritria (87%) s que val la pena avaluar
les accions formatives i que lavaluaci serveix per mesurar la consecu-
ci dobjectius (68%), basant-se en lexperincia professional, els con-
sultats reconeixen que laplicaci que es dna a lavaluaci esmentada s
escassa (62%) o nulla (6%).
Unes conclusions semblants es poden deduir dun estudi de la Universitat
Autnoma de Barcelona, publicat per AFYDE lany 1992, sobre lava-
luaci de la formaci fet en un nombre important dempreses de
Catalunya, tant del sector pblic com del privat. Algunes dades que sen
podien extreure eren les segents:
Els aspectes de la formaci ms avaluats sn lassoliment dobjectius,
ladquisici de coneixements, la resposta a les necessitats de formaci
i la reacci dels participants davant la formaci o el seu nivell de satis-
facci.
La formaci externa s la menys avaluada.
Els agents davaluaci ms habituals sn el participant, el gestor i el
formador.
Els aspectes menys avaluats sn la transferncia de laprenentatge a la
feina, la modificaci dactituds i valors, ladequaci del pla de forma-
ci i els efectes en el departament.
17
Els aspectes rarament avaluats sn la relaci cost/benefici de la formaci
i els efectes en lorganitzaci.
Hi ha una correlaci directa entre els aspectes avaluats i lagent da-
valuaci.
Es fa avaluaci final, no inicial ni de procs, i poca avaluaci diferida.
Els instruments ms utilitzats sn els qestionaris, seguits de lluny
pels tests i els exmens, les observacions, les entrevistes i les discus-
sions de grup.
Lopini sobre la retroalimentaci que dna lavaluaci s molt posi-
tiva.
Les conclusions que es poden extreure de lanlisi de les dades anteriors
sn les segents:
1. En lavaluaci no hi intervenen tots els agents responsables dun pro-
cs daprenentatge.
2. Lavaluaci no s completa i global; sempre es deixen aspectes per
avaluar.
3. No hi ha una estratgia davaluaci de tot el procs, sin que es fan
avaluacions parcials, planificades separadament i a posteriori.
4. No es fa avaluaci en totes les fases temporals del procs.
5. Els instruments davaluaci sn reduts i noms quantitatius.
6. Rarament savalua el cost-efectivitat de la formaci.
Crec que per comenar-nos a situar seria interessant proposar-nos algu-
nes daquestes reflexions com a punt de partida. Hi ha unes quantes pre-
guntes prvies que ens hem de plantejar, perqu es correlacionen direc-
tament amb el disseny davaluaci que farem:
Quin paper atorguem a la formaci en les nostres organitzacions?
Lentenem com una cosa que sha de fer, com una moda, que oferim
com a part dels beneficis socials dels treballadors, o pensem que pot ser
una eina estratgica que pot ajudar a introduir canvis organitzatius?
Dues consideracions no unvoques, que poden tenir molts matisos inter-
medis (despesa necessria, sistema complementari de retribuci, moti-
vaci dels empleats, etctera).
Pensem en la formaci com una cosa estndard o b ladaptem a les
18
necessitats de la nostra organitzaci i als problemes detectats en els llocs
de treball?
Fem selecci dels assistents o practiquem el caf per tothom?
s una formaci dirigida a lindividu o a grups i equips de treball?
Per acabar, per no per aix s menys important: quins resultats espe-
rem obtenir dels processos de formaci?
La resposta a aquestes preguntes ens donar les primeres claus per deci-
dir quin tipus davaluaci hem de fer o quina avaluaci ens interessa ms.
Per no hem acabat les reflexions: a partir daqu, ja ms o menys orien-
tats, comena la cascada de preguntes que ens hem de repetir a cada pro-
cs de formaci:
Qui s el nostre client, qui ens demana la informaci?
Qu pretenem amb lavaluaci, quina utilitat o aplicaci li donarem;
concretament, quina decisi hem de prendre?
Qu interessa avaluar?
Qui hem davaluar?
En quin moment?
Qui ha de fer lavaluaci?
Amb quins instruments?
De quins recursos disposem?
En aquest moment podrem fer classificacions de lavaluaci dacord
amb quasi totes aquestes preguntes; segons el moment que savalua,
podrem parlar davaluaci prvia, simultnia o ex-post; segons la pro-
cedncia de lavaluador, davaluaci interna o externa; segons els aspec-
tes del programa que avaluem, davaluaci de necessitats, de procs, de
resultat, de costos, etctera. En parlar ms endavant, per el que crec que
s prioritari i el que minteressa ressaltar en aquest punt s la funci que
hi donem, el perqu de lavaluaci.
Respecte a aquesta qesti, sn especialment interessants les aportacions
de Patton (1978) quan parla de lavaluaci centrada en la utilitzaci
(Utilization-Focused Evaluation). Aix correspon a una concepci de
sistema obert en la teoria de les organitzacions. En un moment caracte-
19
ritzat per la complexitat i la necessitat de prendre decisions duna mane-
ra rpida, s ms important aconseguir la informaci segons criteris de
satisfacci suficient que tractin doptimitzar o de maximitzar com pro-
posen altres enfocaments, que no fer estudis llargs i costosos.
Quan Patton parla davaluaci centrada en la utilitzaci, vol dir que cal
adaptar contnuament els mtodes seleccionats per lavaluador a situacions
particulars. Lelement essencial s la participaci contnua en tot el pro-
cs avaluatiu tant dels elements decisoris com dels destinataris de lava-
luaci.
s a dir, parallelament al disseny dun programa de formaci, ens hem
de plantejar quina ser la nostra estratgia davaluaci i repetir-nos els
interrogants que shan anat plantejant.
20
FITXA NM. 1: ANLISI SOBRE EL SISTEMA AVALUATIU
Programa o curs: ________________________________________________________________________
1. Quin paper atorguem a aquest programa o curs?
Despesa social _____________________________________
J
Sistema indirecte de retribuci ________________
J
Canvi organitzacional ___________________________
J
Inversi ______________________________________________
J
Motivaci dels empleats ________________________
J
Desenvolupament dels recursos humans ___
J
_______________________________________________________________________________________________
2. Quins resultats esperem de la formaci?
_______________________________________________________________________________________________
3. Quins tipus de formaci donarem?
Interna (a laula) __________________________________
J
Interna (al lloc de treball) ______________________
J
Externa ______________________________________________
J
Autoformaci ______________________________________
J
____________________________________________________________
4. Qui ens lencarrega, qui s el nostre client, a qui hem de donar els
resultats de lavaluaci?
____________________________________________________________
21
5. Quina informaci li ser ms til?
_______________________________________________________________________________________________
6. De quins recursos disposem per avaluar?
_______________________________________________________________________________________________
7. Quin s farem dels resultats de lavaluaci?
_______________________________________________________________________________________________
8. Qu hem davaluar?
Aprenentatge de:
habilitats _______________________________________
J
coneixements _________________________________
J
Modificaci dactituds __________________________
J
Satisfacci __________________________________________
J
Assoliment dobjectius __________________________
J
Organitzaci _______________________________________
J
22
Contingut ___________________________________________
J
Utilitat _______________________________________________
J
Desenvolupament _________________________________
J
Cost-efectivitat ____________________________________
J
Aplicaci ____________________________________________
J
Impacte ______________________________________________
J
Altres _________________________________________________
J
_______________________________________________________________________________________________
9. Per qu avaluem (s, decisi que sha de prendre)?
Certificar ____________________________________________
J
Identificar necessitats de formaci __________
J
Fer un balan ______________________________________
J
Seleccionar _________________________________________
J
Introduir canvis en un programa _____________
J
Fer o no fer un programa de formaci ______
J
Repetir un programa _____________________________
J
Augmentar el pressupost de formaci ______
J
Altres _________________________________________________
J
_______________________________________________________________________________________________
10. Qui hauria davaluar (agent)?
Alumne ______________________________________________
J
Professor ____________________________________________
J
Gestor formaci____________________________________
J
Director de formaci/recursos humans _____
J
Responsable directe de lalumne _____________
J
Altres _________________________________________________
J
_______________________________________________________________________________________________
23
11. A qui hem davaluar (subjecte)?
Alumne ______________________________________________
J
Professor _____________________________________________
J
Gestor de la formaci ____________________________
J
Altres _________________________________________________
J
_______________________________________________________________________________________________
12. Quan hem de fer lavaluaci (moment)?
Abans de la formaci ____________________________
J
A linici _____________________________________________
J
Durant el procs ___________________________________
J
Al final ______________________________________________
J
Desprs (6 mesos, 1 any) ____________________
J
_______________________________________________________________________________________________
13. Com farem lavaluaci (tcniques i instruments)?
Tests __________________________________________________
J
Exmens _____________________________________________
J
Qestionaris ________________________________________
J
Proves prctiques _________________________________
J
Escales dactitud __________________________________
J
Incidents ____________________________________________
J
Projectes ____________________________________________
J
Plans dacci _______________________________________
J
Observaci __________________________________________
J
Entrevista ___________________________________________
J
Reuni de grup ____________________________________
J
_______________________________________________________________________________________________
24
ETAPES DE LA FORMACI: FINS A QUIN PUNT PODEM AVALUAR?
Les estratgies davaluaci que portem a terme shan de correlacionar amb
el sentit o amb la finalitat que donem a la formaci en la nostra organit-
zaci, tal com he avanat al punt anterior.
Peir (1986) defineix la formaci com un procs intencional i sistem-
tic de modificaci de conducta dels membres de lorganitzaci, en una
direcci que contribueixi a leficcia organitzacional, que permeti esta-
blir una harmonia ms gran entre els objectius de lindividu i els de lor-
ganitzaci i que millori especialment la relaci persona-lloc de treball.
Si donem per vlida aquesta definici, concedim a la formaci un paper
estratgic i funcional duna gran transcendncia dins les nostres organit-
zacions.
Una acci formativa constitueix una transmissi dinformaci o una rea-
litzaci dexperincies que poden tenir un impacte immediat individual-
ment:
Increment de coneixements. La persona sap o t ms conceptes i dades,
coneixements tcnics o sobre lorganitzaci.
Millora de les capacitats i habilitats. La persona sap fer coses noves, s
capa dutilitzar noves tcniques o de millorar-ne el nivell dutilitzaci.
Transformaci dels valors i les actituds. La persona incorpora nous
valors, noves visions i noves idees que poden modificar els que tenia
anteriorment.
Per aquest impacte per si mateix no equival forosament a aprenentat-
ge. Noms hi ha aprenentatge real si hi ha un canvi de comportament, si
es genera una actuaci diferent davant dun problema o duna situaci.
25
Laprenentatge individual depn de molts factors: nivell previ de cada per-
sona, intelligncia o aptitud per aprendre, motivaci i predisposici a
aprendre, mtodes pedaggics emprats, actitud del grup de formaci,
etctera.
A banda daquest primer nivell individual, hi ha limpacte organitzacio-
nal, s a dir, el desenvolupament de les capacitats de lorganitzaci.
Segons Xavier Mendoza (1989), podem diferenciar set etapes en el pro-
cs de formaci:
1. La fase de comprensi conceptual. Les persones que prenen part en
un programa de formaci han de saber el perqu dels conceptes o de
les tcniques que sels exposin i entendre quina importncia poden
tenir per a lorganitzaci.
2. La capacitaci. Shan de desenvolupar en els participants les habili-
tats per aplicar els conceptes o les tcniques anteriors en una situaci
concreta.
3. La confiana i el convenciment. La persona que ha ents el perqu,
que comprn conceptualment una tcnica determinada i ha estat ensi-
nistrada per utilitzar-la, ha dadquirir confiana en leina en qesti
i apreciar-ne el valor. A ms ha de tenir el convenciment que val la
pena experimentar-la al seu lloc de treball.
4. Creaci dun clima organitzatiu adequat que permeti lexperimentaci
i accepti els possibles errors com a part dels costos de laprenentatge.
5. Experimentaci, prova. Facilitar a les persones els mitjans necessa-
ris per poder aplicar els nous coneixements. Hi ha dhaver unes dosis
de motivaci importants i el suport dels superiors, sobretot de lim-
mediat.
6. Incentius per repetir lactuaci. Una de les etapes ms crtiques del
procs.
7. Consecuci de resultats. En definitiva, s el que perseguim quan ens
plantegem un procs de formaci: obtenir resultats i millores orga-
nitzatives.
Fins a la tercera etapa, lavaluaci depn del departament de formaci i
s all que ensenyem als alumnes dels cursos quan expliquem tcniques
de gesti, s una de les nostres rees clau de resultats, una cosa que hem
de fer molt ben feta en un departament de formaci, lavaluaci tcnico-
26
pedaggica, que comprn des de lanlisi de necessitats de formaci fins
a la definici dobjectius, passant per la decisi del tipus de programa de
formaci que farem, la seva execuci i, no cal dir-ho, lavaluaci de la-
prenentatge.
A partir del punt quatre, el tema comena a complicar-se, perqu lavaluaci
senriqueix amb altres actors: ens referim sobretot als responsables direc-
tes de les persones que han passat per un procs de formaci i dun actor
indefinit, la cultura organitzativa, que ha de permetre lexperimentaci,
lassaig-error, s lavaluaci daplicaci i lavaluaci dimpacte.
27
29
AVALUACI TCNICO-PEDAGGICA:
DE L ANLISI DE NECESSITATS A L EXECUCI DE LA FORMACI
Lavaluaci tcnico-pedaggica correspondria a les etapes del que sa-
nomena enginyeria de la formaci, que s, segons Le Boterf (1991), el
conjunt coordinat dels treballs metdics de concepci i implantaci dels
sistemes de formaci, s a dir, el pas de la poltica al pla de formaci.
Lenginyeria de la formaci aniria, doncs, des de lanlisi de necessitats
fins a lexecuci de la formaci, passant per la definici dobjectius i la
planificaci de les accions.
Si, com hem dit abans, entenem lavaluaci com la recollida dinforma-
ci per a la presa de decisions, es trenca lesquema tradicional lineal
segent:
Anlisi necessitats Planificaci Execuci Avaluaci
i lavaluaci sintegra en tot el procs denginyeria de la formaci:
Anlisi de necessitats
Definici dobjectius
Planificaci
AVALUACI
Execuci
En el procs davaluaci hi hauria, doncs, tres fases (Mateo, 1994):
1. Fase analtica, que comena amb lanlisi i lespecificaci de les
necessitats de formaci, la valoraci dels obstacles previsibles i les-
tabliment dels recursos necessaris per poder dur a terme un programa
de formaci determinat. s lavaluaci inicial o diagnstica.
30
2. Fase interactiva: es dissenya el programa, es concreten els objectius
pedaggics, operatius i dimpacte, es decideix la metodologia o
estratgia pedaggica que sha de seguir, es tradueixen les necessitats
de formaci a continguts, se selecciona el professorat ms adequat, es
fa la selecci dels alumnes, sescullen els instruments i els criteris da-
valuaci pedaggica. s lavaluaci formativa.
3. Fase avaluativa: s lavaluaci final o sumativa, avaluaci dels can-
vis produts a partir de laplicaci dun programa determinat. En par-
larem ms endavant.
Segons el moment del pla de formaci, el sistema de formaci que fem
servir, els recursos de qu disposem, etctera, en les nostres organitza-
cions, estarem en disposici darribar, ms o menys endavant, en una fase
o en una altra daquest procs.
Vegem a continuaci cadascuna de les fases del procs davaluaci tc-
nico-pedaggica.
1. ANLISI DE NECESSITATS DE FORMACI
Entenem per anlisi o avaluaci de necessitats de formaci lestudi sis-
temtic dun problema o innovaci, amb la incorporaci dinformacions
de diferents fonts per tal de prendre decisions efectives o doferir reco-
manacions (Rossett). Amb aquesta definici podem confirmar el seu
aspecte avaluatiu.
El punt de partida duna anlisi de necessitats de formaci pot ser molt
variat: es pot fer una demanda de formaci per problemes de rendiment
o disfuncions observades; per la introducci de sistemes, tecnologies o
procediments nous; pel canvi o levoluci dun lloc de treball; per un can-
vi organitzatiu; per un canvi cultural, etctera. A partir daquest moment
comena la recerca dinformaci per centrar la demanda i la possible res-
posta.
QUINA INFORMACI NECESSITEM PER PODER PRENDRE DECISIONS?
Sobre el tema que ha generat la demanda:
Qu s lptim, el ms desitjable, s a dir, quins coneixements, quines
habilitats i quines actituds es requereixen.
31
Quines sn les opinions, quins sn els sentiments sobre el problema o
el canvi que sha de produir.
Si el que ha generat la demanda s un problema de rendiment, quines
en sn les causes (manca de destreses, manca dincentius o incentius
insuficients, manca de motivaci, entorn inadequat, etctera).
Quines sn les possibles solucions.
Sobre el grup o els grups de persones que shan de formar.
Quin s el seu nivell, s a dir, els coneixements i les destreses actuals.
Quina s la seva actitud i quins sn els seus sentiments.
Lhomogenetat de nivell.
Sobre els plans estratgics i poltics de lempresa.
Relaci de la demanda amb aquests plans i prioritat.
A QUI HEM DE DEMANAR LA INFORMACI QUE NECESSITEM?
Segurament, en cada cas seran diferents les fonts per obtenir informaci.
s important, com hem comentat al principi, diversificar la recollida
dinformaci, intentar tenir punts de vista diferents. Algunes de les fonts
a qu normalment hem dacudir sn les segents:
La persona o les persones que ens han formulat la demanda.
El responsable o els responsables de les persones que shan de formar.
Les persones que shan de formar.
Materials escrits: descripci del lloc de treball, informes previs, docu-
mentaci sobre el tema.
Les eines que podem fer servir per obtenir la informaci sn les matei-
xes a qu ens referirem respecte a les altres fases davaluaci, s a dir,
entrevistes, qestionaris, reunions de grup, observaci sistemtica, docu-
ments i dades del departament de personal (ndex dabsentisme, proble-
mes disciplinaris, etctera).
Una vegada feta la recerca dinformaci, arriba el moment de la decisi,
de les propostes ms adequades a cada demanda, que poden ser:
32
Desenvolupar un programa de formaci.
Suggerir altres accions per resoldre el problema: canvi de lloc de tre-
ball, canvi de condicions de treball, incorporaci de noves eines, etc-
tera.
Recomanar una combinaci de les dues propostes anteriors, s a dir,
combinar un programa de formaci amb altres accions.
2. DEFINICI DOBJ ECTIUS
Qualsevol que sigui lautor, la font consultada o lexperincia estudiada,
veurem que un pas previ imprescindible si volem fer avaluaci, encara que
a vegades ens faci mandra, s la definici dobjectius, s a dir, hem dex-
plicitar la finalitat que pretenem amb un procs daprenentatge determi-
nat. Personalment crec que si dediquem una bona estona a definir objec-
tius tindrem avanat, sense exagerar, un 50% del cam de lavaluaci.
Penso que s interessant distingir aqu diferents tipus dobjectius, els
quals he intentat classificar a partir de les aportacions de diferents
autors:
Objectius globals. Sn els que es formulen per identificar el resultat que
sespera de la formaci des duna perspectiva mplia. La definici da-
quests objectius correspon als nivells directius, responsables ltims de
les decisions que afecten les grans poltiques relacionades amb la for-
maci: director de formaci, director de recursos humans, agents
socials, etctera.
Objectius pedaggics: les representacions, els coneixements, les capaci-
tats o els comportaments que els alumnes han dhaver adquirit al final
de lacci de formaci. Sn objectius daprenentatge que han de ser defi-
nits generalment per la persona encarregada dimpartir la formaci.
Objectius operatius. Indiquen, no pas all que lalumne ha dhaver
aprs, sin el que ha de ser capa de fer en el lloc de treball una vega-
da acabat el perode de formaci. Aquests objectius fan una descripci
dactivitats operatives que es poden realitzar amb millors o pitjors
resultats, i sn, per tant, els que ens permetran avaluar ladquisici de
la competncia i la transferncia que tindr en el lloc de treball.
Han de ser definits pels tcnics responsables de la formaci en colla-
boraci amb els responsables directes de les persones que shan de
formar.
33
Objectius dimpacte (els ms difcils de definir i per tant davaluar):
representen els efectes previstos de la formaci sobre lorganitzaci, tant
pel que fa a les condicions dexplotaci com als canvis globals. Igual
que els primers, han de ser definits pels nivells directius.
Podrem parlar dun altre nivell dobjectius que cal tenir en compte, els
objectius individuals, s a dir, les expectatives i els desitjos de lalumne
quan assisteix a accions de formaci, que influeixen en gran manera en
tot el procs i que hem de tenir presents.
3. DISSENY I EXECUCI DEL PROGRAMA
(AVALUACI DE PROCS O DE PROGRAMA)
Si amb lavaluaci de necessitats hem decidit fer formaci i tenim iden-
tificada la poblaci destinatria, les seves caracterstiques i les seves
necessitats concretes, si ja hem definit els objectius que volem aconse-
guir, el pas segent s el disseny del programa o del curs de formaci.
En aquesta etapa hem de decidir quin contingut s el ms apropiat, com
el plantegem i com el desenvolupem i amb quines activitats; quin pro-
fessor s lidoni per dur a terme la formaci, quina metodologia s la ms
til i quins recursos hem de fer servir.
En la fase de disseny tamb hem de decidir quins instruments davalua-
ci farem servir i en quin moment i a qui demanarem la informaci, s a
dir, lestratgia davaluaci.
Abans de posar en marxa un programa hem de comprovar que compleix
tres requisits: pertinncia, viabilitat i rendibilitat econmica. Ha de ser un
programa pertinent, s a dir, ha de tenir coherncia amb la realitat que sha
de modificar; ha de ser viable, s a dir, possible de realitzar; i rendible
econmicament, sha de ponderar cost/eficcia del programa.
Durant lexecuci del programa hem de tenir informaci sobre la seva
marxa per poder prendre decisions si cal, sobretot si el programa s de
llarga durada. Lobjectiu s avaluar fins a quin punt es van complint les
previsions i els objectius predefinits. Aix permet un feedback constant
al llarg de tot el desenvolupament del procs.
Finalitzada la fase dexecuci ens interessa tenir informaci sobre dife-
rents aspectes per poder valorar el contingut i altres variables que poden
influir en el procs daprenentatge:
34
El disseny mateix del programa, s a dir, si els objectius, el contingut,
la metodologia i els recursos sn els adequats.
Lorganitzaci, els aspectes dinfrastructura, els materials, etctera.
El professor, la seva metodologia i els criteris dactuaci, la prepara-
ci tcnica, les qualitats pedaggiques i la claredat de lexposici.
Laprenentatge de lalumne, la seva participaci durant el procs.
La utilitat del contingut per a la capacitaci de lalumne, laplicaci al
lloc de treball i ladequaci a les seves necessitats.
Normalment, en aquesta fase els subjectes i els agents davaluaci sn els
mateixos: els alumnes, el professor i el gestor de formaci.
Els instruments que es fan servir sn el qestionari, lobservaci, amb
informes escrits, informaci en situaci informal, entrevistes, i el contrast
de les expectatives inicials i les conclusions finals.
Per avaluar laprenentatge es fan servir tests, proves de coneixements pro-
fessionals, proves prctiques, simulacions o treball de grup.
El moment de lavaluaci dependr de lextensi del programa i dels
objectius de lavaluaci. Per exemple, si lobjectiu s avaluar laprenen-
tatge, saconsella fer una avaluaci inicial per comprovar la preparaci
prvia dels alumnes, el seu nivell de coneixements i/o destreses, si es
coneix el que ser objecte del curs; una avaluaci durant el procs per
comprovar el ritme daprenentatge i les possibles dificultats plantejades;
i una avaluaci final per comprovar el nivell daprenentatge i en quin grau
shan aconseguit els objectius del curs.
Amb la informaci obtinguda al llarg de tot el procs podrem treure con-
clusions per poder prendre les decisions oportunes.
Segons ladaptaci dAguilar i Ander-Egg (1992), podrem:
1. Establir els graus segents:
Pertinncia: el programa ha estat capa de resoldre el problema o
la causa dorigen?
Idonetat: ha estat coherent amb els objectius proposats?
35
Efectivitat o eficcia: en quin grau shan aconseguit els objectius
proposats? Comparaci entre la qualitat i el temps estimat i el que
sha realitzat.
Eficincia i rendiment: quina s la relaci entre els esforos
esmerats i els resultats obtinguts?
2. Determinar les causes de lxit o del fracs i en quina mesura eren
degudes al programa o a causes extrnseques.
3. Facilitar el procs de presa de decisions per millorar o modificar el
programa.
4. Establir en quin grau shan produt altres conseqncies o efectes
imprevistos. Le Boterf (1993) assenyala, entre daltres, els efectes
segents: sollicituds de remuneraci complementries; creaci de
vincles entre els participants; millor coneixement de la vida de lor-
ganitzaci, dels diferents serveis; sollicituds de mobilitat; marxes;
desig de promoci; resistncia al canvi per part de les jerarquies; puja
o baixa del nivell de motivaci, etctera.
36
FITXA NM. 2: ANLISI DE NECESSITATS
1. Descripci de la demanda:
_______________________________________________________________________________________________
2. Qu lha generada?:
Problema de rendiment __________________________
J
Realitzaci dun projecte _______________________
J
Evoluci o canvi del lloc de treball __________
J
Canvi cultural ______________________________________
J
Nou sistema o procediment ____________________
J
Canvi organitzatiu ________________________________
J
Altres _________________________________________________
J
_______________________________________________________________________________________________
3. Quina contribuci sespera de la formaci?
_______________________________________________________________________________________________
4. Informaci sobre ptims, reals, sentiments, causes i solucions:
_______________________________________________________________________________________________
37
5. Anlisi del lloc de treball:
_______________________________________________________________________________________________
6. Anlisi del collectiu:
_______________________________________________________________________________________________
7. La formaci, s la soluci o hi ha altres alternatives? Quines?
_______________________________________________________________________________________________
8. Quin tipus de formaci?
_______________________________________________________________________________________________
9. Necessitats de formaci
Coneixements:
_______________________________________________________________________________________________
38
Habilitats:
_______________________________________________________________________________________________
Actituds:
_______________________________________________________________________________________________
39
FITXA NM. 3: DEFINICI DOBJECTIUS
1. Objectius globals (del pla de formaci):
_______________________________________________________________________________________________
2. Objectius operatius (del curs):
_______________________________________________________________________________________________
3. Objectius pedaggics o daprenentatge (del curs, de la sessi):
_______________________________________________________________________________________________
4. Objectius dimpacte (dun programa de formaci):
_______________________________________________________________________________________________
5. Expectatives individuals (objectius dels alumnes):
_______________________________________________________________________________________________
40
FITXA NM. 4: AVALUACI DE DISSENY I EXECUCI
1. Avaluaci de satisfacci o reacci:
Opini dels alumnes sobre:
Adequaci del curs a les expectatives.
Acompliment dels objectius.
Organitzaci del curs.
Correlaci teoria/prctica.
Preparaci/capacitat/claredat/amenitat del professor.
Metodologia.
Qualitat.
Utilitat de la formaci rebuda.
Valoraci del professorat:
Breu radiografia del grup (grau de participaci, motivaci, inters,
homogenetat/heterogenetat, etctera).
Adequaci i grau dassoliment dels objectius proposats.
Desenvolupament del programa.
Grau dadaptaci a la metodologia proposada.
Infrastructura i organitzaci.
Aplicabilitat del contingut en lmbit de treball.
Incidncies.
Aspectes que caldria mantenir i aspectes que caldria modificar.
Aspectes ms positius i ms negatius del conjunt del curs.
Valoraci quantitativa.
Valoraci del gestor o coordinador del curs:
Respecte al diagnstic:
Anlisi del lloc de treball.
Anlisi del collectiu.
Necessitats de formaci.
Respecte a lexecuci:
Grau dacompliment dels objectius.
Grau dacompliment del contingut.
Grau dadequaci del contingut al temps disponible.
Grau dadequaci del contingut a les necessitats dels alumnes.
Dificultats.
41
Propostes de millora.
Idonetat de la metodologia.
Correlaci teoria/prctica.
Recursos.
Valoraci sobre el professor.
Valoraci sobre els alumnes (grau de participaci, nivell de
coneixements, motivaci i inters, etctera).
Aspectes que caldria mantenir i aspectes que caldria modificar.
Aspectes ms positius i ms negatius del conjunt del curs.
Respecte a lavaluaci:
Idonetat de lestratgia davaluaci.
Decisions que shan de prendre.
Necessitat davaluaci posterior: aplicaci al lloc de treball,
impacte.
Instruments o tcniques que shan dutilitzar:
Alumnes Professor Gestor
Qestionari final ______________________
J J J
Observaci______________________________
J J J
Informe escrit _________________________
J J J
Informaci en situaci informal __
J J J
Diari del curs___________________________
J J J
Entrevista _______________________________
J J J
2. Avaluaci daprenentatge
Nivell inicial dels alumnes
_______________________________________________________________________________________________
42
Els alumnes, han adquirit o millorat els seus coneixements?
Han desenvolupat noves habilitats i actituds com a resultat de la for-
maci?
Hem de completar la seva formaci en algun aspecte, tant indivi-
dualment com en grup?
Instrument o tcnica que sha dutilitzar:
Qestionari ______________________________________________
J
Test o examen ___________________________________________
J
Estudi de casos prctics ______________________________
J
Prova de coneixements professionals ____________
J
Simulaci _________________________________________________
J
Treball de grup _________________________________________
J
Projecte ___________________________________________________
J
Prova prctica ___________________________________________
J
43
AVALUACI DE GESTI
Cada vegada ms, les exigncies de treballar amb eficcia i eficincia arri-
ben als treballadors i treballadores de lAdministraci pblica, acostumats
fins fa poc que un dels factors davaluaci de la seva gesti era si havien
exhaurit el pressupost a final dany. Aquesta exigncia, unida al fet que
cada vegada tenim menys recursos i els hem daprofitar al mxim fent
encara ms coses, ens porta a incorporar a la nostra feina eines de gesti
indites fins ara en el mn de les organitzacions pbliques.
Els missatges que ens van arribant des de ja fa uns quants anys, dels quals
nosaltres fem de transmissors en els cursos de gesti als directius i als
comandaments de les nostres organitzacions, han de recalar en primer lloc
en el mateix servei de formaci, que ha dintroduir lavaluaci econmi-
ca i de gesti com un dels seus objectius.
Quan parlem davaluaci de la gesti, qu volem avaluar? Lobjectiu de
fer avaluaci de gesti s controlar les accions de formaci en relaci amb
les previsions, lacompliment temporal, lacompliment pressupostari i la-
compliment de les variables que componen un curs.
Podrem diferenciar tres components:
1. Gesti operativa, s a dir, la producci o activitat del centre o servei
de formaci, que es mesura en relaci amb:
Els cursos.
Les hores.
Els alumnes.
44
Alguns indicadors de la gesti operativa sn els segents:
Nombre dhores de formaci.
Nombre dalumnes.
Nombre dhores de formaci nombre dhores de feina.
Hores totals
(nre. hores curs nre. alumnes)
Hores formaci/empleat =
___________________________________________
Nre. empleats
Hores totals
(nre. hores curs nre. alumnes)
Hores formaci/alumne =
____________________________________________
Nre. alumnes
Nre. alumnes 100
% dalumnes sobre el total dempleats =
____________________________
Nre. empleats
2. Gesti econmica, que correspondria a lanlisi de costos del pla, del
programa o de lacci de formaci en relaci amb:
El cost del curs.
El cost per hora.
El cost per alumnes.
En lapartat de costos hem de diferenciar:
Costos directes. Sn els que es produeixen com a conseqncia de la
preparaci i el desenvolupament dels diferents programes o activitats
de formaci: professor, materials pedaggics, documentaci, organit-
zaci, lloguers daules, etctera.
Costos indirectes. Sn els que, igual que els costos directes, es pro-
dueixen com a conseqncia del desenvolupament dels diferents pro-
grames per que no sapliquen a conceptes formatius, com ara dietes
per desplaament dels alumnes, manutenci, etctera.
45
Costos associats. Sn conseqncia de labsncia dels participants al
seu lloc de treball. Els principals sn els salaris i les crregues socials
dels participants i professors interns durant els perodes de formaci.
La valoraci daquest apartat depn de cada organitzaci; si no es vol
filar gaire prim es pot optar per fer una valoraci mitjana per partici-
pant segons la categoria o el grup en qu sinscriu (tcnic superior, tc-
nic mitj, administratiu, auxiliar administratiu o subaltern).
Costos generals o estructurals. Corresponen al conjunt de despeses de
formaci no incloses als apartats precedents: la part corresponent del
salari i crregues del personal del servei de formaci, despeses de man-
teniment de les installacions prpies (lloguers, calefacci, telfon,
llum, etctera), despeses de manteniment i amortitzaci dinversions
(per exemple, equips informtics, software, udio-visuals, etctera).
Encara que el clcul es faci duna manera rigorosa, sha de tenir en comp-
te que en el cas de la imputaci dels costos estructurals lestimaci de les
mesures de vegades s discutible. Tot i aix, s un bon exercici comenar
a fer-ho, si ms no duna manera general, per tot el pla de formaci, per
poder trobar indicadors del que realment representa la inversi de lorga-
nitzaci en formaci i del percentatge de la massa salarial de qu parlem.
Alguns indicadors daquest apartat sn els segents:
Pressupost global de formaci.
Preu duna hora de formaci per programa o tipus de formaci.
Estructura i evoluci de les despeses de formaci.
Costos de formaci
Cost de formaci per empleat =
_____________________________
Total dalumnes
Costos de formaci
Cost duna hora de formaci =
_____________________________
Nre. hores de formaci
Esfor formatiu a ra Costos de formaci
de les despeses salarials =
_____________________________
Massa salarial 100
FITXA NM. 5: REGISTRE PER A L AVALUACI DE LA GESTI
Nom del curs o de lacci formativa _____________________________
Nre. hores ______________ Assistents _____________ Nre. accions _____________
Hores/ Hores dins Hores fora
assistents _____________ hor. treball _____________ hor. treball. _____________
Pressupost:
Captol I _______ Captol II _______ Captol IV ________ TOTAL ________
Costos:
Cost parcial Cost total
Cost professor extern ___________________ __________________
Cost professor intern ___________________ __________________
Cost materials ___________________ __________________
Documentaci ___________________ __________________
Lloguer daules ___________________ __________________
Total costos directes ___________________ __________________
Dietes desplaament alumnes ___________________ __________________
Manutenci ___________________ __________________
Allotjament ___________________ __________________
Total costos indirectes ___________________ __________________
Cost hora/assistent ___________________ __________________
Total cost associat ___________________ __________________
Cost hora/local ___________________ __________________
Cost hora/equip de formaci ___________________ __________________
Nre. dhores dedicades ___________________ __________________
Total costos estructurals ___________________ __________________
TOTAL COST CURS O ACCI ___________________ __________________
46
NIVELLS DE L AVALUACI:
DE LA SATISFACCI DE L ALUMNE A L IMPACTE DE LA FORMACI
Podem distingir quatre nivells de lavaluaci.
1. Satisfacci o reacci: quina s lopini dalumnes, professors i ges-
tors sobre la formaci duta a terme?
2. Adquisici de coneixements o aprenentatge: els alumnes, han adqui-
rit els coneixements, les habilitats i les tcniques que sels han
transms durant la formaci?
3. Aplicaci al lloc de treball: hi ha transferncia dels coneixements,
les habilitats i les actituds de la situaci de formaci al lloc de treball?
4. Impacte en lorganitzaci: quins sn els efectes de la formaci en
lorganitzaci tant en lmbit econmic (anlisi cost/benefici) com pel
que fa a possibles millores, canvis o iniciatives en el funcionament de
lorganitzaci?
Els nivells 1 i 2 formen part del que sha tractat com a avaluaci tcnico-
pedaggica, que es desenvolupa en un punt anterior. Sn els nivells que
savaluen amb ms freqncia. Lavaluaci comena a complicar-se a par-
tir del moment que acaba lacci de formaci, quan lalumne torna al seu
lloc de treball, i encara ms quan volem avaluar els efectes de la forma-
ci sobre lorganitzaci.
APLICACI AL LLOC DE TREBALL
Com hem vist, amb aquest nivell davaluaci volem constatar si els alum-
nes han transferit al seu lloc de treball els coneixements i les habilitats
adquirits i, si hi ha hagut un canvi dactitud, fins a quin punt els alumnes
han aplicat el que han aprs en la millora del seu rendiment.
47
A banda de lalumne, que continua sent lactor principal, en aquest nivell
hi ha altres actors amb un paper molt rellevant: en primer lloc, el princi-
pal responsable de lavaluaci, el cap directe del participant; i, en sego-
na lnia, tots els actors que intervenen en la situaci de treball (companys,
usuaris, subordinats, etctera).
Aix mateix, hi entren en joc altres factors que poden facilitar o dificul-
tar laplicaci o la no-aplicaci de les competncies, com poden ser can-
vis en lorganitzaci del treball, actitud de la direcci, canvis de perso-
nal, funcionament dels circuits dinformaci, etctera, que shan de tenir
en compte a lhora de fer lavaluaci.
Lavaluaci de laplicaci sha de fer en diferit, quan ha transcorregut un
perode de temps desprs dhaver acabat la formaci, aproximadament al
cap de sis mesos o un any. Lalumne ha de tenir temps dintegrar els seus
aprenentatges i transferir-los a la situaci de treball.
Com ja hem dit, el cap superior s el ms adequat, i encara diria ms, el res-
ponsable, de lavaluaci en aquest nivell, perqu pot comparar la situaci
abans i desprs de la formaci, mesurar els progressos i els canvis en el com-
portament professional i valorar la importncia que adquireixen de cara als
objectius fixats. Ens adonem del valor de disposar de la collaboraci dels
caps per fer lanlisi de necessitats prvia a la formaci i loperativitzaci
dels objectius. La participaci o la no-participaci dels caps en tot el pro-
cs es pot convertir en un factor clau de lxit o del fracs de la formaci.
Tamb hi poden collaborar altres actors implicats, com subordinats o
usuaris, la inclusi dels quals fa ms complex lestudi, o b fer directa-
ment lavaluaci amb algun tcnic del departament de formaci, per sem-
pre amb el consens i la participaci del superior directe de lalumne.
Potser conv recordar el que sha dit en els captols inicials daquest
dossier sobre la utilitat de lavaluaci i de la importncia de veure clars
lobjectiu i la decisi que sha de prendre. Quan avaluem laplicaci de
la formaci al lloc de treball, la inversi en temps i recursos augmenta
considerablement, per la qual cosa s molt important tenir ben clar per
qu ens serviran els resultats daquesta avaluaci.
Buckley i Capley (1991) recullen al seu llibre el criteri de diferents autors
que cal tenir en compte per decidir en aquest moment quines tcniques i
quina estratgia hem demprar segons els punts segents:
48
La importncia de la formaci i dels beneficis esperats.
La freqncia amb qu es far la formaci (i jo hi afegiria lampli-
tud del collectiu que sha de formar).
El cost de lavaluaci.
La utilitat, s a dir, les necessitats dinformaci que satisfar i les
decisions que es podran prendre.
La fiabilitat.
Ltica.
Els instruments que es fan servir normalment en aquest nivell sn els qes-
tionaris, les entrevistes amb els diferents actors, els projectes o plans dac-
ci de lalumne, lavaluaci de rendiment, lobservaci directa en situa-
ci de treball i lexamen de resultats o productes del treball.
IMPACTE EN LORGANITZACI
Lobjectiu en aquest nivell davaluaci s determinar els efectes i el
valor de la formaci des del punt de vista de lorganitzaci i amb una pers-
pectiva a mitj i a llarg termini. El que es pretn s trobar indicadors
deficcia, s a dir, els resultats de les accions de formaci dins lorga-
nitzaci.
Els indicadors dimpacte de la formaci es poden valorar a diferents
nivells (Crdova, 1993):
Resultats econmics quantificables de les persones o unitat de treball,
s a dir, beneficis de la formaci, com ha influt la formaci en ter-
mes econmics (per exemple, augment de la productivitat i el que pot
significar de reducci del personal necessari per fer determinades tas-
ques; disminuci de les queixes; simplificaci de les tasques admi-
nistratives que pot comportar disminuci del temps de telfon, del
nombre de fotocpies o del temps invertit en lanlisi de documents,
etctera).
Millores, canvis i iniciatives en lorganitzaci, en els processos, en
la gesti, noves formes ms eficaces de treballar.
Canvis o millores en la motivaci, la satisfacci, les actituds i el cli-
ma en el medi de treball.
Desenvolupament personal o enriquiment professional dels empleats.
49
Encara fa molt pocs anys que sha comenat a parlar daquest nivell da-
valuaci, sobretot pel que fa a la valoraci dels beneficis de la formaci,
al clcul de la seva rendibilitat econmica. En una de les seves ltimes
obres (Post-Capitalist Society), Peter Drucker diu: No s possible quan-
tificar el saber. Podem estimar qu costa de produir i de distribuir, per
no es pot dir res gaire precs sobre el que pot produir, del rendiment del
saber. Tota teoria econmica pressuposa lexistncia dun model de
relacions quantitatives entre diferents parmetres (recollit per Le Boterf,
1994).
Aix s la mxima dificultat en aquest nivell: poder establir les relacions
directes causa/efecte de la formaci sobre els possibles resultats, per tots
els factors aliens a la formaci que hi poden influir. Quan parlem de fac-
tors aliens, ens referim tant a factors externs a lorganitzaci, com s ara
la legislaci, la situaci social i econmica, etctera, com a factors interns,
entre els quals hi ha el grau de comproms i suport dels caps i de la direc-
ci en general, els canvis en lmbit poltic, els canvis organitzatius, la
reestructuraci de personal o de procediments, etctera.
Segons el tipus i el contingut de la formaci, tamb varien les possibili-
tats de deduir un nivell davaluaci o un altre. Per exemple, s difcil tro-
bar limpacte econmic de la formaci per al desenvolupament de coman-
daments o del personal que presta atenci al ciutad, i potser s ms fcil
quan es tracta dimplantar un nou procediment.
El quadre segent pot reflectir les possibilitats davaluar un nivell o un
altre segons el tipus de formaci.
50
Tipus de formaci i nivell davaluaci (exemples)
Nivell davaluaci
Tipus de formaci Aprenentatge
Aplicaci
Impacte
a la feina
Formaci lligada
a problemes dexecuci
Formaci lligada
a projectes especfics
Formaci dhabilitats
(management) ?
Formaci per
a lactualitzaci ? ?
Formaci per transmetre
cultura organitzacional ? ? ?
(Font: Guy Le Boterf, 1994. Traducci i adaptaci de lautora.)
Malgrat la complexitat i els inconvenients que podem trobar en aquest
nivell davaluaci, i sempre tenint en compte la idea principal de la uti-
litat de la informaci que puguem aconseguir i de la decisi que cal pren-
dre, s possible que ens interessi introduir aquest tipus davaluaci en
algun dels nostres programes, comenant per algun que tingui una
importncia estratgica per a lorganitzaci o per a la formaci feta en una
rea organitzativa determinada.
Per fer avaluaci dimpacte des del punt de vista econmic podem dife-
renciar tres nivells que shan de tenir en compte:
1. Reducci dels costos amb la reducci de les despeses (ms fcil de
quantificar), per exemple la reducci del temps o de les despeses de
formaci, la reducci de la contractaci de serveis externs, la reduc-
ci del consum de material i energia, etctera.
2. Reducci dels costos amb augment de la productivitat, per exemple,
la reducci del nombre de feines repetides, laugment de la rapidesa
en el servei, la reducci del nombre de persones necessries per pres-
tar un servei determinat, etctera.
51
3. Augment dingressos (ms difcil de quantificar), per exemple lin-
crement del servei o lincrement dingressos.
Per obtenir informaci sobre limpacte de la formaci, hem de tenir nor-
malment un suport extern al servei o al departament de formaci, tant pel
que fa a limpacte econmic que requereix dades que ens poden aportar
des de departaments de gesti econmico-financera com per lavaluaci
dimpacte de carcter ms global (millores en el clima de treball, desen-
volupament dels treballadors, etctera). Aqu, doncs, ens pot interessar
contractar un estudi o una auditoria externs.
El nivell davaluaci dimpacte s, com el daplicaci a la feina, una ava-
luaci que sha de fer en diferit, sis mesos o un any desprs dhaver fina-
litzat el perode de formaci.
Els instruments que es poden fer servir en aquest nivell sn les entrevis-
tes i els qestionaris. s de molta utilitat servir-se de dades de lorganit-
zaci, com ara indicadors del departament de personal (ndex dacci-
dents de treball, ndex dabsentisme, conflictivitat laboral, etctera) o del
departament dorganitzaci.
52
FITXA NM. 6: AVALUACI DE LAPLICACI AL LLOC DE TREBALL
Possibles aspectes que haurien de ser valorats (pel superior jerrquic)
segons els programes:
Augment del nivell de coneixements i habilitats.
Aplicaci dels coneixements adquirits amb lacci de formaci
(rapidesa, qualitat de la feina, etctera).
Augment o disminuci del nivell de motivaci (inters, bona dis-
posici, desig daprendre, etctera).
Capacitat i iniciativa en la resoluci de problemes.
Organitzaci de la feina.
Servei i atenci a lusuari.
Augment de la productivitat.
Integraci laboral.
Competncia professional.
Millora del clima de treball.
Millora de la comunicaci.
Augment de la polivalncia.
Resposta de la formaci a les necessitats detectades.
Aspectes complementaris que shaurien de treballar.
Dificultats per traspassar la formaci al lloc de treball.
Demanda de ms formaci.
Demanda/augment dels desitjos de promoci.
Instrument o tcnica que cal utilitzar:
Qestionari: al cap directe _________________________________
J
als subordinats _______________________________
J
als usuaris _____________________________________
J
a companys del mateix nivell ___________
J
Entrevista: al cap directe _________________________________
J
als subordinats _______________________________
J
als usuaris _____________________________________
J
a companys del mateix nivell ___________
J
Observaci directa a la feina __________________________________
J
Projecte o pla dacci de lalumne ___________________________
J
Examen de resultats o productes del lloc de treball _____
J
53
54
FITXA NM. 7: AVALUACI DE LIMPACTE ECONMIC
1. Estimaci dels costos (vegeu fitxa nm. 5). Comparaci entre els cos-
tos pressupostats i els costos reals.
2. Estimaci dels beneficis:
Reducci dels costos per reducci de despeses.
Reducci dels costos per augment de la productivitat.
Augment dingressos.
3. Buscar indicadors objectius i mesurables:
Quantitats (hores, etctera).
Efectius (nombre de persones).
ndex (errors, absentisme, etctera).
Terminis (temps de tramitaci, temps de durada duna feina).
4. Fer lanlisi cost/benefici del programa, quina s la relaci entre els
resultats obtinguts i lesfor realitzat en termes de diners, recursos i
temps.
55
FITXA NM. 8: IMPACTE EN LORGANITZACI
Alguns aspectes que cal valorar:
Modificaci de la situaci dels assistents al procs de formaci.
Desenvolupament personal o enriquiment professional dels as-
sistents.
Modificaci de la situaci dels usuaris o beneficiaris del seu
servei.
Modificaci del clima de treball.
Efectes en la comunicaci interna.
Canvi en els estils de direcci.
Resultats dels canvis, iniciatives o millores introdudes en lorga-
nitzaci a partir del programa de formaci.
Efectivitat del programa com a resposta als objectius plantejats.
Resultats o efectes no previstos observats de resultes del programa.
57
INSTRUMENTS I TCNIQUES D AVALUACI
Entenem per tcniques davaluaci qualsevol instrument, situaci, recurs
o procediment que sutilitzi per obtenir informaci sobre la marxa dun
procs (Zabalza, 1987). Lelecci duna tcnica determinada o dun con-
junt de tcniques dependr dels objectius i de les circumstncies que
envolten lavaluaci.
Decidirem, doncs, quina tcnica o quines tcniques utilitzem segons,
entre altres coses, lobjectiu de lavaluaci, els recursos de qu disposem,
la prioritat donada al procs que cal avaluar, les persones implicades,
lamplitud de lavaluaci, el temps disponible, etctera.
Una vegada tenim clara la reflexi inicial sobre qu s el que hem da-
valuar, qui ha de fer-ho, en quin moment, etctera, el fet descollir la tc-
nica o les tcniques correctes determinar en gran manera lxit de la-
valuaci. Hem de tenir en compte que la utilitzaci de tcniques variades
i de diferents fonts condicionar la validesa i la fiabilitat dels resultats
obtinguts.
Podem dir que una avaluaci s digna de crdit si quan saplica repeti-
dament i en la mateixa situaci proporciona resultats iguals o semblants,
i quan parlem de validesa fem referncia al grau de precisi amb qu un
instrument serveix o satisf les exigncies per a les quals va ser creat, s
a dir, recollir la informaci dels aspectes sobre els quals volem obtenir
informaci i no sobre daltres (Aguilar i Ander-Egg, 1992).
Trobar una fiabilitat i una validesa perfectes rarament s possible en ava-
luaci de formaci a les organitzacions, perqu hi intervenen factors
mltiples en els subjectes i en les situacions que impedeixen la recollida
de dades en condicions idntiques.
58
Com hem dit abans, sempre pensant en la practicitat i la utilitat de les-
tudi avaluatiu, hem dincorporar, en la mesura possible, diferents instru-
ments i lopini de ms dun actor del procs per poder generalitzar els
resultats.
Hi poden haver moltes maneres de classificar les tcniques davaluaci.
Una possibilitat s fer-ho de la manera segent:
Tcniques quantitatives. Sn tcniques de recollida de dades amb un alt
nivell destandarditzaci i dobjectivitat (Cabrera, 1987). En proposem
algunes:
Qestionari
Test
Prova prctica
Proves de rendiment o de coneixements professionals.
Tcniques qualitatives. Sn tcniques que sacosten a la realitat des du-
na perspectiva ms fenomenolgica i etnogrfica (Cabrera, 1987):
Observaci
Entrevista
Reuni de grup
Tcniques grupals dinvestigaci: grups nominals (TNA), grups
de creaci participativa, Delphi, etctera
Estudi de casos
Simulacions
Anlisi de contingut
Anlisi de documentaci
A les fitxes segents he intentat exposar duna manera molt breu els trets
principals dalguna daquestes tcniques, les que al meu judici es fan
servir ms sovint per avaluar la formaci a les organitzacions, amb lob-
jectiu de posar en com alguns trets metodolgics delaboraci, prepa-
raci, posada en marxa i registre que ens ajudi a obtenir el mxim din-
formaci.
59
L OBSERVACI
QU S?
Lobservaci s una tcnica qualitativa amb una potencialitat enorme de
recollida dinformaci til per al procs davaluaci. Encara que el seu
grau dutilitzaci no s gaire freqent, entre altres motius pel cost que
comporta, s interessant tenir-la en compte a lhora de plantejar-nos les-
tratgia davaluaci.
Knapp (1965) la defineix com un conjunt de registres dincidents de com-
portament que es donen en el curs normal dels esdeveniments i que es con-
sideren significatius perqu descriuen models de desenvolupament.
PER QU ES FA SERVIR?
Lobservaci s un bon instrument per utilitzar en els diferents moments
del procs de formaci:
Abans del procs: com a ajuda a lanlisi de necessitats de formaci,
desprs duna o ms sessions dobservaci podem tenir informaci per
descriure les activitats de les persones estudiades, lentorn, les eines que
utilitzen, etctera. Aix ens ajudar en la descripci del lloc de treball.
Durant el procs: com a descripci de les activitats de les persones que
participen en laplicaci del programa, tant alumnes com professors.
Desprs del procs: com a instrument per avaluar laprenentatge dac-
tivitats que impliquen habilitats o destreses i per analitzar la influn-
cia de la formaci en lactuaci en el lloc de treball.
60
ARGUMENTS A FAVOR I EN CONTRA
Els arguments a favor de la utilitzaci de lobservaci sn els segents:
s una eina flexible que ens permet tenir informaci de tot el sistema,
no tan sols sobre els punts on en principi previem focalitzar el nostre
inters.
Tenim informaci sobre el terreny, amb la qual cosa tamb tenim ms
informaci del context.
Tenim informaci ms enll de les paraules que hgim pogut obtenir
en una entrevista o en un qestionari escrit.
Ens pot portar a altres informacions dutilitat per a lavaluaci, com
poden ser els productes o resultats lligats al lloc de treball, per exem-
ple expedients, indicadors, etctera.
Els arguments en contra podrien ser els segents:
La subjectivitat de lobservador, que pot filtrar o esbiaixar la informa-
ci obtinguda, tant pels perjudicis que pugui tenir respecte a una deter-
minada tasca com per les seves prpies deduccions.
La influncia que pot tenir una persona aliena a un procs, s a dir, la
presncia de lobservador, afectar la manera dactuar de les persones
observades? En general, la resposta s afirmativa, per es pot palliar
amb mostratges en diferents llocs i amb diferents treballadors, i fins i
tot amb la utilitzaci dobservadors encoberts, com s el cas del client
fantasma a les oficines datenci al pblic.
El cost. Com he dit al principi, aquest s un dels punts que poden afec-
tar ms negativament la utilitzaci daquest instrument, el nombre
dhores i els desplaaments per la persona o les persones que fan lob-
servaci.
PREPARACI DE LOBSERVACI
Desprs danalitzar els arguments a favor i en contra, i si optem per
aquesta observaci, hem de tenir en compte que no s convenient impro-
visar un procs dobservaci i que si volem aprofitar al mxim la infor-
maci que ens ofereix una situaci determinada hem de tenir present una
srie de factors (adaptat de Mateo, 1989):
61
Tenir idees ben clares sobre els objectius que perseguim amb lobser-
vaci.
Lexplicitaci o no de lobservaci: les persones observades, han de
conixer lexistncia de lobservador i el propsit de lobservaci?
La durada de lobservaci, ha de ser nica o mltiple?
La focalitzaci de lobservaci, ha de tenir un enfocament restringit i
analitzar aspectes allats, o b un dampli, atent a qualsevol aspecte que
succeeixi? Alguns autors aconsellen un primer acostament assumint de
forma holstica la situaci, observant-la en conjunt; la segona fase ja
seria ms estructurada, per captar-ne els detalls.
Lestructuraci de lobservaci: s preferible tenir una guia dobser-
vaci sistematitzada o b un paper en blanc obert a qualsevol possible
succs?
Lagent dobservaci: ha de ser alg del departament de formaci o
podem aprofitar altres recursos de lorganitzaci ms preparats per
obtenir informaci til en cada cas?
Un observador ha de reunir una srie de caracterstiques:
Curiositat sobre el que ha dobservar i els seus detalls.
Pacincia per reunir tots els detalls necessaris i les percepcions sobre
una situaci.
Tacte per explicar, si cal, el perqu de la seva presncia en un context
determinat i suavitzar les preocupacions de les persones observades.
Bona disposici per confondres amb lentorn com a part interessada.
Comprensi del sistema que s el centre de lobservaci.
Habilitat per percebre tant el bosc com els arbres.
Habilitat per enregistrar el que succeeix, analitzar-ho i arribar a deduc-
cions vlides per al procs davaluaci.
Com hem dit anteriorment, un dels punts que hem de tenir en compte s
la utilitzaci o no duna guia dobservaci. La guia dobservaci s un
material de suport que ens serveix per optimitzar el temps en el lloc on
es fa lobservaci, durant lanlisi de la informaci existent, i, a poste-
riori, per posar en clar tota la informaci recaptada. s til tamb, si lob-
servaci ha danar a crrec de persones diferents i en diversos processos,
per homogenetzar i estandarditzar la recollida dinformaci.
62
Una guia dobservaci ha de ser fcil de comprendre i dutilitzar i ha des-
tar directament relacionada amb els objectius de la fase del procs (an-
lisi de necessitats, execuci, etctera) en la qual lestem utilitzant.
A vegades podem fer servir un instrument en el qual la informaci es
pugui quantificar i el mitj de recollida de la informaci sigui lobserva-
ci. s el cas de les proves per a lavaluaci de les prctiques, instruments
que ens faciliten lavaluaci de laprenentatge de les activitats que impli-
quen destreses o habilitats, i que es poden dividir en aspectes clarament
definits, com poden ser un treball de taller, doficina, laprenentatge de
ls duna determinada eina informtica, etctera.
Consisteix en una srie de preguntes o enunciats sobre un aspecte que sha
davaluar seguida duna escala dopcions graduades en intensitat. Els
trets i les caracterstiques han de ser directament observables i els tems
han de ser unvocs, no han de donar lloc a interpretacions.
Segons el tipus de resposta poden ser de quatre classes:
Numriques: quan la intensitat del tret que sha dobservar sexpressa
en xifres.
Grfiques: quan la intensitat del tret que sha dobservar sexpressa en
categories (per exemple, sempre, generalment, a vegades, etctera).
Descriptives: quan les categories de lescala fan una descripci breu,
per al ms exacta possible, de la caracterstica o del tret que sha
dobservar.
De judici: s o no.
63
FITXA NM. 9: OBSERVACI
1. Situaci que sobserva:
_______________________________________________________________________________________________
2. Objectiu de lobservaci:
_______________________________________________________________________________________________
3. Objecte de lobservaci:
_______________________________________________________________________________________________
4. Llista de tasques, aspectes o conductes que shan dobservar:
_______________________________________________________________________________________________
5. Categories dobservaci:
_______________________________________________________________________________________________
6. Escales de valoraci:
_______________________________________________________________________________________________
65
LA REUNI DE GRUP
QU S?
La reuni amb un grup tamb s una tcnica qualitativa de recollida din-
formaci que ens pot ser til per a lavaluaci. Igual que lobservaci,
s una tcnica infrautilitzada; duna banda, perqu s ms costosa que
altres tcniques i, de laltra, per la mateixa dificultat que comporta diri-
gir un grup. Tamb, com en el cas de lobservaci, s una tcnica til
abans del procs de formaci, durant el procs i fins i tot desprs, s a
dir, com a ajuda a lanlisi de necessitats, al disseny, a lexecuci i a la-
plicaci.
Una reuni de grup s una trobada de tres o ms persones amb un objec-
tiu determinat que permet la interacci. Treballar en grup aporta un major
nombre didees i denergia que el que s possible amb un sol participant,
un resultat superior a la suma de les parts.
PER QU ES FA SERVIR?
Amb el treball de grup es pot recollir informaci, sen pot donar i es poden
crear llaos duni. Els grups es poden utilitzar en avaluaci per:
Demanar opinions dels usuaris dun procs determinat, o b dalumnes,
professors o caps directes dels assistents.
Oferir una srie dalternatives, de possibilitats per decidir entre dife-
rents opcions.
Establir prioritats i prendre decisions.
66
ARGUMENTS A FAVOR I EN CONTRA
A favor:
El contrast dopinions de diferents persones.
s possible obtenir informaci de diferents aspectes.
La discussi i el debat del grup poden enriquir les opinions personals.
En contra:
Com comentava al principi, el treball en grup s complex per diferents
raons. En primer lloc, s important tenir en compte lautoritat que pot
tenir el professional de formaci per treballar amb un grup que no
depn dell jerrquicament; en segon lloc, linters que pot moure els
participants a collaborar i a aportar el seu temps i la seva informaci
en un procs determinat; en tercer lloc, el paper dels assistents de
representaci dun collectiu determinat; finalment, i en quart lloc, les
mateixes caracterstiques personals dels assistents a una reuni de grup.
Pot ser costosa i exigir molt de temps, tant de realitzaci com danli-
si de la informaci.
PREPARACI I DESENVOLUPAMENT DE LA REUNI DE GRUP
Quan decidim utilitzar la reuni de grup com a instrument davaluaci,
s important seguir una sistematitzaci determinada de preparaci i desen-
volupament:
1. Preparaci prvia
Explicitar amb exactitud els objectius de la reuni.
Seleccionar-ne els participants, en principi segons els seus coneixe-
ments i lexperincia o altres raons estratgiques que considerem
importants per al procs (inters de la direcci, representativitat dels
assistents, recerca de suport a un projecte, etctera).
Preparar el local i les eines necessries.
2. Preparaci del grup
Els primers moments dun grup sn els ms importants. La presenta-
ci del director de la reuni i dels participants, el plantejament dels
67
objectius que es pretenen assolir i les normes de funcionament sn pas-
sos que cal atendre especialment per optimitzar-ne el funcionament
posterior.
3. La reuni
Els dos eixos duna reuni davaluaci sn els objectius plantejats i
la participaci de tots els assistents en el procs.
El paper del director de la reuni s sobretot de facilitador del pro-
cs, i com a tal t diferents funcions: iniciar idees, aclarir les idees que
puguin sorgir, fer preguntes, respondre les preguntes formulades pel
grup, acceptar o rebutjar idees, passar del que s general al que s espe-
cfic, analitzar, avaluar i resumir les aportacions que vagin sorgint i
informar sobre el progrs.
Per norma general, la reuni amb un grup que plantegem amb lob-
jectiu davaluar s una ocasi nica, per la qual cosa hem dintentar
aprofitar-la al mxim. Abans que finalitzi s important que el res-
ponsable es faci les preguntes sobre si shan aconseguit els objectius,
si shan obtingut dades i informacions prou especfiques per ajudar-
lo en lavaluaci, si cal complementar la informaci obtinguda amb
algun altre instrument, etctera.
4. Seguiment
Si sha establert algun comproms amb els assistents, s important
comunicar els resultats a qu shagi arribat a la reuni i, tant com sigui
possible, les conseqncies de la informaci, els canvis en el disseny
dun curs, les accions portades a terme desprs duna anlisi de neces-
sitats, etctera.
68
FITXA NM. 10: REUNI DE GRUP
1. Objectiu de la reuni:
_______________________________________________________________________________________________
2. Selecci dels assistents:
_______________________________________________________________________________________________
3. Mitj de registre de la informaci (notes personals, enregistrament,
etctera):
_______________________________________________________________________________________________
4. Qestions que shan de plantejar:
_______________________________________________________________________________________________
5. Compromisos a qu sha arribat:
_______________________________________________________________________________________________
6. Necessitat dutilitzaci dun altre o daltres instruments comple-
mentaris:
_______________________________________________________________________________________________
69
L ENTREVISTA
QU S?
Lentrevista tamb s una tcnica qualitativa daccs a la informaci
molt emprada en avaluaci. Lentrevista, igual com les altres tcniques,
sha dentendre com a complement i mai com un instrument nic de reco-
llida dinformaci.
Sota el nom dentrevista podem incloure diferents situacions comuni-
catives, des de la ms oberta i informal fins a la ms estructurada.
Independentment del tipus dentrevista, lentrevistador sha de preocupar
de preparar-la, de realitzar-la, denregistrar-la i davaluar-ne les dades.
Hem de tenir present, com he comentat per a les tcniques anteriors, que
esperem que lentrevista ens aporti una informaci que nosaltres neces-
sitem. Per tant, demanem la collaboraci de la persona entrevistada i hem
de fer-li veure lobjectiu i la importncia que t per a nosaltres la seva
aportaci.
No ser sobrer recordar quatre idees que cal tenir en compte, resumides
a lestil americ: qu hem de procurar i qu hem devitar en una entre-
vista (recollit per Jimnez, 1990, de Romn i Pastor).
Hem de procurar:
Que lentrevistat estigui relaxat.
Que se suprimeixi el protocol.
Preparar-la convenientment.
Posar-nos en el lloc de lentrevistat.
70
Ser un oient atent.
No fer gala dautoritat.
Hem devitar:
Parlar massa i voler controlar la situaci.
Sotmetre linterlocutor a un interrogatori.
Aparentar pressa i preocupaci.
Tractar daconseguir massa coses en una sola entrevista.
Fer judicis prematurs.
Que lentrevistat digui coses que desprs pensa que no hauria volgut
dir.
PREPARACI I DESENVOLUPAMENT DE LENTREVISTA
1. Preparaci prvia:
Determinar la situaci inicial i els objectius.
Planificar les preguntes, amb lobtenci dun mxim dinformaci ini-
cial.
Valorar la longitud de lentrevista i el nivell de detall necessari.
Escollir el tipus de preguntes: comportaments, activitats i experincies
del present, interpretacions, opinions i sentiments, coneixements i habi-
litats.
2. Entrevista:
Explicar-ne els objectius i els propsits.
Explicitar com o per qu va ser seleccionada la persona que s entre-
vistada.
Recordar la naturalesa annima i confidencial de la informaci.
Crear un clima agradable, evitar xerrades trivials, descriure loperati-
va de la reuni.
71
Centrar-se en el tema concret.
Fer algunes preguntes obertes i altres destructurades o de resposta
obligada.
Les preguntes han de ser clares i formulades amb un llenguatge
intelligible i adaptat a lentrevistat.
De tant en tant, fer intervencions mirall que reflectexin el punt de vis-
ta de linterlocutor.
Registrar la informaci i les opinions.
Mantenir una actitud de neutralitat.
Controlar en tot moment el ritme de lentrevista tenint en compte qu
volem esbrinar, i formular les qestions adequades per obtenir la infor-
maci que ens cal, facilitant feedback verbal i no verbal, i resumint el
contingut i el significat de les preguntes.
3. Conclusions de lentrevista:
Oferir a lentrevistat la possibilitat de preguntar.
Resumir la informaci obtinguda.
Descriure el cam que seguir el projecte.
Agrair a lentrevistat la seva collaboraci.
Patton insisteix que una bona entrevista tamb s una observaci.
Lentrevistador ha descoltar i observar. Les dades no verbals tamb ens
donen informaci.
72
FITXA NM. 11: ENTREVISTA
1. Objectiu de lentrevista:
_______________________________________________________________________________________________
2. Selecci de la persona o de les persones que shan dentrevistar:
_______________________________________________________________________________________________
3. Mitj de registre de la informaci (notes personals, enregistrament,
etctera):
_______________________________________________________________________________________________
4. Qestions que shan de plantejar (preguntes obertes i estructurades):
_______________________________________________________________________________________________
5. Compromisos a qu sha arribat:
_______________________________________________________________________________________________
6. Necessitat dutilitzaci dinstruments complementaris:
_______________________________________________________________________________________________
73
ALGUNES ORIENTACIONS COMUNES A LA UTILITZACI DE QUALSEVOL TCNICA
QUALITATIVA PODRIEN SER LES SEGENTS (PATTON, 1987):
Tractar de ser descriptiu a lhora de prendre notes.
Recollir una gran varietat dinformaci procedent de diferents pers-
pectives.
Fer validacions encreuades recollint diferents tipus de dades: observa-
cions, entrevistes individuals o grupals, documents, etctera.
Utilitzar cites i relats literals, en el llenguatge emprat per ell o pels par-
ticipants.
Seleccionar atentament els informants clau, tenint en compte que les
seves perspectives poden ser molt limitades.
Ser conscient de les diferents etapes: guanyar-se la confiana dentra-
da, estar alerta i amb una actitud disciplinada durant la fase rutinria
intermdia, centrar-se en lelaboraci duna sntesi til, ser conscient
durant la presa de notes.
Diferenciar clarament descripcions, interpretacions (prpies i daltres)
i judicis valoratius (propis i daltres).
Aportar un feedback formatiu com a part del procs de verificaci.
Incloure en linforme davaluaci experincies, pensaments i impres-
sions prpies.
75
QESTIONARI
QU S?
s un instrument escrit que es fa servir per a la recollida de dades amb la
intenci de descriure la naturalesa de les condicions existents i per com-
parar-les amb estndards prviament definits.
QUAN ES POT FER SERVIR?
s linstrument ms utilitzat per valorar la satisfacci dels alumnes i dels
usuaris de la formaci. Tamb es fa servir en els altres nivells davalua-
ci com a complement a lentrevista.
Arguments a favor i en contra
A favor:
Rapidesa.
Facilitat daplicaci.
Economia delaboraci i administraci.
Possibilitat daplicaci i resposta dun gran nombre de subjectes.
En contra:
Manca de sinceritat en les respostes.
Superficialitat.
Necessitat dadequaci del llenguatge a diferents poblacions.
Lentitud per normalitzar/quantificar les preguntes obertes.
76
ELABORACI I APLICACI
1. Consideracions prvies
Definir els objectius: delimitar el propsit essencial del qestionari
(per exemple, anlisi de necessitats, avaluaci de satisfacci, etcte-
ra), les rees especfiques (tipus dactivitat, contingut, professorat,
etctera) i els aspectes concrets (adequaci dels continguts, amenitat
del professor, etctera).
Revisar la informaci de qu disposem sobre el tema.
Pensar en la poblaci a qu sadrea (nombre de persones, nivell cul-
tural, etctera).
Avaluar els recursos disponibles: persones, temps, etctera.
2. Elaboraci prpiament dita
Seleccionar les preguntes, evitar que nhi hagi dintencionades o que
dirigeixen la resposta, evitar les complicades, les complexes, les irri-
tants, les negatives, etctera.
Escollir la forma de resposta: oberta, descala, de classificaci, de cate-
goritzaci, etctera.
Revisar les preguntes:
El contingut: s necessari? Shauria de concretar ms?
La redacci: podria expressar-se amb ms claredat? s interpreta-
ble la resposta?
La collocaci de la pregunta: est emplaada en un lloc lgic?
Sempre que sigui possible s convenient que una persona diferent de
la que hagi elaborat el qestionari revisi les preguntes.
Assegurar-se del nivell de comprensi de lusuari, tenint cura de la ter-
minologia.
3. Aplicaci
Estructuraci: mirar que el disseny sigui clar i simple. s convenient
introduir preguntes motivadores i senzilles al principi i al final.
Presentaci: instruccions ben clares, indicant-ne els objectius, ls que
shi donar, si s anonim o no, etctera, tenint cura que laparena del
qestionari sigui atractiva.
77
FITXA NM. 12: QESTIONARI
1. Objectiu del qestionari
Propsit esencial:
___________________________________________________________________________________________
rees especfiques:
___________________________________________________________________________________________
Aspectes concrets:
___________________________________________________________________________________________
2. Poblaci a la qual va dirigit
___________________________________________________________________________________________
3. Model de pregunta (preguntes obertes o tancades)
___________________________________________________________________________________________
4. Elecci del tipus de resposta
___________________________________________________________________________________________
5. Necessitat dutilitzaci daltres instruments complementaris
___________________________________________________________________________________________
79
CONCLUSIONS
Penso que potser s una bona idea acabar aquesta guia amb quatre idees
telegrfiques que poden resumir moltes coses que he volgut transmetre.
Quatre recomanacions assenyades
Els ja esmentats Stufflebeam i Shinkfield (1987) recullen al seu llibre
Evaluacin sistemtica les normes del Joint Committee per a lavaluaci
de la formaci. Un estudi avaluatiu ha de ser:
til: al servei de la presa de decisions.
Factible: senzill i efica.
tic: honestedat dels resultats.
Exacte: net de pressions i influncies.
Quatre criteris de qualitat (Le Boterf, 1991)
Pertinncia.
Coherncia.
Oportunitat.
Eficcia i eficincia.
Quatre consideracions finals
Objectius, objectius i objectius.
Leficcia de la formaci s responsabilitat de diferents actors. Hem de
tenir en compte les seves opinions per poder obtenir conclusions vli-
des que ens ajudin a la presa de decisions.
Disposar de la participaci dels caps directes de les persones que shan
de formar s un factor clau per a lxit de tot el procs.
s responsabilitat directa del departament de formaci tot el procs
denginyeria formativa (com sha dit, des de lanlisi de necessitats fins
a lexecuci). Per tant, s missi nostra aconseguir en aquest procs un
alt nivell de qualitat. A partir daquest moment entren en joc factors que
no podem controlar directament; malgrat aix, si volem que el nostre
paper en les organitzacions sigui cada vegada ms influent, hem dac-
tuar com a facilitadors en el procs posterior i com a referent dajuda
als caps i als alumnes.
80
BIBLIOGRAFIA
Ander-Egg, E. i Aguilar, M.J. (1992). Evaluacin de servicios y pro-
gramas sociales. Siglo Ventiuno Editores. Madrid.
Buckley, R. i Caple, J. (1991). Formacin. Teora y prctica. Daz de
Santos. Madrid.
Cabrera, F. (1987). Tcnicas de evaluacin y seguimiento de progra-
mas de Formacin Profesional. Ed. Largo Caballero. Madrid.
Crdova, P. y Equipo Tcnico de DIRFO (1993). Evaluacin de la
calidad, eficacia y rentabilidad de la formacin. Article de la revista
Capital Humano. Nm. 56. Maig. Madrid.
Jimnez, B. (1990). Evaluacin de programas de adultos: seguimien-
to y evaluacin. Fondo Formacin.
Le Boterf, G. (1991). Cmo invertir en formacin. Ediciones Gestin
2000, Barcelona.
Le Boterf, G. (1992). Ingeniera y evaluacin de planes de formacin.
Ediciones Deusto. Bilbao.
Le Boterf, G. (1993). Cmo gestionar la calidad de la formacin.
Ediciones Gestin 2000. Barcelona.
Le Boterf, G. (1994). Peut-on evaluer les effets de linvestissement en
formation dans une enterprise, et comment? Ponncia per a les XV
Jornadas Nacionales de AFYDE (juny 1994). Palma de Mallorca.
Mateo, J. (1994). La evaluacin de la formacin en la empresa.
Comunicaci per a les XV Jornadas Nacionales de AFYDE (juny 1994).
Palma de Mallorca.
81
Mateo, J. (1989). Documentaci del mdul davaluaci del Mster de
Direcci de Formaci a lem sa. Universitat de Barcelona/Consultores
Espaoles.
Mendoza, X. (1989). Lactualitat de la formaci a les Administracions
Pbliques. Documents de Formaci. Ajuntament de Barcelona.
Patton, M.Q. (1978). Utilization focused evaluation. Sage Pub. Beverly
Hills.
Peiro, J.M. (1986). Psicologa de la organizacin. Universidad Nacional
de Educacin a Distancia. Madrid.
Pineda, P. (1992). Recerca sobre lavaluaci de la formaci a lempresa
catalana. Estudi de la Universitat Autnoma, publicat per AFYDE.
Rossett, A. (s.d.). Training Needs Assessment. Englewood Cliffs. Nova
Jersey.
Stufflebeam, D. i Shinkfield, A. (1987). Evaluacin sistemtica. Ed.
Paids.
Zabalza, M.A. (1987). Diseo y desarrollo curricular. Narcea, Madrid. 82

Perspectiva 02 Avaluació

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Perspectiva 02 Avaluació

Uploaded by

Copyright:

Available Formats

PERSPECTIVA

You might also like