PARTICULARIDADES EN LO QUE RESPECTA A LAS EVALUACIONES QUE LLEVA A CABO LA DIGEDUCA
La Digeduca, dependencia del Ministerio de Educación (Mineduc), tiene a
su cargo los
procesos de evaluación que proveen información acerca de la
calidad de los aprendizajes (Acuerdo Gubernativo N.o 228-2008, artículo 8).
Esta evaluación se denomina externa porque es
ejecutada por una
institución ajena a los
establecimientos escolares o sujetos evaluados; su finalidad es aportar información útil para la
puesta en marcha de estrategias para mejorar la
calidad educativa.
Para
cumplir con los fines propuestos en la evaluación externa, se elaboran instrumentos
estandarizados porque se administran y califican según un mismo procedimiento y
los resultados se interpretan del mismo modo en todos los casos. La estandarización
garantiza que se dé a todos los evaluados las mismas oportunidades, con el objetivo de evitar sesgos que se
reflejen en puntuaciones mayores o menores del desempeño
real. Estas pruebas —en su mayoría nacionales— hacen posible medir la actuación académica de los
estudiantes, el
progreso educativo de los
estable-
cimientos, municipios, departamentos y del país.
La Digeduca evalúa a estudiantes de todos los niveles exceptuando preprimaria y,
asimismo, aplica la prueba diagnóstica a los docentes que tienen la intención de ejercer la profesión en
el sector oficial. La
periodicidad de cada evaluación cambia y
depende, en gran medida, de la disponibilidad financiera.
El sesgo evaluativo se comprende como una carencia
en las pruebas que podría ladear a los sujetos evaluados a seleccionar ciertas respuestas, por motivos
de sexo, aficiones, edad, entre otras.
Pruebas que evalúan comprensión
lectora y matemática
Las pruebas
que
la Digeduca construye
para
aplicar en los niveles de enseñanza, así como la diagnóstica para docentes, incluyen la evaluación en
materias como la lectura comprensiva, y los conocimientos
y habilidades matemáticas.
Se evalúa la lectura porque «ayuda a la formación del pensamiento, desarrollo de la afectividad e imaginación y
construcción de nuevos conocimientos» (CNB, 2008, p. 53). Asimismo porque:
«La lectura abarca un complejo conjunto de procesos
mentales que
incluyen información sobre el significado, la sintaxis, el vocabulario,
la forma del texto, las letras, etc., y sobre la
situación comunicativa, el objeto al que el texto se refiere, al modo de tratar la información, etc.» (SERCE, (s.f.), p. 17).
Para que el alumno pueda leer y comprender lo que lee, se necesita desarrollar las destrezas y habilidades cognitivas y comprensivas lectoras, así como también un amplio repertorio de vocabulario. Por este motivo, las pruebas dispensan el evaluar dichas destrezas, con el fin de identificar aquellas que se han desarrollado en la medida adecuada al nivel académico alcanzado y que les sea útil para desempeñarse eficientemente en las tareas que elijan.Se evalúa matemática porque «desarrolla en los alumnos (…), habilidades destrezas y hábitos mentales tales como destrezas de cálculo, estimación, observación, representación, argumentación, investigación, comunicación, demostración y autoaprendizaje» (CNB, 2007, p. 92). Permite al educando incluir valores y desarrollar actitudes y capacidades para percibir, comprender, asociar, analizar e interpretar los conocimientos adquiridos para enfrentar su entorno (Ramírez, 2009, p. 139).
Categóricamente, se evalúa matemática, pues
su enseñanza debe desarrollar en los aprendices las habilidades necesarias para «interpretar, calcular, recodificar, graficar, comparar, resolver, optimizar, demostrar, aproximar y
comunicar, entre
otras,
para que sean capaces de desenvolverse dentro y fuera
de
la escuela y para enfrentarse a los
retos
que le
prepone el mundo cambiante en el
que se
desenvuelve» ( cfr. SEC, 2012,
p.
4).
En la siguiente gráfica podemos apreciar las pruebas que la DIGEDUCA usa en la medición de saberes y habilidades de comprensión lectora y matemática:
El
ciclo de construcción de una prueba estandarizada
Una prueba estandarizada es «una tarea o conjunto
de tareas dadas
bajo condiciones estándar
y que está diseñada para evaluar algún aspecto del conocimiento, habilidades o
personalidad de un individuo» (Green (1981:1001) citado por Costalago, Esteban, Garrido, González, Moral, Tirado, 2009); generalmente son aplicadas a gran escala, es decir, a
grandes grupos de personas.
Estas pruebas pasan por un
riguroso proceso de elaboración el cual debe garantizar la confiabilidad y
validez de los resultados. La confiabilidad se refiere a la precisión con que
responde al propósito para el que fue diseñada (cfr. CVC Diccionario de
términos clave de ELE); esto presume que la prueba debe estar apropiada a lo
que quiere medir, en la urbe proyectada.
Una prueba es válida
cuando proporciona resultados de los que se pueda deducir si los estudiantes
que se sometieron a la prueba dominan o no la materia o materias evaluadas.
La construcción de las
pruebas estandarizadas de la Digeduca sigue un ciclo definido por sólidos
principios de medición para garantizar la validez de las pruebas y la
confiabilidad de los resultados.
Evaluación
a grandes dimensiones contra evaluación formativa
Se puede llegar a pensar que la evaluación realizada a grandes magnitudes, realizada por pruebas estandarizadas, no tiene relación con la evaluación formativa que se lleva a cabo en el salón de clases. Realmente se trata de dos aspectos diferentes de la evaluación educativa.
La evaluación a grandes
dimensiones mide los aprendizajes al concluir un proceso y la aplicación de correctivos
de mejora no es individualizada. Estos correctivos deben aplicarse al grupo de
personas que se evaluaron, por los resultados son de mayor utilidad para la ejecución
de estrategias de enseñanza a grupos.
En contraposición, la
evaluación formativa realizada en el aula mide los aprendizajes en el
transcurso del proceso de enseñanza-aprendizaje, esto da la pauta de la
aplicación de acciones puntuales en el mismo momento en que se encuentran las
deficiencias, lo cual tiene la ventaja de retroalimentar el proceso y obtener
logros y cambios al instante sin esperar a que llegue a la evaluación de tipo sumativa.
Fases
para la construcción de una prueba
La construcción o desarrollo de pruebas estandarizadas
requiere de una fase sistematizada para garantizar la validez y confianza de
los logros obtenidos. La figura a continuación ilustra las cuatro fases que
conlleva el realizar una prueba de evaluación de las que la Digeduca realiza.
Ciclo de Construcción de una Prueba
Esta fase involucra que los profesionales en medición y especialistas en las áreas de aprendizaje que se proponen evaluar participen; asimismo, es necesaria la participación de educadores y educandos que ayudan a la validación de las pruebas y de redactores de ítems.
FASE 1. Diseño de la prueba
Es la fase categórica de
la elaboración. Constituye un período de planificación de la prueba de la que
depende que se mida lo que se quiere medir. La Figura a continuación, vislumbra
el proceso.
Procesos de la fase de
diseño de la prueba
Revisión
de procesos previos
La revisión de procesos
previos supone que después de la aplicación de una prueba y de obtener los
resultados, se efectúa una revisión de esa prueba y de su funcionamiento; esto
permite fortalecer los procesos llevados a cabo y mejorar aspectos que
presentaron alguna dificultad en la validez o confiabilidad de la prueba.
La construcción de una prueba
estandarizada, generalmente parte de la revisión de una anterior. Esta práctica
permite aprovechar los aciertos de la prueba anterior y reducir el margen de
error que pueda reportar.
Mejorar
la prueba anterior o construir una nueva
Estos son dos procesos que forman parte de la fase
del diseño de la prueba, que se llevan a cabo previo a la formulación del plan general:
• Revisar con miras de mejorar la prueba aplicada,
se revisa todo su diseño con la posibilidad de mejorarlo y adaptarlo a las
necesidades del momento.
• Establecer el beneficio
de elaborar una nueva prueba que responda a las demandas de evaluación nacidos
de la necesidad de evaluar aspectos educativos que no se habían evaluado antes,
lo que admitirá un diseño totalmente nuevo.
Estos dos procesos son independientes; siempre es
necesario partir de la revisión de procesos de evaluación anteriores, para
proceder a la elaboración del plan general.
Plan
general
Al concluir la revisión de
los procesos previos, se está preparados para la confección de un plan general,
que establezca claramente el objetivo de la evaluación, el diseño de la prueba,
el grupo objetivo, los tiempos en los que deberá ejecutarse, la forma como se
administrará y quiénes serán los responsables de las distintas tareas. También
es el momento de estimar el costo de la prueba, el financiamiento y el personal
que tendrá a cargo el proceso.
De la elaboración de un
plan realista, depende en gran medida el éxito de la prueba. A continuación, se
describen los procesos que deben incluirse en el plan general.
Definición
del diseño
El diseño de la prueba consiste en describir el procedimiento
para llevar a cabo la construcción y aplicación del instrumento. La definición
del diseño debe responder a las siguientes interrogantes:
•
¿Qué se quiere medir?
•
¿Cuáles serán los
referentes de lo que se quiere medir?
•
¿Qué instrumento o instrumentos
son los más apropiados para evaluar lo planificado?
•
¿Qué modalidad de
administración de prueba será utilizada? ¿Se cubrirá a toda la población o solo
a una muestra? ¿Aplicación presencial o aplicación virtual?
•
¿En qué momento? ¿Dónde?
¿Cuándo se realizará la evaluación?
•
¿Qué tipo de calificación
se hará?
•
¿Qué actividades de
control de calidad se implementarán?
•
¿Qué interpretaciones y
usos se harán de los resultados obtenidos?
Plan
general del diseño de la prueba
Los resultados de las
evaluaciones reflejan la situación del país en un momento determinado, por lo
que se debe definir técnicamente cada uno de los aspectos que llevan a la construcción
de pruebas válidas y confiables para definir su diseño, lo primero en determinar
es qué es lo que se quiere medir y su correspondiente referente.
Técnicamente, lo que se
quiere medir se nombra constructo, por ejemplo: la comprensión lectora
es el constructo que se mide en la prueba de Lectura. El gráfico a continuación
visualiza un esquema de los constructos que se han de usar en las diferentes.
Constructos de las principales pruebas de la Digeduca
Referente
Es todo lo que se usa de
base o apoyo a lo que se quiere medir y que será de utilidad en la descripción
del contenido de la evaluación.
Son referentes de la Digeduca
en la fabricación de las pruebas el Currículo Nacional Base (CNB) y las
competencias para la vida, pues brindan información sobre cuál debe ser el trabajo
mínimo que los educandos evaluados deben demostrar, en base a lo solicitado por
el Mineduc al finalizar cualquier fase de la educación escolarizada.
Principales referentes
de las pruebas que construye la Digeduca
Diseño
de la prueba
Algunas pruebas se diseñan para
evaluar qué habilidades o
destrezas han adquirido los estudiantes
para desarrollar determinadas competencias;
a este tipo de pruebas se le denomina criteriales o referidas a
criterio. Otras, se construyen con la intención de proporcionar una
calificación al sujeto evaluado de acuerdo con una escala preestablecida. A
este tipo de prueba se le denomina normativa.
Una vez definido el tipo
de prueba, se determina la cantidad de formas que tendrá. Las formas son
instrumentos que miden las mismas destrezas o campos de conocimiento, tienen
la misma cantidad de ítems, con la misma dificultad, con los mismos parámetros estadísticos,
pero con distintas preguntas.
Por razones de seguridad, se elaboran
varias formas para utilizarlas dentro de un mismo salón, según la
cantidad de aplicaciones que se programen hacer.
Pruebas
criteriales
Las pruebas que Digeduca aplica a los estudiantes son referidas a criterio, tienen como referente el CNB y las competencias para la vida. Estos referentes permiten conocer en qué medida el sistema educativo ha contribuido al desarrollo de las destrezas de comprensión lectora y matemáticas.
Pruebas
normativas
Las pruebas de docentes
son referidas a norma, porque deben
evidenciar por medio de una calificación,
el dominio de los conocimientos
que van a enseñar.
Otro aspecto importante
del diseño del instrumento es la definición de qué tipos de ítems se usarán
para evaluar el constructo y qué cantidad se incluirá. Durante este proceso
también se tendrá en cuenta el diseño de la hoja para respuestas que se
utilizará, puesto que los estudiantes usan una hoja separada del cuadernillo
para registrar las respuestas.
Tipos
de ítems
Se da el nombre de ítem a
la formulación de un enunciado destinado a medir el logro del aprendizaje de
una población evaluada. También se le conoce como pregunta o reactivo. Un ítem
es un enunciado u oración que se escribe en formas interrogativa o afirmativa y
constituye el cuerpo fundamental del instrumento de evaluación (cfr. Supo, 2013).
Los ítems se clasifican según su estructura o por su comparabilidad.
Los ítems ancla tienen
como propósito comparar el comportamiento de un grupo de estudiantes sobre un
mismo constructo. Las comparaciones pue- den ser entre distintas formas de la prueba
o entre aplicaciones efectuadas en distintos años.
Los ítems rotativos, son
los ítems que no se repiten entre las formas, miden la misma destreza pero con
diferente planteamiento.
En las siguientes páginas se ejemplifica el uso de los ítems según su comparabilidad.
Para garantizar la comparabilidad de los
resultados, en la prueba se incluyen ítems anclas. En todas las pruebas debe
haber ítems anclas e ítems rotativos.
Por su
comparabilidad
Para garantizar la comparabilidad de los
resultados, en la prueba se incluyen ítems anclas. En todas las pruebas debe
haber ítems anclas e ítems rotativos.
Por su
estructura
La Digeduca elabora
pruebas con ítems de selección múltiple para facilitar la calificación en poblaciones
numerosas. La mayoría de pruebas a escala nacional se construye con ítems de
este tipo. Una excepción es la prueba de Escritura que se elabora con preguntas
de respuesta construida.
En la Digeduca se tiene un tercer tipo de ítems,
son los denominados comunes. Estos se encuentran como mínimo en dos de las
formas de la prueba, en diferente posición. También existen ítems comunes entre
años, es decir, se encuentran en aplicaciones de dos años diferentes. Se usan
cuando se necesita conseguir que las distintas formas mantengan la misma dificultad.
La aplicación de las
pruebas dependerá del tipo de instrumento. La forma en que se aplican las
pruebas puede ser individual o dirigida. Es dirigida cuando el aplicador lee
las instrucciones a todos los estudiantes y luego los evaluados, individualmente,
la resuelven. Es individual cuando la aplicación se realiza de uno en uno, en
este caso el evaluador atiende a un solo evaluado a la vez.
Resultados
Un elemento importante dentro del diseño es la
definición de cómo se reportarán los resultados. En el caso de la prueba
Diagnóstica para Docentes, la Digeduca entrega a los interesados la
calificación que resulta del promedio de las notas obtenidas en cada una de las
áreas evaluadas. En el caso de los estudiantes, los resultados se reportan por
niveles de desempeño los cuales se agrupan en Logro y No logro.
Validación
del diseño
En la Digeduca se entiende
por validación, el proceso de revisión que llevan a cabo los especialistas en
el tema para indicar que el diseño es correcto. Una vez se tiene definido y validado
el diseño, se socializa con la dirección de la institución y otras
subdirecciones o departamentos externos al departamento de desarrollo de
pruebas, con la finalidad de que aporten sugerencias para la mejora o que
informen de algún aspecto que eventualmente pudo haberse excluido, como, por
ejemplo: los gastos de inversión, procedimientos de aplicación u otros.
FASE 2. Desarrollo de los ítems
En esta segunda fase se operativiza lo previsto en
el diseño de la prueba. Lo primero que se elabora son las especificaciones de
la prueba, ellas darán origen a la descripción pormenorizada de las
características que deben reunir los ítems, y que se resumirán en la tabla de
especificaciones; el siguiente paso será la redacción de los ítems con sus
respectivas revisiones, ediciones y validaciones, para concluir con el
ensamblaje de la prueba piloto. Esta fase se resume en el esquema que aparece a
continuación.
Procesos de la fase del
desarrollo de los ítems
Especificaciones
de la prueba
Se entiende por especificaciones
de la prueba la definición completa de las características de esta. En ellas lo
primero que se determina es la extensión de lo que va a ser medido, esto se conoce
con el nombre técnico de extensión del dominio o alcance del constructo que se
va a medir. En la Figura 7 se muestra la extensión del dominio de cada una de
las principales pruebas que aplica la Digeduca.
Extensión del dominio de
las principales pruebas de la Digeduca
Otro aspecto que interviene en la especificación
de la prueba es su formato. Generalmente, son pruebas e lápiz y papel, con ítems
de opción múltiple. La cantidad de ítems la determina la extensión del dominio
y el tiempo con que se cuente para resolverla; lo que se pretende es establecer
un balance entre medir bien el constructo y las limitaciones de tiempo que puedan
tenerse para resolver la prueba. Habitualmente la de Lectura tiene un máximo de
50 ítems y se da un tiempo máximo de 60 minutos y la del área curricular de Matemática,
se compone de 45 ítems y se proporciona un máximo de 90 minutos para resolverla.
Esta diferencia se realiza tomando en cuenta que , para la resolución de problemas
matemáticos es necesario más tiempo para efectuar los cálculos.
Es importante mencionar que durante la definición de las
especificaciones de la prueba, se determina cómo se distribuirán los ítems
según la dificultad cognitiva. Es decir, cuántos ítems del total de la prueba
serán de fácil, mediana o alta dificultad. Esto se hace con el objetivo de exponer
al estudiante a diversas situaciones que le permitan dar a conocer cuánto dominio
de los conocimientos y habilidades tiene, del área o destreza evaluada.
Para conseguir este nivel de dificultad cognitiva,
la Digeduca ha utilizado, desde el 2006, la taxonomía de Marzano. Esta es una
clasificación de los niveles de procesamiento y dominios del conocimiento. Marzano
propone seis niveles, de los cuales se utiliza el Sistema de Cognición que es en
donde se procesa la información. A su vez, este nivel está conformado por cuatro
niveles más: el nivel de Conocimiento-recuerdo, que permite almacenar la información
en la memoria permanente. Comprensión, segundo nivel de la taxonomía por el
cual es posible identificar los detalles importantes de la in- formación, recordarla
y ubicarla en la categoría apropiada. El tercer nivel es el de Análisis, en él
se ubican procesos tales como: relación, clasificación, análisis de errores, generalizaciones
y especificaciones. Finalmente, el cuarto proceso ―Utilización― supone aplicar
el conocimiento en situaciones específicas (cfr. Marzano, 2001). En la prueba
de Lectura solo se redactan ítems que se ubiquen en los tres primeros niveles. En
siguiente gráfica se describen los procesos cognitivos que Marzano incluye en cada
uno de los niveles.
Procesos cognitivos de
la taxonomía de Marzano
Con todo lo anterior definido, se procede a establecer
la tabla de especificaciones que permitirá la redacción de los ítems.
Tabla
de especificaciones
Cuando se ha definido y
validado el diseño, es el momento de elaborar la tabla de especificaciones de
la prueba. Esta es una descomposición en categorías de lo que
se va a evaluar ‒destrezas y estrategias lectoras evaluadas, nivel
de comprensión lectora, procesos cognitivos,
por ejemplo‒, que se especifican en una
tabla que será utilizada por los redactores. Es una tabla de doble entrada en
la que se consignan las destrezas y estrategias que se evaluarán de acuerdo con
lo previsto en el diseño de la prueba.
Especificaciones
de los ítems
Durante la fase del diseño
de la prueba se establece qué tipo de ítems se usará para medir el constructo. Las
pruebas de la Digeduca se construyen con ítems de opción múltiple, con tres o
cuatro opciones de respuesta; se selecciona este tipo de ítem porque facilita
la calificación de la prueba, tan- to cuando son censales como cuando se aplica
solo a una muestra de la población.
Por lo general, los ítems son
redactados por personal contratado. La selección de los redactores se hace por medio
de convocatoria pública; algunas de las condiciones que debe reunir un redactor
son: tener experiencia en la enseñanza del área de conocimiento en la que
redactará ítems, experiencia en la redacción de ítems, conocimiento del Sistema
Educativo Nacional.
Redacción
de los ítems
Para escribir un ítem, el escritor
debe observar cuidadosamente los reque rimientos de forma tales como: redacción
y ortografía; correcta escritura de las unidades de medidas, gráficos, tablas, entre
otros. Así como ajustarse estrictamente a las especificaciones del ítem. El descuido
de estos aspectos podría restar validez y confiabilidad a la prueba.
Validación
de los ítems
Este proceso, se lleva a cabo
paralelamente a la redacción, se centra en la revisión de los ítems para asegurarse
de que responden a lo que se solicitó en la tabla de especificaciones. Generalmente,
la hace una persona que tiene conocimiento de construcción de los ítems y del constructo
que se quiere evaluar. Esta persona es contratada por la Digeduca y se le denomina
consultor validador. En caso se encuentren discrepancias entre los ítems
redactados y las tablas de especificaciones, el validador solicita a los redactores
que lleven a cabo los cambios. Este proceso se realiza cuantas veces sea necesario
hasta que el ítem responda a lo requerido.
Cuando el validador ha aprobado
los ítems a los consultores, los especialistas de la Digeduca nuevamente validan
los ítems, asegurándose de que respondan al contexto educativo nacional, a las
características de la población a la que se dirige la prueba, entre otros, además
de asegurarse de que midan lo que se quiere medir, que sean comprensibles y que
presenten una sola respuesta correcta.
Juicio
de expertos
Este es otro tipo de validación. Se entiende como
el «procedimiento a través del cual un equipo de personas, con demostrados conocimientos
y experiencia en el tema, emiten su juicio respecto de las cualidades» (OARELC/UNESCO
Santiago y LLECE. [s.f.]) que deben
reunir los ítems. Este tipo de validación supone la revisión exhaustiva de los
ítems desde distintos enfoques, ejecutado por distintas personas; este tipo de
validación es cualitativa.
El análisis de la
evaluación cualitativa realizada por los expertos, lo realiza el equipo del Departamento
de Desarrollo de Pruebas. Para ello se estima, a partir de la frecuencia de los
comentarios, cuáles cambios o ajustes es pertinente introducir en la construcción
de las pruebas definitivas.
Validación
del consultor
El consultor revisa los ítems
después de la primera redacción, con el fin de reencausar posibles discordancias
con la tabla de especificaciones, teniendo la posibilidad de trasladar a los redactores
las sugerencias necesarias para mejorar o rehacer los ítems.
Esta validación concluye cuando se ha conseguido
la cantidad prevista de ítems para construir la prueba.
Revisión
por especialistas de la Digeduca
En esta revisión se
asegura que los ítems respondan, principalmente:
• al contexto educativo nacional,
• las características de la población a la que se
dirige la prueba,
• a que midan lo que se quiere medir,
• a que sean comprensibles, que presenten una sola
respuesta correcta, etc.
Juicio
de expertos
El juicio de expertos lo realizan docentes con experiencia
en la enseñanza del área que se va a evaluar y profesionales especializados en
el área.
En este proceso, los expertos evalúan los ítems desde
la perspectiva de los aprendizajes de la población evaluada. El proceso de
validación
cualitativa
de los ítems asegura
su calidad
en cuanto a la forma y contenido.
Modificaciones
y edición de los ítems
El proceso de validación de los ítems genera un
nuevo ciclo de control de ca- lidad de los mismos. Estos se modifican teniendo
en cuenta las sugerencias y observaciones de los expertos y pasan por un nuevo
proceso de edición para asegurarse de que cumplan con las características
técnicas de un buen ítem.
Ensamblaje
de las pruebas piloto
Con los ítems ya validados y mejorados se procede
al ensamblaje de las pruebas piloto. Este es el momento en que los ítems se
distribuyen dentro de las distintas formas, de tal suerte que cada una de ellas
se ajuste a lo previsto en el diseño.
El ensamblaje de la
prueba supone que:
a. cada una de las formas esté conformada con la
misma cantidad de ítems que se estableció en el diseño;
b. en cada forma se coloquen los ítems ancla y
rotativos según se estableció en las tablas de especificaciones;
c. la respuesta correcta y los distractores ocupen la
posición previa- mente establecida;
d. el ítem aparezca completo en la misma hoja
(estímulo, pregunta y opciones de respuesta mostrando un todo);
e. estén ordenados de los más fáciles a los más
difíciles, según los procesos cognitivos
que los han generado, para facilitar su resolución.
Control
de calidad
Toda vez que los ítems se han ensamblado en cada forma y se le ha dado el formato
deseado, se incorpora la carátula que identificará a cada forma. El
equipo de desarrollo de instrumentos procede a revisarla para asegurar que esté libre de errores. La
atención se
centra especialmente en: la
ortografía, las imágenes, verificar si cada ítem tiene una sola respuesta correcta, si está
correctamente numerado, ya que las
correcciones de fondo se hicieron durante la etapa de modificaciones y edición. En general se observa la calidad requerida del instrumento.
FASE 3. Validación de la prueba
En esta tercera fase se busca confirmar que la prueba cumpla con los lineamientos técnicos que proporcione
datos confiables y válidos como resultado de la evaluación. En la fase 2 se validaron los ítems como tal. En esta
validación, es la prueba la que se somete a evaluación y se hará cualitativa
y cuantitativamente. La primera se
lleva
a cabo aplicando entrevistas a los
estudiantes que participan en la aplicación
piloto; la segunda mediante el
análisis de los resultados obtenidos en la aplicación piloto. El
gráfico presentado a continuación indica los procesos que se realizan en esta
fase de construcción.
Procesos de la fase de
la validación de las pruebas
Actividades
previas a la aplicación
Son todas aquellas tareas
—redacción de manuales, elaboración de los
instrumentos
de
recolección de
información cualitativa, selección de la muestra, entre otros—
que se
realizan con el objetivo de ejecutar la
aplicación piloto, como actividad central
para la validación de las
pruebas de evaluación. A
continuación se describe cada una de ellas.
Redacción
del manual de la aplicación piloto
Para garantizar que el proceso
se realice de acuerdo con las especificaciones
técnicas con
las que se diseñó el
instrumento
de
evaluación, se
redacta un manual en
el que se describen los procedimientos que deben seguir
los aplicadores
para
garantizar la estandarización de la
aplicación. En la Digeduca
se elabora un
manual
de
procedimientos específico para cada nivel y los docentes.
Selección
de la muestra de estudiantes que participarán en la aplicación piloto
Paralelamente a la redacción del manual,
las
personas encargadas llevan a cabo la
selección de la muestra
de
las personas que colaborarán
en la prueba piloto.
La muestra se determina de forma aleatoria, al
azar.
Elaboración
de claves y mapa de ítems
Consiste en
que, después de tener diagramadas las pruebas para la
aplicación piloto, se verifican las respuestas correctas de cada ítem y estas se
consignan en una tabla
que
reúne las claves de
to-
das las formas
de
la prueba.
De igual manera se elabora un mapa de ítems. Este es el instrumento que sirve para identificar cada ítem; allí se registra el nombre de cada uno de ellos, este nombre es un número correlativo que se da a cada ítem para localizar su posición dentro de la prueba a lo largo de las formas y a través del tiempo; además, permite identificar de manera visual e inmediata si un ítem es ancla o rotativo.
Preparación
del material
La preparación del material implica distintas
actividades que
deben ejecutarse previo a
la aplicación de las
pruebas:
1.
Se establece qué material
y cantidad a imprimirse para la
capacitación de los aplicadores. Estos materiales
son:
manuales de aplicación, instrumentos de
aplicación (formatos de registro de entrega y recepción de pruebas, listas de asistencia, entre otros). Asimismo,
se fija el número de pruebas a imprimir, hojas
para respuestas y cuestionarios.
Validación
cualitativa
Esta brinda información en cuanto a la
idoneidad de los ítems para medir lo
que deben medir: si evalúan el constructo,
si están
contextualizados a
la situación de los evaluados, si reúnen
las características de rigor técnico de todo ítem, entre otros. Esta
información se recoge de los sujetos que resuelven
las
pruebas.
Las formas de recolectar información son: por medio de el llenado de un
cuestionario,
por una entrevista con algunos de
los
participantes o recabando las
observaciones que hacen
los evaluados durante la aplicación.
Entrevistas
a estudiantes
Esta se realiza seguidamente después de haber
aplicados las pruebas piloto a todo el grupo. Se solicita a los participantes
responder algunas preguntas orales o llenando un cuestionario.
Digitalización
y análisis de la información recolectada
La información brindada por
los estudiantes se ingresa en una base de datos que permite identificar la frecuencia de los comentarios hechos al ítem evaluado y considerar la
necesidad de modificarlo para
hacerlo que responda al
propósito para el cual fue redactado.
Validación
cuantitativa
La validación cuantitativa de las pruebas implica la
aplicación piloto como procedimiento para
recolectar la información y el
análisis estadístico de los
resultados que permitirán la construcción
de la prueba definitiva.
Este tipo de validación proporciona la información estadística necesaria para determinar la idoneidad de los ítems en
cuanto:
Aplicación
piloto
Toda vez que la prueba está ensamblada
y definidas sus distintas
formas, se procede a aplicarla con el propósito
de «probar
el funcionamiento del test» (Martínez, Hernández & Hernández, 2006, p. 33)
y determinar su
validez y
confiabilidad. Esta información determinará la construcción del instrumento
definitivo. La aplicación
piloto se lleva a cabo con una muestra
de
personas
que reúne características similares a
la
población a la que va dirigida la prueba (edad, años
de
escolaridad, entre otras); de esta aplicación
se obtendrá la información estadística relacionada con la dificultad de los
ítems y la confiabilidad de la prueba.
Para la aplicación se requiere de una persona especializada en el proceso, para garantizar que se
efectúa de forma estandarizada.
A esta persona se le denomina aplicador o evaluador.
Digitalización
y análisis de los resultados
El análisis cuantitativo de los resultados de la prueba
piloto está bajo la responsabilidad del
equipo de la Subdirección de Análisis de la Digeduca.
Las respuestas de las
estudiantes registradas en la
hoja correspondiente, es procesada por la Dirección de Informática (Dinfo)
del
Mineduc, por medio del sistema
de
lectura óptica.
Este sistema procesa la información
y la transforma en una base de datos
que es
analizada para el
procesamiento de los
resultados.
Análisis
de los ítems
Este brinda información
sobre la dificultad y discriminación de los ítems. La
dificultad indica qué tan fácil
o difícil de
resolver es un ítem. En cuanto a la discriminación del ítem,
el análisis permitirá
identificar si el
ítem
es capaz de diferenciar entre los estudiantes que tienen mayor habilidad
de
los que tienen menor.
Calificación
de las pruebas
Los resultados de las
pruebas se obtienen
mediante dos tipos de calificación. Uno de ellos
es la
calificación según la Teoría Clásica de los Test (TCT). Cuando se califica con TCT se da crédito o punteo a los sujetos evaluados por cada respuesta que contestan correctamente; las respuestas erróneas y los ítems sin contestar no aportan calificación. La nota final representa el porcentaje de respuestas
correctas del
total de ítems de la prueba (Digeduca, 2014).
Este es el tipo de calificación
que se usa para la prueba Diagnóstica para Docentes.
Los puntos de corte de los niveles de desempeño para la Digeduca son
cuatro: Excelente,
Satisfactorio, Debe Mejorar e Insatisfactorio. En cada uno de ellos se describen los conocimientos, destrezas y habilidades
que los estudiantes poseen para ser ubicados en un nivel de competencia.
Toma
de decisiones para la construcción de la versión definitiva de la prueba
La decisión de fabricar en forma definitiva la prueba se da tomando como base los resultados obtenidos en cuanto a los ítems, las pruebas y los procedimientos de aplicación. Lo que se decida tendrá como objetivo principal conseguir que la prueba elaborada proporcione validez en los resultados.
Fase 4. Versión final de las
pruebas
Después de un proceso largo de construcción, con todos los elementos necesarios para
garantizar la validez
y confiabilidad de
las pruebas, se llega
al
momento de elaborar las versiones finales,
esta
es la
última
fase
de
la construcción de la
prueba. Con la
gráfica respectiva se resumen los
procesos de esta
fase.
Procesos de la fase de
versión final de las pruebas
Construcción
de la prueba final
Las pruebas definitivas se construyen con todos los ítems que reportaron el
mejor funcionamiento durante la aplicación piloto. Esta construcción requiere de una nueva revisión. Aquí se lleva a cabo un nuevo ensamblaje de la prueba.
Toda vez que está concluido el ensamblaje de las distintas formas de la prueba, se
hace una nueva revisión
de ortografía y tipográfica, gramatical y de diagramación.
Nuevo
mapa de ítems y claves de las pruebas
La construcción
de la prueba definitiva supone la revisión del mapa de ítems y de las claves,
debido a que, como ya se explicó, si los ítems sufren modificaciones a
consecuencia de las validaciones durante la aplicación piloto, estos deben
reflejarse también en el mapa y las claves para la posterior calificación de
las pruebas en la aplicación definitiva.
Lineamientos
de aplicación
Estos lineamientos son similares a los de la prueba
piloto. Con las experiencias recogidas se
hacen ajustes al manual
a usar en esta aplicación. El nuevo manual se usará en la
aplicación definitiva y
será
la base para la capacitación de todos los
aplicadores.
Capacitación
a los aplicadores
Con el manual definitivo, se procede a la capacitación del personal del Departamento de Campo, el que será el responsable de capacitar
al
total de aplicadores. Para las aplicaciones de las pruebas de graduandos, tercero básico y primaria, se cuenta con la colaboración de funcionarios de la Dirección General de Monitoreo y Verificación de la Calidad (Digemoca) del Mineduc. En la siguiente Figura se ilustra
el proceso de capacitación.
Diagrama del proceso de capacitación para aplicar las pruebas
Monitoreo
de la aplicación de la prueba definitiva
Se redacta un
instrumento que recoge información acerca de los procesos de aplicación. Se trata de verificar que las pruebas se
apliquen según lo establece el manual de procedimientos: control de ingreso de registro de los participantes, impartición de las instrucciones según los términos establecidos, puntualidad en
el inicio y finalización de la
aplicación, aplicación de cada prueba en los
tiempos previstos, entre otros aspectos.
Los resultados de este monitoreo se usan para introducir mejoras en las próximas aplicaciones, de tal manera que en cada aplicación se va consiguiendo una mayor estandarización en la aplicación.
Impresión
de las pruebas
El Departamento de Desarrollo de Pruebas también tiene a su cargo la logística de impresión de las pruebas, puesto que, como en el diseño inicial se ha decidido qué formas deberán aplicarse en cada Región,
es
aquí donde se determina la
cantidad de formas
que deben imprimirse según la región y
la cantidad de estudiantes registrados y el plan de enseñanza (plan diario, fin
de
semana, y más).
La impresión
puede solicitarse a imprentas privadas y también a la Tipografía Nacional. El proceso de impresión se lleva a cabo asegurando la confidencialidad de las pruebas y su
resguardo, a fin de evitar
pérdidas o difusiones
que invaliden las pruebas por copia o transmisión de ejemplares con fines de lucro o
de
falsificación.
Informe
de construcción de la prueba
Se procede a plasmar en un informe técnico, el proceso de construcción, el cual es redactado por el equipo de Desarrollo de Instrumentos. En
el informe
se describen los aspectos técnicos de la prueba tales
como: los
antecedentes, diseño del instrumento, objetivos, el marco conceptual de la
prueba, la
estructura de las
pruebas, la
construcción del instrumento,
la obtención de resultados; además, las
lecciones aprendidas, conclusiones, recomendaciones, referencias y
anexos que se vinculan al
proceso.
Análisis de la Situación de Graduandos del Año 2019 respecto a las Pruebas Estandarizadas
El Ministerio de Educación de Guatemala -Mineduc- presentó en su Comunicado de Prensa Digeduca N°. 5-2019, del 25/11/2019 los resultados de la evaluación Graduandos 2019, en el cual muestra un leve incremento en el porcentaje de Logro en Matemática y en Lectura en la evaluación efectuada a estudiantes graduandos, aunque para ellos es significante con relación al 2018, aún no llena las expectativas y objetivos.
Ellos indican en su comunicado: “Con el objetivo de promover la mejora de la calidad educativa por medio de la discusión y toma de decisiones informada, el Ministerio de Educación, a través de la Dirección General de Evaluación e Investigación Educativa (Digeduca), presenta los resultados de la evaluación Graduandos 2019, en donde se destaca un incremento nacional en el porcentaje de Logro obtenido por los estudiantes en Matemática y en Lectura en relación con el 2018”. Pero desde el momento que el mismo ministerio indica que el resultado no tiene repercusiones de promoción de los alumnos, los mismos no le ponen la importancia debida pues saben que si lo ganan o lo pierdan no hay repercusiones.
Así mismo indican que en la evaluación ordinaria del 2019, de 157,318 alumnos que realizaron la prueba, de 4,300 establecimientos del sector oficial, sector privado, cooperativa y municipal del Ciclo de Educación Diversificada, un 37.03 % alcanzó el Logro en Lectura y un 13.56 % en Matemática, bastante bajo (no alcanzando ni siquiera la mitad) si estamos apostando a un nivel educativo de calidad.
Igualmente presentan que del año 2015 a 2019 el crecimiento en Lectura fue de 11.06 % y en Matemática de 5.1 %, pero aún no es suficiente, considero que no se le ha puesto la importancia a estas pruebas y las mismas solo son para llenar requisitos de acuerdos realizados anteriormente a nivel internacional. Ellos aducen que “ese incremento es resultado de un cúmulo de acciones implementadas durante años anteriores, ya que mejorar los resultados requiere de esfuerzo sostenible a lo largo del tiempo”, se avanza a cuenta gotas y aunque estamos conscientes que es a largo plazo la luz al final del camino se ve muy lejana, vamos muy despacio y muy cadencioso.
Los
resultados generales de la evaluación Graduandos 2019 son:
|
PRUEBA |
NIVELES DE DESEMPEÑO |
LOGRO |
DIFERENCIA CON EL AÑO 2018 |
|||
|
Insatisfactorio |
Debe Mejorar |
Satisfactorio |
Excelente |
(Satisfactorio + Excelente) |
||
|
LECTURA |
34.06
% |
28.91
% |
12.78
% |
24.25
% |
37.03 % |
+2.22
% |
|
CANTIDAD DE ESTUDIANTES |
53,577 |
45,483 |
20,113 |
38,145 |
58,258 |
3,209 |
|
MATEMÁTICA |
54.21
% |
32.23
% |
5.01
% |
8.54
% |
13.56 % |
+2.12
% |
|
CANTIDAD DE ESTUDIANTES |
85,282 |
50,707 |
7,889 |
13,440 |
21,329 |
3,229 |
Estos
resultados nos dan a entender que los estudiantes que no alcanzan los niveles
de desempeño son mucho más 62.97 en Lectura y 86.44 en Matemática, esto indica
que 4 de cada 10 educandos alcanzaron el Logro en Lectura y 1 de cada 10 en
Matemática. Es necesario buscar estrategias para mejorar significativa y
progresivamente esos porcentajes. Aunque hay avances son muy pocos.
A nivel departamental, la mayoría incrementó su resultado en Lectura, excepto Jutiapa, Retalhuleu, Izabal, Suchitepéquez, Jalapa y Totonicapán. Estos muestran un descenso y están por debajo del Logro nacional; por otra parte, Sacatepéquez, Chiquimula, Santa Rosa y la ciudad capital, muestran un incremento mayor de tres puntos porcentuales en comparación con el Logro en Lectura que cada uno tuvo en 2018. Santa Rosa y la ciudad capital mejoraron más su resultado en comparación con el año anterior.
En
Matemática, a excepción de Baja Verapaz y El Progreso, la mayoría de los
departamentos mejoró en comparación a sí mismos, aunque únicamente
Chimaltenango, Suchitepéquez, Huehuetenango y San Marcos incrementaron su Logro
arriba de tres puntos porcentuales en comparación con el 2018.
Al analizar los resultados por características de estudiantes, el Logro en Lectura es de 37 %, tanto en hombres como en mujeres; no obstante, en Matemática el 17 % de los varones alcanzó el Logro, con ventaja de siete por ciento más que las mujeres. Los alumnos que se autoidentifican culturalmente como ladinos presentan resultados por arriba de aquellos que lo hacen como mayas, garífunas o xinkas, tanto en Lectura como en Matemática, aunque cabe señalar que el 91.5 % de los estudiantes indicó que su idioma materno es el español.
En cuanto a las características de los establecimientos educativos, se observa que los ubicados en el área urbana aventajan en Lectura (+8.6 %) y en Matemática (+5 %) a los que están en el área rural. En la prueba de Lectura, quienes estudian Perito tienen resultados por arriba de quienes estudian otra carrera, mientras que en Matemática quienes estudian Bachillerato aventajan a los demás.
Los
establecimientos del sector privado muestran un resultado mayor en todo el país
que los del sector público, al tener en Lectura 38.9 % y en Matemática 15.5 %,
mientras que los del sector oficial, en Lectura es de 33.9 % y Matemática 9.1
%. Los centros educativos con plan de estudio fin de semana y los del sector
municipal y cooperativa alcanzan resultados más bajos en las pruebas.
En la primera evaluación efectuada en 2006 participaron 84,111 graduandos, número que se ha incrementado con el transcurso de los años; por tanto, es mayor la cantidad de jóvenes que alcanzan el Logro, ya que en el 2019 se evaluó a 157,318 alumnos de los 22 departamentos del país.
Así también nos muestra esta última evaluación, que la cantidad de hombres y mujeres graduandos es proporcional, lo que indica que ya existe más apertura y participación de las damas en los contextos educativos.
La edad promedio de los estudiantes es de 18 años y dos de cada diez de los evaluados indican haber repetido algún año durante su transcurso por el sistema educativo. El 35.90 % afirma que trabaja para ganar dinero y ocho de cada diez asistió a la preprimaria.
De los 4,300 establecimientos educativos participantes, siete de cada diez son privados y la mayoría se ubica en áreas urbanas. Bachillerato y Perito son las ramas de enseñanza que más estudiantes reúnen. A escala nacional, los departamentos de Guatemala y Quetzaltenango atienden a más del 40 % de los graduandos.
Es importante reflexionar sobre estas características al momento de interpretar los resultados, puesto que hay factores que inciden de forma positiva o negativa en el rendimiento académico. El ministerio hace la sugerencia que si se desea profundizar sobre estos resultados se pueden consultar los informes de Factores Asociados a los resultados de graduandos de los últimos años, publicados en: http://bit.ly/InformesGraduandos.
Además, aduce el Mineduc que “los resultados no se vinculan con la promoción de grado. Si un estudiante no alcanza el Logro esperado en la evaluación externa, no impide que apruebe el último grado de la carrera; sin embargo, para autorizarse la impresión del título o diploma que acredita la validez de sus estudios, es obligatorio participar en la evaluación” factor que hace que los estudiantes no le tomen importancia a las pruebas en el sentido de prepararse y aumentar sus saberes y habilidades, ¿qué pasaría si esta prueba se vinculara a la promoción de grado?, dejo la interrogante en el tapete.
El Mineduc invita a toda la comunidad educativa a que conozca los resultados obtenidos por cada establecimiento educativo participante, los cuales están disponibles en el portal de la Digeduca, en el enlace: http://bit.ly/establecimientoGraduandos. y aparte de conocerlos, los analice y colabore dando ideas o soluciones a estos resultados, no satisfactorios aún.
Los
informes son enviados por correo electrónico a los directores de cada centro
educativo y serán entregados físicamente a través de las Direcciones
Departamentales de Educación. Además, los estudiantes podrán conocer su
resultado publicado en la página del Ministerio de Educación en el enlace: http://bit.ly/resultadosestudiantesgraduandos.
Sugiere
e invita a que si alguna persona desea conocer más sobre la evaluación
Graduandos, observe el siguiente video: http://bit.ly/videoGraduandos y lea sobre la
construcción de la prueba Graduandos en http://bit.ly/compendioGraduandos. Puede conocer más
sobre las publicaciones de Digeduca, al ingresar en este enlace: http://bit.ly/DigeducaCatalogo.
Al
mismo tiempo insta a los estudiantes y padres de familia a buscar espacios con
los supervisores educativos, directores y docentes para analizar y discutir los
resultados, así como a utilizarlos como insumos de información que contribuyan
a mejorar los procesos de enseñanza-aprendizaje, pero volvemos a lo mismo sin
consecuencias no habrá acciones.
CONCLUSIONES
La construcción de las pruebas con las que se evalúan las destrezas y habilidades de los estudiantes del sistema educativo de Guatemala es un proceso que involucra una serie de agentes sin los cuales no sería posible alcanzar el objetivo. La Digeduca vela porque los procesos de construcción respondan a los lineamientos técnicos que aseguren la confiabilidad de las pruebas y la validez de los resultados, a fin de informar con objetividad a los entes decisorios, acerca de la situación de los aprendizajes de los estudiantes que se benefician del Sistema Educativo Nacional.
Los aportes de la Digeduca se
centran en la generación de información que será útil a las instancias
educativas a quienes compete implementar políticas y estrategias tendientes a
mejorar la calidad educativa del país. Como todo, las pruebas son perfectibles
y debido a su proceso dinámico, estos instrumentos se someten constantemente a
revisión para mejorarlos y actualizarlos periódicamente para que respondan a
las exigencias de medición. Todo el proceso de construcción de las pruebas, en
cada una de sus fases, es sometido a constantes controles de calidad con la
finalidad de corregir posibles desviaciones que puedan presentarse en cada una
de ellas y mantener el diseño original.
Los resultados que
arrojan las evaluaciones de graduandos 2019, por un lado aunque mínimo, ha
habido un incremento con respecto al 2018 de +2.22 % en lectura y +2.12 % en
matemática, pero falta mucho por alcanzar siquiera el 50% no digamos tan
anhelado 100%. Falta mucho por hacer, pero poco a poco mientras más conciencia
y más importancia le demos a este aspecto mejor serán los resultados.
RECOMENDACIONES
Se hace la recomendación que se promueva más la divulgación de como se elaboran las pruebas, para que la gente tome más conciencia del trabajo que se hace desde la fase inicial de concepción de la prueba hasta la evaluación y presentación de resultados. Lo cual daría como resultado que las personas especialmente los graduandos y los que pasan a otro nivel le den la importancia y se preparen para estas pruebas diagnósticas, y no las realicen por mero requisito.
Igualmente con la prueba de
graduandos, concientizarlos en que la preparación para dicha actividad
evaluativa sea como cúmulo de saberes y habilidades que les servirán para la
vida y no para el momento y que si están preparados podrán enfrentar cualquier
reto.
REFERENCIAS BIBLIOGRÁFICAS
QUIÑONEZ,
A.; MIRÓN, R.; AFRE, G.; DEL VALLE, M. J.; CARRILLO, L. & REYES, C. (2017).
Marco de referencia de las pruebas nacionales. Compendio. Guatemala: Dirección
General de Evaluación e Investigación Educativa, Ministerio de Educación.
Ministerio de Educación de Guatemala. Dirección General de Evaluación e
Investigación Educativa
Digeduca
(2019). Comunicado de Prensa Digeduca N°. 5-2019. Graduandos 2019 Final
25/11/2019. Ministerio de Educación. Recuperado de: https://www.facebook.com/DigeducaMineduc/photos/d41d8cd9/2832633830080672
MINEDUC-DIGEDUCA
(2019). Resultados Graduandos 2019. Ministerio de Educación, Recuperado de:http://www.mineduc.gob.gt/digeduca/documents/resultados/Resultados_Graduandos_2019.pdf
Mineduc-Digeduca
(2019), Dar valor a la Calidad, Sacatepéquez, Antigua.pdf. Recuperado de: https://drive.google.com/drive/folders/1IyVz7fcsCsZyEriYZpjlfxt15LbvoV1l
