Revista de Investigaciones Universidad del Quindío,

33(1), 104-114; 2021.

ISSN: 1794-631X e-ISSN: 2500-5782


Esta obra está bajo una licencia Creative Commons Atribución-NoComercial-SinDerivadas 4.0 Internacional.


Cómo citar:

Díaz-Pinzón, Jorge Enrique. (2021). Análisis de los resultados de la prueba PISA 2018 en matemáticas para América. Revista de Investigaciones Universidad del Quindío, 33(1), 104-114. https://doi.org/10.33975/riuq.vol33n1.463


Análisis de los resultados de la prueba PISA 2018 en matemáticas para América


Analysis of the results of the PISA 2018 test in mathematics for America



Jorge Enrique Díaz-Pinzón 1 * .


1. Magister en Gestión de la Tecnología Educativa, Docente de Matemáticas. Secretaría de Educación de Soacha, Cundinamarca, Colombia.


*Correspondencia del Autor: Jorge Enrique Díaz-Pinzón, correo electrónico: jediazp@unal.edu.co.



Resumen


Este trabajo de investigación tuvo por objetivo comparar si hay diferencias en el promedio de los puntajes obtenidos en las pruebas Pisa 2018, para los diferentes países evaluados de América en matemáticas. Se realizó una comparación múltiple entre medias independientes, a partir del análisis estadístico de los datos aplicando la prueba ANOVA, se utilizó el paquete estadístico SPSS v. 25. Se pudo observar que hay evidencia para rechazar la hipótesis nula, por tanto, las medias son diferentes. Se evidenció que Canadá es el único país que está por encima de la media del conjunto de países de la OCDE (489) en América con 512 puntos ubicándose en el nivel 3 de la escala de matemáticas, de 482 y 544 puntos. Estados Unidos con 478 puntos, Uruguay con 418, y Chile con 417 puntos, se ubicaron en el nivel 2 de la escala de matemáticas, de 420 y 481 puntos, ahora, México con 409 puntos, Costa Rica con 402 puntos, Perú con 400 puntos, Colombia 391 puntos, Brasil 389 puntos, y Argentina con 379 puntos, se ubicaron en el nivel 2 de la escala de matemáticas, de 358 y 419 puntos. Y muy preocupante el caso de Panamá con 353 puntos, y República Dominicana con 325 puntos que no alcanzan ningún nivel en la escala de matemáticas.


Palabras clave: PISA; evaluación estandarizada; evaluación comparativa; educación básica.


Abstract


This research work aimed to compare if there are differences in the average of the scores obtained in the Pisa 2018 tests for the different countries evaluated in America in mathematics. A multiple comparison between independent means was made, from the statistical analysis of the data applying the ANOVA test, the statistical package SPSS v. 25. It was observed that there is evidence to reject the alternative hypothesis, therefore, the means are different. It was evidenced that Canada is the only country that is above the average of the set of OECD countries (489) in America with 512 points, ranking at level 3 on the mathematics scale, of 482 and 544 points. The United States with 478 points, Uruguay with 418, and Chile with 417 points, were located at level 2 of the mathematics scale, of 420 and 481 points, now, Mexico with 409 points, Costa Rica with 402 points, Peru with 400 points, Colombia 391 points, Brazil 389 points, and Argentina with 379 points, were located at level 2 of the mathematics scale, of 358 and 419 points. And very worrying is the case of Panama with 353 points, and the Dominican Republic with 325 points that do not reach any level on the mathematics scale.


Keywords: PISA; standardized assessment; benchmarking; basic education.


Análise dos resultados do teste PISA 2018 em matemática para a América


Resumo


Este trabalho de pesquisa teve como objetivo comparar se existem diferenças nas médias das notas obtidas nos testes Pisa 2018 para os diferentes países avaliados na América em matemática. Foi feita uma comparação múltipla entre médias independentes, a partir da análise estatística dos dados aplicando o teste ANOVA, pacote estatístico SPSS v. 25. Observou-se que há indícios para rejeitar a hipótese alternativa, portanto, os meios são diferentes. Constatou-se que o Canadá é o único país que está acima da média do conjunto de países da OCDE (489) na América com 512 pontos, classificando-se no nível 3 na escala de matemática, de 482 e 544 pontos. Os Estados Unidos com 478 pontos, Uruguai com 418 e Chile com 417 pontos, situaram-se no nível 2 da escala de matemática, de 420 e 481 pontos, agora México com 409 pontos, Costa Rica com 402 pontos, Peru com 400 pontos, Colômbia 391 pontos, Brasil 389 pontos e Argentina com 379 pontos, situaram-se no nível 2 da escala de matemática, de 358 e 419 pontos. E muito preocupante é o caso do Panamá com 353 pontos, e da República Dominicana com 325 pontos que não atingem nenhum nível na escala matemática.


Palavras-chave: PISA; avaliação padronizada; benchmarking; educação básica.


Introducción


La Organización para la Cooperación y el Desarrollo Económicos (OCDE) proyectó un estudio trienal sobre los estudiantes de 15 años en todo el mundo llamado Programa para la Evaluación Internacional de Alumnos, o PISA. PISA evalúa hasta qué punto los estudiantes de 15 años, que están a punto de concluir su educación obligatoria, han adquirido los conocimientos y habilidades primordiales para una intervención plena en las sociedades modernas. (Gurría, 2016)


En la última década, el Programa para la Evaluación Internacional de Alumnos, PISA, se ha convertido en la principal tabla mundial para evaluar la calidad, equidad y eficiencia de los sistemas educativos. Esta prueba ayuda a identificar las características de los sistemas educativos de mayor rendimiento, lo que puede admitir a gobiernos y educadores reconocer políticas firmes que pueden adaptar a sus contextos locales. (Gurría, 2016)


El estudio PISA 2015 se agrupó en las ciencias, dejando la lectura, las matemáticas y la resolución colaborativa de problemas como áreas secundarias de la evaluación. PISA 2015 encerró también una evaluación de los conocimientos financieros de los jóvenes, cuya administración fue optativa para los países y economías. (Gurría, 2016)


Tipos de resultados


La prueba PISA brinda diferentes tipos de resultados a nivel país: puntaje promedio, porcentaje de estudiantes por niveles de desempeño, indicadores de tendencia e indicadores contextuales como las variables demográficas, económicas, sociales y educativas que identifican a los estudiantes (OCDE, 2017).

Ahora, el puntaje promedio: los puntajes promedio se muestran en una escala global (para las tres áreas que evalúa el examen), y en subescalas (únicamente para el área en la cual se hizo énfasis durante la aplicación, que en la aplicación de 2018 corresponde a lectura). Los puntajes de los estudiantes siguen una repartición aproximadamente normal, con una media de 500 puntos y una desviación estándar de 100 puntos. Es significativo recalcar que no está explícito un puntaje promedio mínimo o máximo en la prueba (OCDE, 2017).


En la mayoría de los países participantes, la población de 15 años representada en PISA en cada país es de un 95%. Sin embargo, en 19 de los 78 países que participaron en 2018, quedó representada menos del 80% del total de la población objetivo.


La prueba evidencia tanto la dificultad de las preguntas como el conocimiento y habilidad de los estudiantes en una escala continua de rendimiento, basada en el modelo de la teoría de respuesta al ítem (Figura 1). Al publicar la dificultad de cada pregunta en la escala, es posible situar el nivel de rendimiento que pretende la pregunta en cada competencia. La estimación del rendimiento del estudiante se basa en el tipo de tareas que se conjetura que pueden acometer correctamente. Por tanto, se infiere que los estudiantes son competentes de contestar correctamente las preguntas situadas en la escala en el nivel o por debajo del nivel de dificultad coligado a su posición en la escala: por el contrario, se supone que no serían capaces de contestar las preguntas situadas por encima de esa posición. (Ministerio de Educación y Formación Profesional, 2018)


Figura 1. Relación entre las preguntas y el rendimiento en una escala de progresión en la competencia.

Fuente: (Ministerio de Educación y Formación Profesional, 2018)


Matemáticas


Matemáticas fue el área de profundización en PISA 2003 y 2012. Esta prueba evalúa hasta qué punto los estudiantes pueden tener un manejo adecuado de las matemáticas cuando se enfrentan a situaciones y problemas del mundo real (OCDE, 2016a). La Tabla 1 resume los principales aspectos que PISA tuvo en cuenta para la prueba de matemáticas en 2018.


Tabla 1. Principales aspectos evaluados en matemáticas, PISA 2018

Contextos
  • Personal.
  • Ocupacional.
  • Social.
  • Científico

Procesos
  • Formular situaciones de forma matemática.
  • Emplear conceptos, hechos, procedimientos y razonamiento matemático.
  • Interpretar, aplicar y evaluar resultados matemáticos.

Contenidos
  • Cambio y relaciones.
  • Espacio y forma.
  • Cantidad. · Incertidumbre.

Fuente: Adaptado de OCDE, 2016


Ahora, en la prueba PISA, la competencia matemática es la capacidad de los estudiantes de formular, aplicar e interpretar las matemáticas en contextos diferentes. Incluye razonar matemáticamente y emplear conceptos, procedimientos, hechos y herramientas matemáticas para describir, explicar y predecir fenómenos de diverso tipo. (Ministerio de Educación y Formación Profesional, 2018)


Tabla 2. Niveles de desempeño en matemáticas, PISA 2018

Niveles

En este nivel de desempeño, los estudiantes demuestran que pueden:

6 (por encima de 669 puntos)

· Formar conceptos, generalizar y utilizar información basada en investigaciones y modelos de situaciones de problemas complejos.

·Relacionar diferentes fuentes de información y representaciones y traducirlas entre ellas de manera flexible.

· Tener un pensamiento y razonamiento matemático avanzado.

· Aplicar su entendimiento y comprensión, así como su dominio de las operaciones y relaciones matemáticas simbólicas y formales y desarrollar nuevos enfoques y estrategias para abordar situaciones nuevas.

· Formular y comunicar con exactitud sus acciones y reflexiones relativas a sus descubrimientos, interpretaciones, argumentos y su adecuación a las situaciones originales.

5 (entre 607 y 668 puntos)

· Desarrollar modelos y trabajar con ellos en situaciones complejas, identificando los condicionantes y especificando los supuestos.

· Seleccionar, comparar y evaluar estrategias adecuadas de solución de problemas para abordar problemas complejos relativos a estos modelos.

· Trabajar estratégicamente utilizando habilidades de pensamiento y razonamiento bien desarrolladas, así como representaciones adecuadamente relacionadas, caracterizaciones simbólicas y formales, e intuiciones relativas a estas situaciones.

· Reflexionar sobre sus acciones y formular y comunicar sus interpretaciones y razonamientos.

4 (entre 545 y 606 puntos)

· Trabajar con eficacia con modelos explícitos en situaciones complejas y concretas que pueden conllevar condicionantes o exigir la formulación de supuestos.

· Seleccionar e integrar diferentes representaciones, incluidas las simbólicas, asociándolas directamente a situaciones del mundo real.

· Utilizar habilidades bien desarrolladas y razonar con flexibilidad y con cierta perspicacia en estos contextos.

· Elaborar y comunicar explicaciones y argumentos basados en sus interpretaciones, argumentos y acciones.

3 (entre 482 y 544 puntos)

· Ejecutar procedimientos descritos con claridad, incluyendo aquellos que requieren decisiones secuenciales.

· Seleccionar y aplicar estrategias de solución de problemas sencillos.

· Interpretar y utilizar representaciones basadas en diferentes fuentes de información y razonar directamente a partir de ellas.

· Elaborar breves escritos exponiendo sus interpretaciones, resultados y razonamientos.

2 (entre 420 y 481 puntos)

· Interpretar y reconocer situaciones en contextos que solo requieren una inferencia directa.

· Extraer información pertinente de una sola fuente y hacer uso de un único modelo representacional.

·Utilizar algoritmos, fórmulas, procedimientos o convenciones elementales.

·Efectuar razonamientos directos e interpretaciones literales de los resultados.

1 (entre 358 y 419 puntos)

·Responder a preguntas relacionadas con contextos que les son conocidos, en los que está presente toda la información pertinente y las preguntas están claramente definidas.

·Identificar la información y llevar a cabo procedimientos rutinarios siguiendo unas instrucciones directas en situaciones explicitas.

·Realizar acciones obvias que se deducen inmediatamente de los estímulos presentados.

Fuente: Adaptado de OCDE (2016)


Metodología


El método de investigación utilizado fue el cuantitativo. Según Shuttleworth, 2008, todos los experimentos cuantitativos esgrimen un formato estándar, con algunos pequeños contrastes inter-disciplinarias para formar una hipótesis que será probada o desmentida. Esta hipótesis debe ser justificable por medios matemáticos y estadísticos y establece la base alrededor de la cual se delinea todo el experimento.


El alcance de la investigación es de tipo exploratorio, de acuerdo con Hernández (2010), citado por (Díaz-Pinzón, 2020a, 2020b) “se realiza cuando el objetivo consiste en examinar un tema poco estudiado”. En lo relacionado con el diseño de la investigación es experimental, según Potts (2020), citado por (Díaz-Pinzón, 2020c, pág. 5), señala son “estudios que se realizan sin la manipulación deliberada de las variables y en los que solo observan los fenómenos en su ambiente natural”.


Población


Esta investigación se centró en los resultados en matemáticas de los 12 países de América asociados a la OCDE, con la información de las pruebas Pisa para el año 2018. Figura 1.


Figura 1. Resultados para matemáticas Prueba PISA 2018.

Fuente: (Ministerio de Educación y Formación Profesional, 2018)


Prueba Estadística


El valor de significancia de la prueba es de α =0.05 (5%), si es mayor se acepta la hipótesis nula si es menor se rechaza la hipótesis nula. Comparación entre medias independientes, se utilizó el Software SPSS v 25.0.


Hipótesis con el ANOVA


La hipótesis del presente trabajo de investigación se diseña como una relación causal y se enuncia de la siguiente forma:


Hipótesis Alterna (Ha): Hay diferencias en el promedio de los puntajes obtenidos en la prueba Pisa 2018 en ciencias y matemáticas, en los diferentes países evaluados de América.


Hipótesis Nula (Ho): No hay diferencias en el promedio de los puntajes obtenidos en la prueba Pisa 2018 en ciencias y matemáticas, en los diferentes países evaluados de América.


Resultados


En la tabla 1 se observa que el p-valor de la prueba es igual a 0,000 es menor a α =0.05, de esta manera se rechaza Ho, es decir que para al menos uno de los promedios es diferente de los demás.


Tabla 1. ANOVA-Rendimiento

Suma de cuadrados

gl

Media cuadrática

F

Sig.

Entre grupos

82076,750

11

7461,523

1865,381

,000

Dentro de grupos

96,000

24

4,000

Total

82172,750

35

Fuente: el autor


En la tabla 2 se aprecian las comparaciones múltiples de los países evaluados, prueba de Duncan con nueve subconjuntos, en ella se observan en el subconjunto 1 a los países con menor rendimiento en la prueba PISA 2018 así sucesivamente hasta llegar hasta el subconjunto 9, en los países con mayor rendimiento.


Los países con mejor rendimiento fueron: Canadá con 512, Estados Unidos con 478, Uruguay con 418, Chile con 417, y México con 409. Los países con menor rendimiento fueron: República Dominicana con 325, Panamá con 353, Argentina con 379, Brasil con 389, y Colombia con 391.


Tabla 2. Comparaciones múltiples. Prueba de Duncan. Subconjuntos 1 al 9

Países

Subconjunto para alfa = 0.05

1

2

3

4

5

6

7

8

9

República Dominicana

325

Panamá

353

Argentina

379

Brasil

389

Colombia

391

Perú

400

Costa Rica

402

México

409

Chile

417

Uruguay

418

Estados Unidos

478

Canadá

512

Sig.

1,0

1,0

1,0

,233

,233

1,0

,546

1,0

1,0

Fuente: el autor


Evolución de las puntuaciones medias en matemáticas para el caso Colombia


La Figura 2 presenta los resultados históricos de Colombia en la prueba de matemáticas de PISA, en semejanza con el promedio de los países de Latinoamérica y el Caribe, el promedio de los países no asociados a la OCDE y el promedio de los países asociados a la OCDE.


Se puede analizar que el promedio de Colombia pasó de 370 a 391 puntos entre 2006 y 2018, lo cual incorpora un aumento de 21 puntos y sitúa al país en el octavo lugar entre los países que más optimizaron su desempeño en esta prueba. Es importante subrayar este incremento en el puntaje promedio, puesto que, como revela la figura, a diferencia de Colombia, el puntaje promedio en los tres grupos de comparación se redujo en el mismo periodo.


En relación con el estudio de 2015, el puntaje promedio de Colombia pasó de 390 a 391 puntos, lo cual demuestra un aumento no significativo y equivalente a un punto. Lo anterior apunta que se han cerrado las brechas entre Colombia y los diferentes grupos de comparación. En 2006 la brecha entre Colombia y el promedio latinoamericano era de 24 puntos a favor del agregado, entretanto que en 2018 esta diferencia fue de tres puntos a favor del país.


Esto se convierte en un puntaje promedio en matemáticas superior para los estudiantes colombianos, en comparación con los estudiantes de los países latinoamericanos que intervinieron en PISA 2018. La brecha en matemáticas de Colombia con los países asociados a la OCDE también se redujo en 26 puntos y con los países asociados en 30 puntos entre 2006 y 2018. (ICFES, 2018)


Figura 2. Puntaje promedio en matemáticas

Fuente: Elaboración propia con la base de datos de PISA


En matemáticas los establecimientos educativos privados registraron un mayor desempeño que los colegios educativos oficiales urbanos y rurales. Si se suman los contrastes de las cinco aplicaciones, se obtiene una diferencia promedio de 46 puntos entre los establecimientos educativos privados y los oficiales urbanos. De esta manera, si se hace el mismo ejercicio entre los establecimientos educativos privados y los oficiales rurales, se adquiere una diferencia promedio de 65 puntos (ver Figura 3). En paralelo con los grupos de países de referencia, en matemáticas la brecha según tipo de establecimiento educativo de Colombia ha sido inferior en relación con la de los países Latinoamericanos (durante las cinco aplicaciones, la diferencia promedio entre privados y oficiales urbanos es de 52 puntos, y de 74 puntos entre privados y oficiales rurales). Además, la brecha de Colombia ha sido mayor frente a las de los países asociados y no asociados a la OCDE (la diferencia es de 18 y 17 puntos en promedio entre privados y oficiales urbanos, respectivamente; y de 32 y 53 puntos entre privados y oficiales rurales, cada uno). (ICFES, 2018)


Figura 3. Puntaje promedio en matemáticas según el tipo de establecimiento

Fuente: Elaboración propia con la base de datos de PISA


Discusión de resultados


En la Prueba PISA 2018, el rendimiento en matemáticas abarcó más semblantes que los de la capacidad de reproducir los conceptos y procedimientos matemáticos conseguidos en las clases, y por ello PISA pretende evaluar en qué medida los estudiantes logran extrapolar lo que saben y aplicar sus conocimientos de matemáticas tanto en contextos familiares como en situaciones nuevas e inexploradas. Por tal motivo, la mayoría de las unidades de matemáticas en PISA los cuales son más cercanos a algunas culturas, que otras en los que las habilidades matemáticas son necesarias para solucionar un determinado problema. El enfoque en contextos de la vida real también se manifiesta en la posibilidad de usar herramientas como una calculadora, una regla o una hoja de cálculo para resolver problemas, tal como se haría en situaciones de la vida real. (Ministerio de Educación y Formación Profesional, 2018)


Se evidenció que Canadá es el único país que está por encima de la media del conjunto de países de la OCDE (489) en América con 512 puntos ubicándose en el nivel 3 de la escala de matemáticas, de 482 y 544 puntos. Estados Unidos con 478 puntos, Uruguay con 418, y Chile con 417 puntos, se ubicaron en el nivel 2 de la escala de matemáticas, de 420 y 481 puntos, ahora, México con 409 puntos, Costa Rica con 402 puntos, Perú con 400 puntos, Colombia 391 puntos, Brasil 389 puntos, y Argentina con 379 puntos, se ubicaron en el nivel 2 de la escala de matemáticas, de 358 y 419 puntos. Y muy preocupante el caso de Panamá con 353 puntos, y República Dominicana con 325 puntos que no alcanzan ningún nivel en la escala de matemáticas.


Partiendo de lo expuesto se ha examinado el rendimiento de los estudiantes en la escala de matemáticas: cuanto más altas sean las puntuaciones en la escala proporcionada, más alto es el rendimiento en dicha materia. No obstante, las puntuaciones no revelan lo que los estudiantes son idóneos de hacer en cada uno de los dominios analizados; para ello es preciso asistir a las distintas escalas de niveles de matemáticas. (Ministerio de Educación y Formación Profesional, 2018)


Conclusiones


A partir del análisis estadístico de los datos aplicando la ANOVA, el p-valor de la prueba es igual a 0,000 es menor a α =0.05, de esta manera se rechaza Ho, es decir que al menos uno de los rendimientos es diferente de los demás países evaluados de América, en las Pruebas Pisa en el año 2018.


Los países con mejor rendimiento fueron: Canadá con 512, Estados Unidos con 478, Uruguay con 418, Chile con 417, y México con 409. Los países con menor rendimiento fueron: República Dominicana con 325, Panamá con 353, Argentina con 379, Brasil con 389, y Colombia con 391.


Para Colombia aún tiene más del 40% de los estudiantes en el nivel de desempeño más bajo en PISA (resultado especialmente bajo en matemáticas, donde el nivel uno reúne a más del 60% de los estudiantes), es significativo destacar que las políticas y prácticas de los últimos años han estado conducentes en el mejoramiento de la calidad educativa en su conjunto y han beneficiado la creación de más y mejores entornos de aprendizaje para los estudiantes. (ICFES, 2016)


En matemáticas, en relación con la aplicación de 2006, Colombia ha sido el octavo país que más progreso en su desempeño, y el primero en Latinoamérica y el Caribe. Conjuntamente, el puntaje promedio en matemáticas de los estudiantes colombianos aumentó un punto respecto a la aplicación de 2015. Sin embargo, es necesario seguir mejorando en esta área, ya que las diferencias con los países asociados a la OCDE siguen siendo enormes.


Una forma de mejorar en la prueba PISA, es optimizando las prácticas de aula, tenemos por ejemplo en matemáticas los trabajos realizados por (Díaz-Pinzón, 2016; 2020d), sobre el uso de simuladores, logrando evidenciar una mejora en la enseñanza de las matemáticas.


Referencias

  1. Díaz-Pinzón, J.E. (2016). SOPORTE TÉCNICO DE SIMULACIÓN PHET EN LA ENSEÑANZA Y APRENDIZAJE DE FRACCIONES EQUIVALENTES. Revista De Investigaciones Universidad Del Quindío, 28(2), 31-41. https://doi.org/10.33975/riuq.vol28n2.6
  2. Díaz Pinzón, J. E. (2020a). Estimación de las tasas de mortalidad y letalidad por COVID-19 en Colombia. Revista Repertorio De Medicina Y Cirugía, 89-93. https://doi.org/10.31260/RepertMedCir.01217372.1103
  3. Díaz Pinzón, J. E. (2020b). Proyección de la propagación del COVID-19 en Colombia. Revista Med, 28(1), 11-20. https://doi.org/10.18359/rmed.4702
  4. Díaz Pinzón, J. E. (2020c). Estudio de los resultados del contagio por COVID-19 a nivel mundial. Revista Repertorio De Medicina Y Cirugía, 65-71. https://doi.org/10.31260/RepertMedCir.01217372.1089
  5. Díaz Pinzón, J. E. (2020d). Medidas de frecuencia por COVID-19 en Bogotá DC. Revista Repertorio De Medicina Y Cirugía, 94-98. https://doi.org/10.31260/RepertMedCir.01217372.1110
  6. Gurría, A. (2016). Pisa 2015 resultados clave. Recuperado el 19 de julio de 2020 de: https://www.oecd.org/pisa/pisa-2015-results-in-focus-ESP.pdf
  7. ICFES. (2016). Resumen Ejecutivo Colombia en PISA 2015. Recuperado el 16 de julio de 2017 de: http://www.icfes.gov.co/docman/institucional/home/2785-informe-resumen-ejecutivo-colombia-en-pisa-2015.
  8. ICFES. (2018). Informe Nacional de Resultados para Colombia - PISA 2018. Recuperado el 18 de diciembre de 2020 de: https://www.icfes.gov.co/documents/20143/1529295/Informe%20nacional%20de%20resultados%20PISA%202018.pdf
  9. Ministerio de Educación y Formación Profesional. (2018). Informe PISA 2018. Programa para la Evaluación Internacional de los Estudiantes. Recuperado el 10 de diciembre de 2020 de: https://www.observatoriodelainfancia.es/ficherosoia/documentos/5943_d_InformePISA2018-Espana1.pdf
  10. OCDE (2016a). PISA 2015 Assessment and Analytical Framework. Science, Reading, Mathematic and Financial Literacy. Consultado el 10 de diciembre de 2016. En línea en http://www. keepeek.com/Digital-Asset-Management/oecd/education/pisa-2015-assessment-and-analyticalframework_9789264255425-en#page12
  11. OCDE (2017). Marco de Evaluación y de Análisis de PISA para el Desarrollo: Lectura, matemáticas y ciencias. Versión preliminar. Paris: OCDE Publishing.
  12. Shuttleworth, M. (2008). Diseño de la Investigación Cuantitativa. Recuperado de https:// explorable.com/es/diseno-de-la-investigacion-cuantitativa