Determinación Econométrica de los Factores que Inciden en el Desempeño de Actividades de Divulgación. El Caso del Club de Ciencias JC/CUC DAIA

Econometric Determination of the Factors that Influence in the Performance of Dissemination Activities. The Case of JC/CUC DAIA Science Club

Verónica De Jesús Romo veronica.dejesus@ujat.mx División Académica de Ciencias Básicas de la Universidad Juárez Autónoma de Tabasco Cunduacán, Tabasco
Alejandra Sofía Martín Hernández alejandrasomh26@gmail.com División Académica de Ciencias Básicas de la Universidad Juárez Autónoma de Tabasco Cunduacán, Tabasco
Jesús Antonio Pérez Vázquez jesus.perez961111v@gmail.com División Académica de Ciencias Básicas de la Universidad Juárez Autónoma de Tabasco Cunduacán, Tabasco


DOI: https://doi.org/10.31644/IMASD.38.2024.a06

Fecha de recepción: 11 de mayo de 2024
Fecha de aceptación: 15 de abril de 2024
Fecha de publicación: 01 de octubre de 2024

Resumen

Los programas o proyectos de divulgación científica, al igual que toda actividad que persigue un objetivo, se pueden evaluar. El objetivo de esta investigación es evaluar las actividades de divulgación científica que realizaron los integrantes del Club de Ciencias durante la fase más álgida del confinamiento derivado de la pandemia por COVID-19. Dichas actividades tuvieron lugar en 20 comunidades distintas, 8 municipios del estado de Tabasco y 4 municipios del estado de Chiapas. La investigación de evaluación se desarrolló aplicando metodología para la evaluación de programas y un modelo estadístico lineal general para determinar los factores que influyen en el desempeño de las actividades de divulgación científica. El modelo estadístico que justifica las conclusiones de esta investigación fue elegido de acuerdo con los criterios de correcta especificación estadística y significancia estadística de las variables. Haciendo uso de un modelo correctamente especificado, identificamos que los factores que tuvieron un efecto positivo y estadísticamente significativo en el desempeño del divulgador fueron: el sexo, el número de experimentos realizados con éxito durante la actividad, el nivel de interés de los asistentes, percibido por el divulgador y el número de familiares cercanos del divulgador con estudios universitarios en ciencias.

Palabras clave: Evaluación de programas; Modelación econométrica; Factores determinantes de desempeño; Divulgación

-Abstract-

Scientific dissemination programs or projects, like any activity that pursues an objective, can be evaluated. The objective of this research is to evaluate the scientific dissemination activities carried out by the members of a Science Club during the most critical phase of confinement derived from the COVID19 pandemic. These activities took place in 20 different communities, 8 towns in the state of Tabasco and 4 towns in the state of Chiapas. The evaluation research was developed by applying methodology for program evaluation and a general linear statistical model to determine the factors that influence the performance of scientific dissemination activities. The statistical model that justifies the conclusions of this research was chosen according to criteria of correct statistical specification and statistical significance of the variables. Using a correctly specified model, we identified that the factors that had a positive and statistically significant effect on the disseminator's performance were: sex, the number of experiments successfully carried out during the activity, the level of interest of the attendees perceived by the disseminator and the number of close relatives of the disseminator with university studies in science.

Keywords: program evaluation, econometric modeling, determinants factors, dissemination

Antecedentes de la investigación

El marco de referencia que identificamos en la literatura especializada muestra que la generación de evaluaciones a programas o proyectos de divulgación científica es un área relativamente poco estudiada. A continuación, reseñamos brevemente algunas de las investigaciones en las que se presentan evaluaciones de programas relacionados a la divulgación.

El trabajo de Barahona et al. (2020) tiene por objetivo investigar el impacto que tuvo un conjunto de actividades de comunicación de las matemáticas en espacios públicos en el fortalecimiento del tejido social y mejoramiento de la percepción de seguridad. Los asistentes respondieron un cuestionario compuesto de 10 reactivos tipo Likert1 y 5 preguntas categóricas referentes al perfil sociodemográfico de los mismos. Con los datos obtenidos, los autores realizaron un análisis estadístico descriptivo y un análisis inferencial que constó de 2 métodos estadísticos: análisis de componentes principales y modelo de ecuaciones estructurales. Evaluaron la validez y confiabilidad del instrumento de recolección de información a través de tres indicadores: el alpha de Cronbach, la lambda de Guttman y el Coeficiente de Correlación Inter-clase. Mediante su análisis de datos, los autores concluyeron que conforme se desarrolló el proyecto se recabó información sobre un aumento en la percepción de seguridad y niveles más altos de integración vecinal en la comunidad, además, mostraron evidencia a favor de que la comunicación de las matemáticas en espacios públicos contribuyó a mejorar la percepción de seguridad y fortalecer el tejido social de la comunidad de Chamilpa.

Otra investigación que tuvo como objetivo evaluar un taller fue la presentada por Pulido (2017). El taller cuya información se analizó tuvo como temática la preservación de la calidad del aire en lugares cerrados y se desarrolló con 128 estudiantes universitarios de las carreras de Enfermería y Ciencias Empresariales de la Universidad del Papaloapan, Oaxaca. El autor realizó cuatro cuestionarios de tipo Likert como medio de evaluación para cada constructo2 y como medida de fiabilidad y validez llevó a cabo un análisis de discriminación de reactivos.3

El análisis estadístico de las respuestas de los alumnos antes y después del taller, el autor concluyó que, en el grupo de enfermería, el taller tuvo un impacto positivo en la mayoría de los constructos evaluados. Sin embargo, en el grupo de ciencias empresariales, los cambios antes y después del taller, no fueron significativos.


1 Tipo de escala ordinal que pretende medir la actitud de los encuestados en un tema determinado. Desarrollada en 1932 por Rensis Likert.

2 Construcción teórica para comprender un problema determinado.

3 También conocido como análisis de discriminación de ítems o elementos.

La tesis de Gallardo (2014) fue otro trabajo de investigación en el que se realizó un estudio para evaluar los elementos constitutivos del proceso educativo en línea desde la perspectiva de los alumnos de la licenciatura en enfermería del SUAyED-ENEO (Sistema de Universidad Abierta y Educación a Distancia-Escuela Nacional de Enfermería y Obstétrica) de la UNAM. El estudio consta de un análisis descriptivo, transversal y observacional realizado con información de 119 alumnos. La metodología estadística empleada fue un análisis de varianza de un factor. La hipótesis de trabajo fue que el proceso de aprendizaje en línea (la cual fungiría como la variable dependiente), es en función de: la edad, el sexo, el número de empleos, las horas de estudio por semana, los conocimientos básicos de computación, los cursos previos en línea o en la sede del estudiante. En el estudio, el autor usó el coeficiente de correlación de Pearson entre algunas variables que consideró relevantes para comprender el proceso de aprendizaje de los alumnos. Finalmente, el autor concluyó que únicamente la variable sede del estudiante resultó significativa para el estudio. 

En la investigación de Sánchez (2008) se realizó una validación estadística del examen de ingreso al curso en línea para la comprensión de lectura en inglés, aplicado a 213 alumnos. El objetivo de esta investigación fue validar un constructo relacionado a un modelo hipotético a través de modelos matemáticos. El autor aplicó un instrumento de recolección de datos para observar e identificar los factores que determinan el aprendizaje eficiente en la comprensión de textos. Las metodologías estadísticas que se utilizaron en la investigación fueron: modelos matemáticos representativos de la teoría de respuesta al ítem (TRI) y el análisis de consistencia interna alpha de Cronbach, modelos causales y técnicas de estadística multivariada como: análisis factorial, análisis de path o de senderos, análisis de regresión múltiple y el modelo de ecuaciones estructurales. El autor evaluó los supuestos de normalidad, homocedasticidad y linealidad de la metodología aplicada para garantizar la convergencia hacia una solución factible. Por último, de acuerdo con el análisis previo y debido a la calidad de bondad de ajuste, el autor concluyó que no existieron evidencias suficientes para afirmar que el modelo no recoge la variabilidad existente en los datos.

Finalmente, Álvaro et al. (1990), en su obra Hacia un modelo causal del rendimiento académico, evalúan algunos modelos que influyen en el rendimiento académico. La investigación se desarrolló en torno a dos objetivos: llegar a un modelo explicativo del rendimiento académico y elegir la técnica de análisis más adecuada para poner a prueba ese modelo.

En consecuencia, emplearon métodos estadísticos para el análisis de los datos como: el análisis de componentes principales, análisis factorial de máxima verosimilitud, análisis de path, análisis de modelos LISREL (Linear Structural Relations), además de aplicar medidas de bondad de ajuste como: x2, Índice de bondad de ajuste GFI, entre otras. Mediante el uso de diferentes análisis exploratorios y confirmatorios, Álvaro et al. (1990) justificaron una reducción de 89 variables a 14. Así el modelo que determinaron que mejor explicaba el fenómeno de interés fue aquel en el que los valores de los indicadores de ajuste (x2 y GFI) cumplieron los límites exigidos y las correlaciones múltiples al cuadrado de las dos variables utilizadas fueron muy altas.

A partir de su análisis estadístico, los autores destacaron 3 conclusiones: i) el mejor predictor para el rendimiento son las aptitudes; ii) a través de una aptitud general (compuesta de un factor verbal, otro numérico y un último de razonamiento lógico) se puede predecir mejor el rendimiento en matemáticas que en lengua; iii) el nivel cultural de los padres tiene una relación causal con las aptitudes, es decir, un elevado nivel cultural en la familia propicia a un mayor desarrollo aptitudinal, en consecuencia, el rendimiento esperado en las áreas instrumentales básicas como el lenguaje y las matemáticas será mayor.

Marco conceptual del proceso de evaluación de programas

La evaluación puede definirse como el proceso de recopilación sistemática de información sobre las actividades, las características y los resultados de un programa (conjunto de pasos que se llevan a cabo para alcanzar un objetivo) con la finalidad de reducir la incertidumbre, mejorar la eficacia y las decisiones respecto a la consecución de los objetivos (Jean-Michel y Benot, 2017).

Por otra parte, según el glosario de los principales términos sobre evaluación y gestión basada en resultados de la Organización para la Cooperación y el Desarrollo Económicos (OCDE, 2010), la evaluación de un proyecto, programa o política en curso o concluido es la apreciación sistemática y objetiva de su diseño, de su puesta en práctica y sus resultados. Por lo anterior, podemos definir la evaluación como el proceso de recopilación sistemática de información sobre las actividades, las características y los resultados de los programas, para reducir la incertidumbre, mejorar la eficacia y la toma de decisiones.

Nótese que en una evaluación no solo se analiza si el programa es o no efectivo, sino si se proporciona información para determinar si el programa es la forma más adecuada para alcanzar los objetivos del mismo y si existen otros elementos a considerar.

Al realizar un proceso de evaluación para un programa hay puntos claves que debemos mantener en claro, como la finalidad de la evaluación, el momento en que se evaluará el programa, el modelo con el cuál se evaluará, la instrumentación que asistirá dicha evaluación, la institución o los profesionales encargados de llevar a cabo la evaluación y el marco referente con el cual se realizará la evaluación al programa. Los puntos mencionados anteriormente tienen la finalidad de perfilar un proceso de evaluación factible, metódico, objetivo, transparente y verificable.

Por otra parte, Jean-Michel y Benot (2017) describen un programa en términos de necesidades, diseño, insumos y productos, resultados a corto y largo plazo. Además, se puede representar a un programa de evaluación como una secuencia de cuatro fases:

  1. Análisis de contexto: implica recopilar información acerca de qué constituye el problema, a quiénes afecta y cómo lo perciben, para determinar sus necesidades. Se basa en herramientas estadísticas descriptivas e inferenciales para señalar los problemas que deben abordarse. Se debe:
  • Describir el contexto social, económico e institucional en el que se implementará el programa.
  • Identificar las necesidades, determinar su alcance y definir la población objetivo (estudio transversal, longitudinal o de datos de panel).
  • Hacer una distinción entre estadística descriptiva y estadística inferencial, para identificar patrones en la muestra.
  • Distinguir entre análisis univariados, bivariados y multivariados, dependiendo del número de variables que se examinen.
  • Visualizar el estatus de la población, si las necesidades identificadas fueran satisfechas.
  1. Evaluación ex ante: Trata de valorar aspectos que permitan afinar las decisiones alrededor de la implementación del programa. Cuando un programa o proyecto cuenta con la evaluación, influye en la mejora de la toma de decisión sobre su implementación, en la identificación de áreas de mejora que de no observarse y corregirse podrían generar costos innecesarios e ineficiencias en la etapa de implementación.

En esta etapa es fundamental determinar claramente las metas y los objetivos del programa antes de realizar una evaluación. Es importante que las estrategias alternativas para abordar los objetivos del programa se comparen sobre la base de todas las dimensiones relevantes (tecnológicas, institucionales, ambientales, financieras, sociales y económicas). Los métodos pueden ser:

  • Evaluación financiera.
  • Análisis de impacto presupuestario.
  • Análisis de costo-beneficio.
  • Análisis de costo-efectividad.
  • Análisis de decisiones de múltiples criterios.
  1. Implementación: Esta etapa se encarga de diseñar un sistema de monitoreo para ayudar a los líderes o encargados del proyecto a implementar el programa.

La construcción de un sistema de gestión de datos bien documentado es fundamental, para ello se pueden usar indicadores que permitan medir los insumos, los productos o relacionar los recursos con los servicios-productos:

  • Indicadores de medios (gastos operativos, donaciones recibidas, número de agentes).
  • Indicadores de realización (número de beneficiarios o usuarios).
  • Indicadores de gestión y contabilidad (gastos operativos por usuario, número de agentes por usuario).

Estos indicadores se pueden usar para informar el progreso y alertar a los responsables del programa sobre problemas, y también pueden utilizarse posteriormente con fines de evaluación.

  1. Evaluación ex post: Busca afinar elementos del programa evaluado, mismos que pueden agruparse de acuerdo con el tipo particular de evaluación que se trate. 

En esta etapa se mide lo que ha sucedido como consecuencia directa de la ejecución del programa. En consecuencia, la eficacia tiene que ver con el nivel de resultados y si la intervención tuvo éxito o no en alcanzar el objetivo deseado. En esta fase también se identifican cuáles son los principales factores que están detrás del éxito o del fracaso. Las técnicas de evaluación comúnmente utilizadas son:

  • Seguimiento aleatorio de casos.
  • Análisis de evaluación comparativa.
  • Cuasiexperimento.

Es importante mencionar que no debemos dejar de atender que:

  1. La elección del método a utilizar depende principalmente del contexto del análisis. Por ejemplo, la asignación aleatoria no siempre es posible en términos legales, técnicos o éticos.
  2. La elección del tiempo en el que se realiza la evaluación es una dificultad puesto que la información necesaria para evaluar los resultados del programa a veces está disponible solo varios años después de la finalización del programa. 

Generalmente, los resultados se clasifican en:

  • Corto plazo: si son efectos inmediatos en el estado de los individuos.
  • Largo plazo: se tratan de cambios ambientales, sociales y económicos.

Fases de la evaluación de un programa. El caso de talleres como medio de divulgación científica

A continuación, se presenta una aplicación de las cuatro fases de la evaluación: el análisis de contexto, la evaluación ex ante, la implementación y la evaluación ex post, a un programa de divulgación científica estudiantil.

El contexto de las actividades de divulgación científica realizadas por un grupo de estudiantes que integran los Clubes de Ciencias (CUC’s) de la Universidad Juárez Autónoma de Tabasco [UJAT] se ha desarrollado durante aproximadamente 15 años, a través de talleres dirigidos a audiencias de diferentes niveles educativos en espacios universitarios, planteles educativos, museos o espacios públicos del estado de Tabasco. Estas actividades representan una labor de retribución social universitaria, ya que, en muchos casos, los integrantes de los clubes realizan su servicio social en actividades de divulgación científica con la finalidad de promover y fomentar la cultura científica en la sociedad.

La evaluación natural de un programa de divulgación científica que representan las actividades de los CUC’s, consiste en medir el impacto que estas actividades tienen en el desempeño escolar o integral de los beneficiarios del programa, es decir, de las audiencias, o bien, en los jóvenes universitarios que proveen dichas actividades. Por lo tanto, es posible medir el efecto que las actividades de divulgación científica tienen sobre las personas que reciben los talleres y sobre los propios talleristas. Asimismo, es posible realizar una evaluación que permita identificar los factores que influyen en el desempeño de los talleristas.

Antes de implementar un programa, se debe definir la dirección del resultado deseado de manera general, como, por ejemplo, demostrar que las actividades de divulgación constituyen un pilar de las actividades sustantivas de la institución educativa. O bien, un objetivo específico, como el aumento del conocimiento general en un tema específico.

Supongamos que el programa tiene por objetivo la divulgación de conocimiento sobre una temática particular de manera didáctica y entretenida para niños.

Como parte de la evaluación ex ante, es recomendable pensar si:

  • ¿Las estrategias de divulgación seleccionadas son coherentes con el objetivo general del programa?
  • ¿Las estrategias de divulgación son aptas para niños?
  • ¿La actividad generará nuevo conocimiento científico en el público?
  • ¿Las estrategias cubren todos los objetivos del programa?
  • ¿Existe algún programa con objetivos iguales o similares?

Con el fin de lograr un programa más eficiente, es recomendable analizar:

  • ¿Existen los recursos necesarios para desarrollar la actividad de divulgación?
  • ¿Los recursos existentes son adecuados y suficientes?
  • ¿El programa de divulgación es redituable para el desarrollo académico de los participantes?
  • ¿El costo del programa de divulgación será equiparable a la efectividad?

Al momento de implementar el programa, es importante seguir cada fase de la estrategia previamente diseñada, además de ser cuidadosos al recopilar la información que servirá para la construcción de los indicadores.

Posteriormente, como parte de la evaluación ex post, debemos medir los efectos que el programa tuvo en los alumnos de la institución superior o en las audiencias, mediante el o los métodos que más se adecuen al programa y al tipo de evaluación. Por lo anterior, es necesario identificar en el programa de divulgación cuáles son los resultados a corto plazo y a largo plazo:

Los resultados a corto plazo:

  • ¿Se identificó algún efecto entre los alumnos divulgadores (talleristas) en su desempeño académico?
  • ¿Los alumnos obtuvieron crecimiento educativo?
  • ¿Los alumnos obtuvieron crecimiento personal?
  • ¿Los recursos fueron suficientes para el programa?
  • ¿El programa cumplió sus objetivos?

Los resultados a largo plazo:

  • ¿La divulgación científica es una actividad sustantiva para la institución?
  • ¿El programa logró producir y/o aumentar conocimientos?
  • ¿La actividad contribuyó a mejorar la relación del público con los temas tratados?
  • ¿El programa despertó en los alumnos la vocación de comunicador de ciencia?

Finalmente, las autoridades responsables tomarán las decisiones más adecuadas (instrumentar, fortalecer, continuar; según sea el caso), basándose en los resultados de la evaluación del programa. Es por ello que, desde la visión institucional, las evaluaciones son valiosas como instrumento para la adecuada toma de decisiones.

Evaluación de las actividades de divulgación científica

El Club de Ciencias JC/CUC DAIA

El Club de Ciencias “Jóvenes por la ciencia” de la DAIA de la UJAT comenzó sus actividades en el 2006, y tiene como principal actividad realizar actividades de divulgación científica. El club está típicamente integrado por estudiantes de las carreras de Arquitectura, Ingeniería Civil, Ingeniería Eléctrica y Electrónica, Ingeniería Química e Ingeniería Mecánica Eléctrica quienes cumplen con su servicio social, prácticas profesionales o voluntariado. Las actividades que se realizan en el club son talleres de divulgación, participaciones en eventos científicos, proyectos de investigación, entre otras.

Desde que el Club de Ciencias se fundó ha alcanzado importantes logros en materia de divulgación. Sin embargo, no se había tenido la oportunidad de evaluar el impacto de sus actividades en la población ni en los propios participantes del club. Para cubrir esta necesidad, realizamos un primer ejercicio de evaluación, con el objetivo de identificar los factores que influyen en el buen desempeño de los integrantes del Club de Ciencias en actividades de divulgación científica. La evaluación que se presenta fue parte de un trabajo realizado como prácticas profesionales y posteriormente presentado por dos de los autores como trabajo de tesis para obtener el título de Licenciado(a) en Actuaría.4

El marco para la evaluación fue el taller ¡Más fuerte qué Hércules!, que consistió en la presentación de tres experimentos relacionados con la tensión superficial del agua, dirigidos a un público infantil.


4 Los profesionales de la Actuaría son quienes aplican métodos matemáticos, estadísticos, económicos y computacionales al cálculo de riesgos financieros derivados de la incertidumbre cuando son cubiertos mediante algún contrato, como pueden ser seguros, fianzas, pensiones, seguridad social, pasivos laborales e instrumentos financieros de crédito, de inversión y derivados. Sin embargo, pueden orientar sus habilidades a otras labores como la evaluación de programas de distinta índole.

Debido a las restricciones sanitarias, el taller fue realizado por cada integrante del club en la comunidad en que viven, con un público infantil. Lo anterior, dio como resultado la presentación del taller en 20 comunidades distintas, que pertenecen a 8 municipios del estado de Tabasco y a 4 municipios del estado de Chiapas. La Figura 1 muestra a algunos de los integrantes del club realizando el taller de divulgación ¡Más fuerte que Hércules!

Imagen01

Metodología

Diseño de un instrumento y creación de base de datos

La información estadística que permitiera modelar el desempeño de los integrantes del Club de Ciencias en el taller de divulgación “¡Más fuerte que Hércules!” se recogió mediante un cuestionario de Google Forms constituido por 3 secciones. La primera contenía 4 preguntas dedicadas a la recolección de datos generales, como lo son: el sexo, la edad o el promedio de calificaciones de su programa de estudio. La segunda, estuvo enfocada en medir el grado en que los talleristas percibieron el desempeño de su presentación, se integró con 18 preguntas, 8 de ellas fueron de tipo Likert con 4 valores (las encuestas tipo Likert son instrumentos psicométricos donde el encuestado debe indicar su acuerdo o desacuerdo sobre una afirmación o reactivo, lo que se realiza a través de una escala ordinal y unidimensional (Matas 2018), mismas que buscaban extraer información sobre la forma en que los talleristas percibieron a la audiencia y su desempeño.5 La tercera y última sección se conformó de 6 preguntas, las cuales pretendían recabar datos sobre el perfil académico de los familiares de los integrantes del Club de Ciencias encuestados.

La siguiente Tabla 1 muestra las 28 variables generadas para estudiar el desempeño de los talleristas en sus presentaciones, de las cuales 27 se obtuvieron del cuestionario, y fueron tratadas como variables independientes. La variable restante, denominada CaliTaller, es el puntaje obtenido como calificación en el taller y se trató como la variable dependiente en nuestra modelación. Dicha calificación fue otorgada por académicos con experiencia en la divulgación a partir de las evidencias, fotos o videos, reportadas. Finalmente, el estudio se realizó con la información de 23 talleristas integrantes del club.


5 El lector puede notar que no presentamos resultados del alfa de Cronbach, que permite cuantificar el nivel de fiabilidad de una escala de medida para la magnitud inobservable construida a partir de las n variables observadas. Lo anterior debido a que es deseable, para crear una escala fiable de una cualidad no directamente observable, que los ítems estén muy correlacionados entre sí. En nuestro caso las n variables observables que utilizamos se utilizan para modelar la variabilidad de la variable respuesta que es observable y tiene una escala de medición. Por lo anterior, no utilizamos el alfa de Cronbach como medida de fiabilidad de escalas de medición.

Imagen02

Metodología estadística

En esta investigación aplicamos la teoría de la reducción probabilística (Spanos, 1986) desarrollada en el marco del enfoque probabilístico de la econometría. La cual consiste en evaluar rigurosamente los supuestos sobre el vector de variables observables, para obtener una estructura probabilística simplificada y aceptable del mismo. Dicho método consiste en: i) definir el diseño de experimento que relacione un modelo de teórico con los datos en un esquema probabilístico mediante la especificación del modelo estadístico; ii) la verificación de los supuestos estadísticos subyacentes a la especificación; y iii) la reespecificación del modelo con el objeto de establecer un modelo correctamente especificado para contrastar las hipótesis a fin de establecer conclusiones estadísticamente confiables a la luz de los datos.

Específicamente, el estudio se realizó mediante un modelo de regresión lineal (modelo lineal general), dado por la ecuación,   , cuya estructura probabilística se presenta en la Tabla 2 usando dos enfoques distintos.

Imagen03

El enfoque probabilístico del modelo de regresión lineal múltiple, misma que se basó en De Jesús (2016), tiene la intención de destacar por qué es necesario que se satisfaga cada supuesto de la Tabla 2 con los datos modelados y las implicaciones de no cumplirlos.

Enfoque probabilístico del modelo de regresión lineal múltiple

Sea la siguiente relación económica de interés:

Imagen04

donde Yi denota la variable dependiente, y denota la j-ésima variable independiente. A continuación, se muestra cómo el modelo estadístico de regresión lineal múltiple

Imagen05

con vector de parámetros y bajo los supuestos de la Tabla 2, es una parametrización de la densidad conjunta de todas las variables observables bajo los siguientes supuestos: distribución normal, independencia e idéntica distribución.

Por el supuesto de independencia e idéntica distribución de Xi, el supuesto de distribución normal de Xi , y de exogeneidad de las variables Xi,j para j=1,2,…,k, sabemos que Yi dados los valores del vector aleatorio Xi = xi se distribuye como una variable aleatoria normal,

Imagen06

donde Imagen06

Este resultado muestra que existe una relación lineal entre Yi y Xi, del tipo

Imagen08

donde el término de error no es autónomo, su estructura probabilística está completamente determinada por (3). De hecho, los supuestos del modelo estadístico se pueden expresar en términos de ui, como en la Tabla 2.

Como es habitual, para determinar los valores más probables de los parámetros del modelo estadístico,, cuando el proceso aleatorio ha sido observado, maximizamos el logaritmo de la función de verosimilitud respecto a θ. Pero como la función de verosimilitud es la densidad conjunta del proceso observado x= condicionada por θ entonces:

Imagen09

donde es la densidad normal multivariada dada por (3). Por lo tanto, las propiedades probabilísticas de los estimadores de máxima verosimilitud, de cualquier estadístico de prueba, y medida de bondad de ajuste, serán completamente determinadas por (3).

En el caso de que el modelo de regresión lineal no cumple con alguno de los supuestos probabilísticos de la Tabla 2 vis-à-vis los datos, entonces la densidad  será erróneamente especificada e invalidará las propiedades probabilísticas de cualquier estadístico derivado de esta. Lo cual no solo implica que la inferencia estadística, las medidas de bondad de ajuste y los pronósticos realizados a partir del modelo estadístico no sean confiables, sino que el modelo completo estará en tela de juicio como proceso generador de los datos observados.

Nótese que los supuestos 1-3 en la Tabla 2 dependen del supuesto de la distribución normal de Xi. Sin embargo, también es uno de los supuestos más difíciles de cumplir. De acuerdo con Hoover et al. (2009); y Hoover (2012), la hipótesis de normalidad multivariada de los datos económicos no es una característica que esperamos que se cumpla, es más bien una hipótesis que nos permite asegurar que se han considerado tanto los eventos usuales, que son adecuadamente descritos por la distribución normal, como los inusuales que tienden a caer fuera del rango de la distribución normal. Tales eventos extraordinarios, frecuentemente son la causa de asimetría o exceso de curtosis en la distribución de los datos, y por lo tanto, del rechazo del supuesto de normalidad de ui. En otros casos, la inadecuada modelación de este tipo de eventos puede ser la causa de autocorrelación entre los errores, de sesgo en los estimadores y de imprecisión en las inferencias. Del supuesto de normalidad también depende la linealidad, en variables y parámetros, del modelo estadístico. Por lo que, si se detecta que el supuesto de normalidad no se cumple, la forma funcional del modelo también será cuestionada.

En el enfoque probabilístico de la econometría, el término de error debe captar todos los factores que influyen en el fenómeno que no fueron considerados por el modelo empírico, por supuesto, estos factores deberían ser muchos más que los considerados en el modelo. De modo que, si tales factores son independientes, los errores podrían distribuirse aproximadamente como variables aleatorias normales por el teorema del límite central.

El supuesto de independencia de  en el proceso observable de variables económicas, también ha sido cuestionado (supuesto 4 de la Tabla 2), de hecho, es muy frecuente observar que el proceso  muestra algún tipo de dependencia sobre todo en el análisis de series de tiempo, donde la heterogeneidad de estas variables induce qué tanto la esperanza como la matriz de varianzas y covarianzas del proceso observable sean función del tiempo.

Así pues, la única estrategia correcta para conseguir inferencias válidas y confiables es adoptar un modelo estadístico cuyos supuestos probabilísticos sean válidos vis-à-vis los datos antes de realizar cualquier inferencia. Por lo anterior, antes de contrastar las hipótesis acerca del fenómeno de interés con el modelo (2) es necesario verificar que el modelo estadístico satisfaga la lista completa de supuestos probabilísticos subyacentes a la especificación elegida con los datos de la muestra x. Dicha verificación garantiza la confiabilidad de cualquier inferencia basada en el modelo. Nótese que cuando el modelo es incorrectamente especificado, en el sentido que alguno de los supuestos del modelo fue rechazado, entonces la distribución D(∙ ; θ) estará erróneamente especificada para la muestra x e invalidará la distribución de los estimadores, de los estadísticos de prueba y de cualquier estadístico obtenido a partir de ella.

El modelo (2) debe de re-especificarse, elegir una nueva especificación que considere las regularidades en los datos no explicadas por un modelo incorrectamente especificado. Hecho esto, una vez más se debe de evaluar que los datos, x>, no rechazan los supuestos de esta nueva especificación. Este procedimiento se debe de repetir hasta identificar una especificación que satisfaga todos los supuestos con los datos, a partir de la cual, se puedan hacer inferencias confiables.

Resultados

Una vez analizados distintos métodos y modelos estadísticos con los datos de los 23 tallerista de las 27 variables obtenidas, determinamos, de acuerdo con los criterios de correcta especificación estadística y significancia de las variables, que la especificación lineal general dada por la siguiente ecuación recogía bien la variabilidad de la variable Yi que mide el desempeño del tallerista

Imagen10

donde las variables estadísticamente significativas fueron:

x1 : Sexo del tallerista.
x16: Número de experimentos exitosos durante la presentación del tallerista.
x17: Nivel del interés que percibió el tallerista de los asistentes.
x25: Número de familiares cercanos al tallerista con estudios universitarios en ciencias duras (Matemáticas, Física, Química, incluso Ingenierías). Observamos que el efecto de todas las variables incluidas en el modelo es positivo sobre el desempeño del tallerista.

Antes de interpretar los coeficientes estimados y evaluar la significancia de las variables en el modelo, procedemos con la evaluación de la correcta especificación del modelo estimado. Es decir, verificar si cumple con los supuestos del modelo lineal general.

Verificación de la correcta especificación

La correcta especificación del modelo fue determinada mediante pruebas estadísticas para evaluar la distribución normal de los errores estimados, las pruebas hetero y hetero-X test que evalúan si los errores tienen varianza constante y, por último, la prueba reset2 que evalúa si en la relación lineal no se omiten variables relevantes.6


6 Todas las estimaciones y evaluaciones estadísticas se realizaron en el software Stata. Las conclusiones de las pruebas estadísticas de incorrecta especificación se toman bajo el criterio de decisión, según el cual, si el p-value es mayor al nivel de significancia α=.05, no se rechaza la hipótesis nula de que se satisface el supuesto probabilístico con los datos del modelo. Donde el p-value se calcula como P(X≥x) donde X denota a una variable aleatoria que tiene una distribución de probabilidad igual a la que sigue el estadístico de prueba bajo la hipótesis nula y x denota el valor observado del estadístico de prueba obtenido. Notar que, dependiendo del supuesto evaluado, el estadístico de prueba sigue una distribución de probabilidad específica.

Al nivel de significancia α=0.05, es decir, con un 95 % de confianza no podemos rechazar la hipótesis nula de que los errores siguen una distribución normal. En otras palabras, existe evidencia estadística suficiente para no rechazar la hipótesis nula de que los datos siguen una distribución normal (p-value=0.7605).

Para evaluar si los errores del modelo estimados son homocedásticos, es decir, que la varianza de los errores estimados es constante, se realizaron las pruebas: hetero y hetero-X. Una vez realizadas ambas pruebas, se obtuvo en la prueba hetero un p-value=0.309 y en la prueba hetero-X un p-value=0.435. En ambos casos podemos concluir que existe evidencia estadística suficiente para no rechazar la hipótesis nula de que los errores estimados del modelo de regresión tienen varianza constante.

Por último, se realizó la prueba reset23 cuyo objetivo es evaluar si en el modelo lineal de las combinaciones no lineales de las variables explicativas tienen capacidad para explicar la variable respuesta. La hipótesis nula de la prueba es que el modelo está bien especificado. El p-value de la prueba fue p=0.291. Con lo que podemos concluir que existe evidencia estadística suficiente para no rechazar la hipótesis nula, es decir, el modelo estadístico lineal está correctamente especificado.

Las gráficas de la siguiente Figura 2 muestran en el primer panel los valores que la variable y (desempeño) y los valores estimados  (desempeño estimado), la gráfica de los residuales del modelo y el histograma de los residuales. Se puede observar, al igual que con las pruebas estadísticas, que el ajuste mediante el modelo lineal es estadísticamente adecuado.

En resumen, observamos que nuestro modelo estimado cumple los supuestos estadísticos y probabilísticos del modelo lineal general, por lo que es estadísticamente válido y sólido para realizar análisis inferenciales como el de la significancia individual y conjunta de las variables explicativas.

Imagen11

Para verificar la significancia de los parámetros de la regresión, realizamos la prueba de significancia conjunta y las pruebas de significancia individual en el software Stata.

En la prueba de significancia conjunta se obtuvo un estadístico de prueba cuyo estadístico sigue la distribución F de Fisher que tomó el valor de F=4.70 y un p-value=0.009,7 estos datos nos permiten concluir con un 95 % de confianza de que existe evidencia estadística suficiente para rechazar la hipótesis nula de que conjuntamente los parámetros estimados en el modelo son iguales a cero.

Por otra parte, los resultados de la prueba de significancia individual de cada variable en la regresión muestran que los estadísticos de prueba t están fuera de la región de no rechazo de la hipótesis nula, [-1.73, 1.73],8 al 95 % de confianza y los p-values son menores a 0.05. Por lo que existe evidencia estadística suficiente para rechazar la hipótesis nula de que los parámetros estimados son igual a cero, es decir, las variables xi, x16, x17 y x25 son significativas para el modelo.

Por lo tanto, el modelo estimado nos indica que: la medida de desempeño del tallerista (calificación obtenida de cada tallerista) tiene una variación de 0.34 cuando la percepción de los talleristas sobre el interés de los asistentes mejora, además, una variación de 0.22 en la calificación del desempeño del taller por cada familiar cercano del tallerista que cuente con estudios universitarios relacionados con las ciencias duras. También se observa una variación de 0.39 sobre la medida de desempeño del tallerista por cada experimento exitoso que realizó durante la presentación. Por último, se observa una diferencia en pro de las talleristas, es decir, existe evidencia estadística de que el desempeño mejora en 0.69 cuando el taller está a cargo de una mujer.


7 En el caso de la prueba de hipótesis global el estadístico de prueba se calcula como donde n es el número de observaciones y k el número de parámetros en la ecuación de regresión. En este caso el p-value se calcula como P(X≥x) donde X denota a una variable aleatoria que tiene una distribución de probabilidad F con grados de libertad (k-1,n-k) y x denota el valor del estadístico de prueba obtenido.

8 El intervalo de valores de la distribución t con 18 grados de libertad para los cuales no se rechazan la hipótesis nula, H0i=0, al 95% de confianza se define como todos aquellos valores entre el cuantil 0.025 y el cuantil 0.975 de dicha distribución, es decir, el intervalo [-1.73, 1.73].

Reflexiones finales

La investigación que presentamos es un primer ejercicio estadístico para identificar las variables que influyen en el buen desempeño en las actividades de divulgación del Club de Ciencias. Así mismo, la revisión de la literatura especializada en materia de divulgación, nos permite reconocer que la investigación constituye un marco de referencia para generar información de factores potenciales y de factores que, de acuerdo con nuestro modelo, tienen un impacto estadísticamente significativo en el desempeño de las actividades de divulgación.

Asimismo, enfatizamos que las variables que no figuran en el modelo estadístico, fueron estadísticamente no significativas en nuestro modelo. Lo anterior no significa que en general no tengan influencia sobre el desempeño en actividades de divulgación. Más bien, significa que, antes de descartar su posible influencia en otros ejercicios de evaluación, es necesario prestar especial atención para medir y cuantificar dicha influencia.

En este sentido, las variables como disfrutar la presentación del taller, el nivel de nerviosismo, el dominio del tema o el tiempo dedicado a ensayar los experimentos; que en principio nos parecía que deberían ejercer cierta influencia, no resultaron estadísticamente significativas en el modelo. Suponemos que este hecho constituye un área de oportunidad para captar su influencia en futuros ejercicios de evaluación.

Adicionalmente, podríamos refinar el método de recolección de la información y la expansión de nuestro ejercicio a otros grupos de divulgación o considerar más de una actividad de divulgación, lo cual nos daría la posibilidad de implementar otras metodologías estadísticas de modelación.

La evaluación del desempeño de las actividades del Club de Ciencias JC/CUC DAIA es evidencia de una iniciativa por reconocer y potenciar los factores que mejorarían el desempeño de los integrantes del club en labores de divulgación científica y de revalorar los beneficios de la divulgación como actividad sustantiva dentro de las universidades.

Referencias

Álvaro Pag, M., et al. (1990). Hacia un modelo causal del rendimiento académico. CIDE.

Barahona, I., et al. (2020). Matemáticas, espacios públicos e integración vecinal. El caso de Cuernavaca (México). JCOM – América Latina, 3(2).

De Jesús Romo, Verónica. (2016). ¿Ciencia económica o el arte de hacer economía? Metodología científica y replicaciones en economía. Investigación económica, 75(296), 73-110. 

Gallardo Santamaria, L. (2014). Evaluación en el proceso educativo en línea desde la perspectiva de los alumnos de Licenciatura en Enfermería Sistema Abierto y Educación a Distancia. [Tesis de Maestría]. UNAM. https://repositorio.unam.mx/contenidos/evaluacion-del-proceso-educativo-en-linea-desde-la-perspectiva-de-los-alumnos-de-licenciatura-en-enfermeria-sistema-a-121061?c=rVEPLZ&d=false&q=*:*&i=3&v=1&t=search_0&as=0

Hoover, K. D., Johansen, S., y Juselius, K. (2008). Allowing the data to speak freely: The macroeconometrics of the cointegrated vector autoregression. The American Economic Review, 98(2), 251-255.

Hoover, K. D. y Juselius, K. (2012). Experiments, Passive Observation and Scenario Analysis: Trygve Haavelmo and the Cointegrated Vector Autoregression. Univ. of Copenhagen Dept. of Economics Discussion Paper, (pp. 12-16).

Jean-Michel, J., y Benot Le, M. (2017). Statistical Tools for Program Evaluation. Methods and Applications to Economic Policy, Public Health, and Education. Springer International Publishing.

Martín Hernández, A., y Pérez Vázquez, J. (2022). Determinación econométrica de los factores que influyen en el desempeño en actividades de divulgación científica de los integrantes del club de ciencias “JC/CUC DAIA, UJAT”. [Tesis de Licenciatura] UJAT.

Organización para la Cooperación y el Desarrollo Económico [OCDE]. (2010). Glosario de los principales términos sobre evaluación y gestión basada en resultados. Francia. https://www.comminit.com/content/glosario-de-los-principales-términos-sobre-evaluación-y-gestión-basada-en-resultados

Pulido Criollo, F. (2017). Evaluación de un taller de educación para mejorar la calidad del aire en dos grupos universitarios. [Tesis de Maestría]. UNAM.

Sánchez Delgado, D. (2008). Validación y evaluación estadística del examen de colocación al curso en línea para la comprensión de lectura en inglés. [Tesis de Licenciatura]. UNAM.

Spanos, A. (1986). Statistical Foundations of Econometric Modelling. University Press, Cambridge.