Estudio piloto en población escolar

Boletín N° 10. Mayo 2012.

 

Presentación

Los Estudios de Drogas en Población Escolar (ENPE) se realizan bianualmente desde el año 1995, con el objetivo de determinar la magnitud del uso de drogas en estudiantes de Octavo Básico a Cuarto Medio en establecimientos de todas las regiones del país, en alrededor de 100 comunas. Los tres primeros se efectuaron bajo el formato DUSI, de responsabilidad del Ministerio de Educación, mientras que a partir del 2001 se comenzó a aplicar una nueva metodología, a cargo de CONACE (actual SENDA), replicada en cada versión y similar en términos de composición muestral, aplicación y cuestionario.

Según Pepper (2001), es posible identificar dos tipos de problemas en los reportes de esta clase de estudios. El primero apunta a la “no respuesta”, que ocurre cuando algunos individuos de la población encuestada no responden parte o la totalidad del instrumento; el segundo considera a las “respuestas inconsistentes”, fenómeno que se registra cuando el encuestado no sigue una lógica de respuesta a lo largo del cuestionario o al interior de las dimensiones de éste.

Estos problemas son propios a todo tipo de estudios, más aún en estudios como el ENPE que evalúa consumo de sustancias o conductas en población escolar, y que además pueden ser estigmatizadas socialmente. En este sentido, la metodología de aplicación del instrumento en la sala de clases toma importancia, por lo que es necesario proteger la confidencialidad y el anonimato de los entrevistados para evitar cualquier sesgo en las respuestas de los alumnos. Problemas en la aplicación podrían llegar a provocar errores sistemáticos en la tendencia de los parámetros de interés (prevalencias, involucramiento parental, percepción de riesgo, facilidad de acceso, etc.).

El objetivo del estudio piloto que tratamos en este boletín, fue plantear y discutir la calidad de los reportes provenientes de encuestas autoaplicadas de drogas en población escolar, lo cual se realizó a través de un análisis de los 2 formatos piloteados, en función de las tasas de no respuesta y la cantidad de inconsistencias encontradas en el cuestionario (tasa de inconsistencias).

Cuestionarios piloteados

Para el estudio piloto se aplicaron dos formatos de cuestionario, con el mismo contenido). El Nº 1 tenía la estructura clásica de los estudios anteriores, que maximiza el espacio disponible en la página y las preguntas se seguían, en algunos casos, de manera horizontal. El Nº 2 contempla una mayor extensión en hojas, dado que las preguntas se orientan siempre de manera vertical.

Formato N° 1	Formato N° 2

Siguiendo la misma metodología de los estudios anteriores, las respuestas son registradas en una “hoja de respuesta” en la cual los alumnos deben ir marcando las alternativas seleccionadas. La tabulación de la información se realiza a través de lectura óptica de esta hoja, cuyo formato fue exactamente el mismo para los dos cuestionarios aplicados.

Indicadores estudiados

No respuesta

El cuestionario piloteado, independiente del formato, consideró 131 preguntas efectivas. Sin embargo, debido a la presencia de subítems en algunos casos, en la hoja de respuesta se contemplaban 288 preferencias. Los criterios utilizados para definir una “no respuesta” fueron:

En caso de error de digitación del entrevistado en hoja de respuesta se consideró como “valor perdido” (por ej: Marcar 2 preferencias para una pregunta que necesita sólo 1 alternativa)
Dejar en blanco una opción en la hoja de respuestas

Es importante mencionar que existen preguntas que tienen como alternativa de respuesta “No sabe/No contesta”, opción que se consideró como válida para el análisis. Adicionalmente, se asumió que los entrevistados responden en orden el cuestionario.

La fórmula de cálculo para la tasa de no respuesta (TNR) para cada cuestionario fue la siguiente:

 
 
 
Respuestas Inconsistentes

En la literatura no existe consenso respecto a la evaluación de la calidad de los datos entregados por encuestas de autorreporte, como tampoco para la validación de encuestas de drogas de este tipo^[1]. Los criterios de validación de los datos suelen ser definidos por los investigadores o bien por la entidad encargada de presentar los resultados del estudio.

El procedimiento propuesto contempla definir todos los potenciales nodos de preguntas del cuestionario en los que pudieran existir contradicciones. Éstos están principalmente vinculados a temas de consumo de sustancias, incidencia, oferta y facilidad de acceso (ver Anexo Nº1). Es importante mencionar que la posibilidad de respuestas inconsistentes radica, en parte, en la inexistencia de saltos en el cuestionario, o alternativas de respuesta que condicionan otras preguntas. Los consensos adoptados para el análisis de inconsistencias fueron los siguientes:

Las “no respuesta” no fueron consideradas como respuestas inconsistentes.
Se asumió que los reportes debían ser robustos, por lo que no se aceptaron contradicciones lógicas (ej. reporta frecuencia de uso, pero no se reconoce consumo en la vida).

La fórmula de cálculo para la tasa de inconsistencias (TINC) para cada cuestionario fue la siguiente:

 
 
 

Muestra piloto

La aplicación del estudio piloto fue realizada por la empresa Adimark GfK en 8 colegios de la Región Metropolitana. En 5 de ellos se aplicó el cuestionario en formato Nº 1 y en 3, el formato Nº2^[2]. En estos 8 establecimientos se llevaron a cabo un total de 422 encuestas, 302 bajo el formato Nº1 (16 cursos) y 120 bajo el Nº2 (6 cursos).

En relación a las características de los entrevistados, 49,1% son hombres y 44,3% mujeres. Las edades fluctuaron principalmente entre los 13 y 18 años. Un 6,9% de alumnos no respondieron su edad.

Resultados

Para analizar los resultados se procedió a revisar los 2 indicadores antes mencionados para cada formato evaluado^[3].

En la tabla N°3 se presenta la tasa de no respuesta, donde se muestra que el formato Nº 2 obtuvo un mejor desempeño, con una diferencia de 3,5 puntos porcentuales respecto al Nº1. Sin embargo, al chequear la tasa de inconsistencias (tabla N°4) el mejor desempeño fue del formato Nº1. El análisis de significancia al 5% muestra que las brechas encontradas para ambos indicadores son estadísticamente significativas.

Esta ambigüedad planteó la duda respecto del desempeño de ambos cuestionarios e hizo necesario llevar a cabo una validación empleando datos de los estudios en población escolar de años anteriores.

Validación

Para dar cuenta que los resultados observados sólo son atribuibles al cambio en el formato del cuestionario y no a la composición muestral, se procedió a obtener muestras aleatorias del ENPE 2009 con la misma disposición observada en el piloto. El objetivo fue comprobar si las diferencias en la tasa de no respuesta y en la tasa de inconsistencia podían ser atribuidas al cambio en el formato del cuestionario o si se debían a la desigual composición de la muestra del estudio piloto.

Tomando como referencia todos los cursos encuestados en la Región Metropolitana para el ENPE 2009, se simularon 10.000 muestras aleatorias empleando la composición de cursos para ambos formatos^[4]. De esta manera, se compararon los resultados obtenidos del estudio piloto teniendo como referencia valores provenientes del estudio 2009:

El cuestionario 2009 contó con 122 preguntas, lo que se traduce en 261 preferencias a completar en la hoja de respuestas. En este caso se encontraron 182 inconsistencias posibles sobre las cuales se construyó la tasa de inconsistencias. Dadas algunas diferencias entre los cuestionarios 2009 y 2011, los resultados no son comparables en magnitud, pero fueron de utilidad para determinar si las muestras empleadas para pilotear el instrumento son comparables en los parámetros analizados.

En las tabla N° 6 y N° 7 se aprecia que la muestra del formato Nº 1 aparece con una mayor tasa de no respuesta respecto del Nº2 (2,6% versus 1,5%), sin embargo al analizar la tasa de inconsistencias se aprecia que ambas muestras presentan valores muy similares.

Un hecho interesante es que, independiente de la composición muestral, se observa una relación positiva entre la tasa de inconsistencias y la de no respuesta observando la totalidad de las simulaciones por tipo de formato (ver Gráfico n°1 y Gráfico n°2).

Es evidente la mayor dispersión observada en el formato Nº2 respecto al Nº1 para tasas de no respuesta menores al 2%, hecho no apreciado al observar cada indicador por separado. Esta dispersión es explicada por mayores tasas de inconsistencia en el formato Nº2 en tasas de no respuesta bajas.

Discusión

El presente boletín analiza la forma en que la estructura del cuestionario puede afectar la cantidad de respuestas y la concordancia de éstas a través de un análisis cuantitativo. El propósito es mostrar los resultados del estudio piloto realizado con anterioridad a la etapa de levantamiento del ENPE 2011 y abrir el debate respecto a dos herramientas de validación de encuestas, como son las tasas de no respuesta y de inconsistencia.

Una de las mayores preocupaciones era velar por una cantidad de entrevistados similar y con características homogéneas por tipo de cuestionario para lograr comparar los resultados obtenidos para ambos formatos. Dado que no se logró esta condición, se empleó una muestra aleatoria de cursos provenientes del ENPE 2009 para comprobar que las muestras del piloto no diferían mayormente en las variables analizadas.

Los resultados provenientes del ENPE 2009 entregaron información robusta de que ambas muestras difieren en, a lo menos, 1 de los parámetros analizados. Lo anterior impide que los resultados del piloto fuesen concluyentes respecto a la idoneidad de un formato de cuestionario en desmedro del otro.

La alta volatilidad observada en el comportamiento de la tasa de no respuesta indica que no son muestras comparables. Si se asume que las simulaciones del ENPE 2009 poseen (en su conjunto) un comportamiento similar a la población original del Estudio Piloto se puede inferir que la brecha encontrada en el piloto (4,9% versus 1,4%) puede ser explicada, en parte, por una diferencia poblacional original de 1,1 puntos, mientras que 2,4 puntos podrían ser explicados por el formato de aplicación.

Respecto a la brecha en la tasa de inconsistencia en la muestra piloto (2,3% versus 3,2%), podemos concluir que no existe una diferencia que permita aseverar que un instrumento es mejor que otro. El patrón de inconsistencias aparece típicamente en las declaraciones de prevalencia de mes, año y vida junto a los reportes de edad de inicio e incidencia. Además, el cuestionario piloteado posee más preguntas para pesquisar consumo de inhalables y tranquilizantes respecto al de 2009 (además de un mayor número de preguntas para caracterizar consumo de alcohol), por lo que la posibilidad de ser inconsistente aumenta para el presente estudio. No obstante, se resalta que ninguno de los 2 formatos se alejó mucho de sus valores poblacionales.

En la literatura, las potenciales inconsistencias encontradas en los reportes de uso de drogas se reportan principalmente en el contexto de estudios longitudinales. Por ejemplo, Percy et al. (2005) muestra que, al comparar información de reportes de consumo de un año a otro (para una misma población), existe una diferencia (sobre o subdeclaración de consumo) relativamente alta la que, sin embargo, no afecta las estimaciones de prevalencia vida para cada año estudiado, pero que sí afectaría la tendencia del parámetro estudiado respecto del cohorte^[5]
. Los autores plantean que detectar y examinar este tipo de sesgo en encuestas transversales (autorreportadas), como la serie de estudios ENPE, es complejo y requiere técnicas más sofisticadas de análisis.

Un aspecto no discutido en el presente boletín tiene relación con el ambiente en la sala de aplicación del cuestionario. Percy et al. (2005) muestra que en caso que los encuestados puedan compartir sus reportes de consumo con sus compañeros (durante el proceso de aplicación), la valoración social de presentar altos reportes de uso de drogas pueden ser mayores que un posible estigma de ser identificado como un “consumidor de drogas”, sobre todo cuando están convencidos de que su confidencialidad será protegida. Resultados preliminares para las drogas más comunes del ENPE 2009 muestran una relación positiva entre un ambiente no adecuado para la aplicación del estudio y prevalencias más altas, lo que puede ser tema a tratar en próximos boletines.

Es por todas estas razones que la decisión respecto de cuál formato de cuestionario adoptar en el ENPE 2011 se basó en la información presentada en este boletín. Adicionalmente, se consideraron elementos cualitativos a partir de la observación del proceso de aplicación por parte de los facilitadores en el aula de clases. Hubo consenso de que un cuestionario orientado verticalmente facilita el llenado de la hoja de respuestas, a pesar de que la extensión (en hojas) era mayor. Como resultado de este estudio piloto, se decidió aplicar el formato Nº2 en el ENPE 2011.

Notas

• (1) Monitoring the Future da criterios amplios para la limpieza de bases de datos, se habla de un porcentaje mínimo de encuestas con un alto número de inconsistencias las cuales son eliminadas del análisis.↑
• (2) Es importante mencionar que la planificación establecía realizar la encuesta a igual cantidad de establecimientos con ambos formatos. Sin embargo, debido a que uno de los colegios designados al formato 2 se encontraba en toma el día de la aplicación, se generó un desbalance en la cantidad de establecimientos en los que se testeó este formato. ↑
• (3) Posterior a la construcción de la tasa de no respuesta, se procedió a excluir del análisis al 5% de los casos con menor respuesta por tipo de formato. La razón de esto fue evitar que los casos extremos distorsionen el análisis. Es por esta razón que el formato Nº 1 se analizó con 287 casos y el N° 2 con 114 casos. ↑
• (4) En función del diseño muestral del ENPE se establecen 15 estratos de aplicación (3 tipos de dependencia administrativa y 5 niveles). La selección de cursos no es proporcional al tamaño, obteniéndose desde una distribución uniforme para cada replicación.↑
• (5) Para la mayoría del uso de drogas (excepto alcohol, tabaco, marihuana e inhalables) el nivel de retracción excede la mitad de todos los reportes previos, los resultados arrojan serias dudas en la confiabilidad del autorreporte en población adolescente para la mayoría de las formas de uso.↑

Bibliografía

• Estudio Nacional de Drogas en Población Escolar de Chile 2009, SENDA, Ministerio del Interior.
• Pepper, J. (2005), How Do Response Problems Affect Survey Measurement of Trends in Drug Use?. INFORMING AMERICA’S POLICY ON ILLEGAL DRUGS: What We Don’t Know Keeps Hurting Us. Committee on Data and Research for Policy on Illegal Drugs. National Academy Press, Washington, D.C.
• Percy A, McAlister S, Higgins K, McCrystal P and Thornton M (2005) Response consistency in young adolescents’ drug use self-reports: a recanting rate analysis in Addiction, 100, 189-196.

Anexos

Anexo N° 1

En esta sección se presenta un pequeño ejemplo que busca ilustrar las inconsistencias para el caso de alcohol:

 
 
 /h5