Presentación del Número 41
Estándares metodológicos para
construir conocimiento
doi: https://doi.org/10.26439/contratexto2024.n41.7087
Las revistas académicas promueven el diálogo científico al reportar y distribuir literatura de calidad acreditada sobre la cual se construye el conocimiento. La atención de los editores, el sistema de revisión por pares y los estándares científicos sobre el diseño de investigación y los métodos sustentan la calidad del contenido de cada número.
Desde hace algún tiempo, y en especial desde su aceptación en bases de datos de referencia como Scopus o SciELO, Contratexto ha experimentado un importante aumento en el volumen de colaboraciones enviadas para evaluación. Sin embargo, este flujo ha incluido un número significativo de manuscritos que carecen de exhaustividad en sus métodos y técnicas de investigación. Como consecuencia, las tasas de rechazo en los últimos números se han incrementado, como puede verse en la sección de indicadores de la web de la revista. Las brechas más comunes son la vaguedad en la técnica de muestreo, instrumentos de recolección de datos desvinculados de referencias previas o carentes de validación, vacíos en cuanto a sesgos potenciales y medidas tomadas para abordarlos, y ambigüedad en las técnicas y procedimientos de análisis de datos. Esto nos llevó a ajustar aún más el proceso editorial, con el propósito de aumentar la eficiencia de la revisión inicial de los manuscritos.
El diseño e implementación de los métodos sirven como indicadores de la calidad general del artículo de investigación (Harrison et al., 2020; Levitt et al., 2017). Esto se debe a que el rigor de los métodos seleccionados y su implementación están relacionados con aspectos críticos de la investigación, en particular la confiabilidad y la validez (Harrison et al., 2020; Heale & Twycross, 2015; Singh et al., 2021). Si bien hay un debate abierto sobre la identificación de estas cualidades entre los enfoques cuantitativo y cualitativo, los autores coinciden en su sentido general e importancia (Hayashi et al., 2019).
La confiabilidad se refiere al rigor sistemático de la investigación y su consistencia entre las diferentes dimensiones del estudio, como el diseño del método, y es una cualidad que indica cuán seguro se puede estar sobre los hallazgos y la replicabilidad de esa investigación en el tiempo (Heale & Twycross, 2015; Hou & Aryadoust, 2021; Rose & Johnson, 2020). Ante esta perspectiva, un trabajo que no contiene elementos de confiabilidad difícilmente puede entrar en diálogo con la literatura de su campo, ni ser base sobre la cual construir nuevo conocimiento.
Un ejemplo recurrente sobre limitación en la confiabilidad que observamos es la exposición escueta y vaga al reportar la metodología utilizada y su proceso de implementación en el estudio. Esta práctica imposibilita reproducir el estudio en otra circunstancia o tiempo. Aún ante las limitaciones sobre la reproductibilidad en las investigaciones cualitativas, un nivel razonable de exhaustividad para robustecerla es posible. Es oportuno considerar que una confiabilidad limitada origina más interrogantes que certezas sobre el estudio y sus hallazgos.
Otro ejemplo ocurre entre las investigaciones que realizan análisis de contenidos cuantitativos. Es común no encontrar reporte sobre el número de codificadores que analizan la muestra, ni tampoco el procedimiento y cálculo estadístico de la confiabilidad de intercodificador, dejando abierta la interrogante sobre el control de potenciales sesgos en el análisis realizado (o si es que efectivamente se calculó esa medida estadística que asegura la confiabilidad en el análisis).
La validez se refiere, en estudios cuantitativos, al grado en que las medidas implementadas representan correctamente el concepto en estudio (Heale & Twycross, 2015; Leung, 2015). Por otro lado, en la tradición cualitativa, la validez se refiere a la pertinencia de las herramientas y procedimientos metodológicos seguidos para obtener y analizar datos (Leung, 2015). La validez apunta a evidenciar que los métodos y sus componentes elegidos tienen la precisión adecuada para capturar los fenómenos que pretenden representar.
Un ejemplo común de limitación en la validez se manifiesta en artículos que reportan haber ejecutado entrevistas o focus groups para recopilar datos, pero no especifican el desarrollo de una guía de indagación y sus contenidos para esa práctica. Y si lo hacen, es habitual que no se precise si ese instrumento se fundamenta en literatura previa o se encuentra informado por alguna teoría. Y si se trata de una elaboración propia del investigador, es alta la probabilidad de no encontrar el racional que fundamente los tópicos y preguntas de indagación establecidos en ese instrumento.
Ante el escenario descrito, y como parte de nuestros esfuerzos de calidad continua, hemos incorporado precisiones en el proceso de revisión inicial de los artículos en su sección de métodos. Estas precisiones están informadas por los criterios de los Journal Article Reporting Standards de APA, y permiten identificar la exhaustividad y transparencia de los métodos en cada trabajo. Observamos el reporte y la consistencia de los siguientes elementos: del diseño metodológico respecto al objetivo del estudio, la descripción justificada de la técnica de muestreo utilizada y de selección de participantes o casos, la técnica de recolección de datos e instrumentos utilizados para este fin, la transparencia en la técnica y procedimiento de análisis de datos, y aspectos éticos de la investigación. Del mismo modo, venimos promoviendo el envío de anexos relevantes como las bases de datos (datasets) o los instrumentos tal cual fueron aplicados, con la finalidad de elevar el impacto de la investigación y garantizar su solidez metodológica y ética.
Confiamos en que observar estos componentes para garantizar la confiabilidad y validez mínimas para proceder a la revisión por pares no solo es un medio para garantizar la calidad de los artículos publicados en Contratexto, sino también una acción para que la comunidad científica mantenga presente la adherencia a estándares de calidad en los métodos, con el fin de aportar conocimiento sólido en sus campos de investigación e impulsar el diálogo académico en comunicación.
Dr. LIZARDO VARGAS-BIANCHI
https://orcid.org/0000-00 02-9027-7673
Universidad de Lima, Perú
Harrison, R. L., Reilly, T. M., & Creswell, J. W. (2020). Methodological Rigor in Mixed Methods: An Application in Management Studies. Journal of Mixed Methods Research, 14(4). https://doi.org/10.1177/1558689819900585
Hayashi, P., Abib, G., & Hoppen, N. (2019). Validity in qualitative research: A processual approach. Qualitative Report, 24(1). https://doi.org/10.46743/2160-3715/2019.3443
Heale, R., & Twycross, A. (2015). Validity and reliability in quantitative studies. In Evidence-Based Nursing (Vol. 18, Issue 3). https://doi.org/10.1136/eb-2015-102129
Hou, Z., & Aryadoust, V. (2021). A review of the methodological quality of quantitative mobile-assisted language learning research. System, 100. https://doi.org/10.1016/j.system.2021.102568
Leung, L. (2015). Validity, reliability, and generalizability in qualitative research. Journal of Family Medicine and Primary Care, 4(3). https://doi.org/10.4103/2249-4863.161306
Levitt, H. M., Motulsky, S. L., Wertz, F. J., Morrow, S. L., & Ponterotto, J. G. (2017). Recommendations for designing and reviewing qualitative research in psychology: Promoting methodological integrity. Qualitative Psychology, 4(1). https://doi.org/10.1037/qup0000082
Rose, J., & Johnson, C. W. (2020). Contextualizing reliability and validity in qualitative research: toward more rigorous and trustworthy qualitative social science in leisure research. Journal of Leisure Research, 51(4). https://doi.org/10.1080/00222216.2020.1722042
Singh, N., Benmamoun, M., Meyr, E., & Arikan, R. H. (2021). Verifying rigor: analyzing qualitative research in international marketing. International Marketing Review, 38(6). https://doi.org/10.1108/IMR-03-2020-0040