Lunes en la Ciencia, 27 de marzo del 2000

Desmitificar la evaluación por pares

Mauricio Schoijet

La carrera académica tiene ventajas, tales como una considerable libertad para dedicarse a los temas que al investigador le interesan, la posibilidad de viajar y los beneficios materiales que, aunque estén por debajo de los de otras actividades, pueden ser sustanciales, sobre todo en un país en el que la mayoría de la población vive en la pobreza. Pero puede también ir acompañada de sinsabores y frustraciones. La evaluación por pares es un mecanismo que ha operado en ese sentido. Hasta ahora no cuestionado en México, y tampoco de manera sistemática en ninguna parte, es mucho menos objetivo que lo que generalmente se supone, y ha dado origen a considerables controversias.

El tema tiene particular importancia para el caso de México, porque a partir de la crisis económica desencadenada en 1982 y la consiguiente pérdida de poder adquisitivo de los salarios, se crearon mecanismos compensatorios como el SNI y las becas y estímulos dentro de las instituciones públicas de educación superior e investigación. Esos mecanismos en alguna medida operaron también como dispositivos para imponer un mayor control y la conformidad política, dentro de un régimen político cada vez más hundido en contradicciones seguramente insolubles, pero que se había caracterizado por cierta tolerancia en el campo intelectual.

Se dieron casos de represión en los que las evaluaciones secretas funcionaron como pantalla, como en la disolución del Centro de Ecodesarrollo y del Instituto Nacional de Investigaciones en Recursos Bióticos.

Si bien el SNI y las becas y estímulos resolvieron parcialmente el problema para una parte del personal académico, multiplicaron el número de evaluaciones y con ello las oportunidades para la corrupción, como en el caso denunciado por varios profesores de una evaluación fraudulenta por la Comisión Dictaminadora de Ciencias Biológicas de la UAM, en 1995. También funcionaron para discriminar a instituciones, secciones de instituciones o a grupos de investigación.

La movilización en torno a la propuesta de una comisión dictaminadora interdisciplinaria, que supervisaría a las comisiones dictaminadoras de área, hecha a fines de 1997 por el entonces rector general de la UAM, Julio Rubio Oca, muestra que es un tema que preocupa cada vez más a muchos profesores.

El problema de la evaluación del trabajo científico, y en particular la evaluación por pares, pertenece al ámbito de la sociología de la ciencia. Se da una situación paradójica en la que, si bien se ha dado un intenso debate sobre el tema, al parecer bastante reciente, ha sido muy poco estudiado, y ese debate casi no se ha reflejado en los libros publicados sobre sociología y política de la ciencia.

Por ejemplo, en la compilación de Ina Spiegel Rösing y Derek de Solla Price no hay una sola línea sobre el tema, aunque incluye un capítulo de M. J. Mulkay sobre mecanismos de reconocimiento y "control de calidad" de la investigación científica; en el Handbook of Science and Technology Studies se hace alguna mención muy sucinta acerca de que la evaluación por pares se implantó en la década de los 30 en el National Institute of Health de Estados Unidos, y a una investigación parlamentaria sobre el tema por el diputado John Dingell, que habría descubierto irregularidades, publicadas en un libro de Chubin.

Un libro de Bernard Barber, veterano en sociología de la ciencia, le dedica algunas páginas, referidas exclusivamente a la investigación biomédica y a la práctica implantada por el National Institute of Health de exigir ese tipo de evaluación para experimentos con seres humanos. Una obra de Kristin Shrader Frechette, sobre la ética de la investigación científica, le dedica dos páginas que prácticamente omiten el debate. Un artículo de revisión de Hebe Vessuri sobre sociología de la ciencia, en el que se citan 146 libros y artículos, sólo contiene dos referencias.

La sociología de la ciencia se conformó como disciplina a partir de la obra del sociólogo estadunidense Robert K. Merton, quien publicó su primer trabajo sobre esa problemática a fines de los 30, dentro de una orientación funcionalista inspirada por la sociología de Max Weber. Merton propuso que la ciencia era una institución regida por normas, y que los científicos actuarían a partir de normas implícitas que incluirían universalismo, neutralidad emocional, racionalidad, individualismo, comunalidad y desinterés.

El enfoque de Merton dominó el campo hasta la década de los 70, en la que surgieron "alternativas programáticas que proponían revertir lo que consideraban una disociación exagerada de los aspectos sociales de la actividad científica respecto de los cognitivos" (Vessuri). Esas alternativas están relacionadas con el surgimiento de campos como los estudios sociales sobre la ciencia y el estudio de la ciencia como cultura. Aunque se trata de una producción bastante heterogénea, en las que existe una fuerte corriente relativista que he criticado en otro texto, está claro que dentro de esos campos hay una visión crítica de la ciencia, contraria a la visión tradicional.

No conozco ninguna fundamentación teórica de la evaluación por pares. Pero, por el lado práctico, el problema ya no puede ser ignorado. Hay un gran descontento respecto a los mecanismos de evaluación. En Estados Unidos, la National Science Foundation efectuó varias encuestas entre investigadores, por primera vez en 1976 y repetidas diez años más tarde.

En el segundo caso, 40 por ciento de los encuestados manifestó posiciones críticas por diversos motivos, tales como el rechazo a la calidad de pares de los evaluadores, superficialidad de las evaluaciones, acusaciones de amiguismo, etcétera, y menos de 50 por ciento aprobó los mecanismos existentes (Science, "Technology and Human Values", invierno de 1990).

El debate sobre el tema sigue siendo intenso, como lo revela un examen superficial de la literatura. Aparentemente, los mayores conflictos se han dado en el área biomédica y en torno a la asignación de fondos.

[email protected]

Inicio