Lunes en la Ciencia, 27 de marzo del 2000
Evaluación del "impacto" científico
Gerardo Bocco
Los criterios e indicadores que se utilizan para evaluar la actividad de los investigadores (en la UNAM y el SNI, por citar dos ejemplos) se basan, en general, en la idea del impacto que esta actividad produce. Según el Diccionario de la Real Academia de la Lengua, impacto es la huella o señal que un proyectil deja en un blanco. En principio, parece razonable utilizar como balanza de nuestra actividad la huella o señal que ésta deje. Lo que puede estar sujeto a discrepancia es cuál debería ser el proyectil y cuál el blanco. O, propiamente, cuáles los proyectiles y cuáles los blancos.
Tal vez uno de los problemas es que para nuestros sistemas de evaluación del desempeño académico sólo existe un proyectil y un blanco: los artículos en revistas indexadas de circulación internacional (junto con sus citas en iguales revistas), y una etérea comunidad académica global, cuyas caras y nombres sólo son accesibles a los iniciados.
Sin embargo, la actividad del investigador desemboca en algo más que en la elaboración de dichos artículos. En ciencias, los libros y capítulos de libros, que suponen un cuidadoso trabajo de elaboración, no representan una práctica que se estimule. Por otro lado existe, en especial para ciertas disciplinas aplicadas, un conjunto de publicaciones internacionales y nacionales (ejemplo, las del padrón de revistas de excelencia del Conacyt), en las que se publican resultados de investigación previa revisión por árbitros altamente calificados. Asimismo, hay informes técnicos, también arbitrados, que suponen un alto profesionalismo. Finalmente están los artículos de divulgación arbitrados, que requieren el dominio de la disciplina y la capacidad de comunicación de la actividad científica y tecnológica.
Lamentablemente, salvo el proyectil de la primera frase, los otros pesan de manera circunstancial o definitivamente no cuentan, pese a que en los reglamentos aparezcan como rubros a ser evaluados. Incluso el concepto de profesionalismo y su evaluación es algo que se ha erradicado como calificación de nuestra práctica. Ha sido remplazado de manera excluyente por el de excelencia, y éste a su vez resulta sinónimo exclusivo del dueto publicación-cita.
El otro componente de la ecuación impacto son los blancos. Como se mencionó, el único blanco aceptable por nuestro sistema pareciera ser la comunidad científica que lee y se nutre para su actividad académica de las revistas indexadas de circulación internacional. A pesar de los avances recientes en la disponibilidad de revistas de relativamente fácil o libre acceso en Internet, es poco el número de lectores de artículos en esas publicaciones, particularmente en países en vías de desarrollo, y México no es una excepción.
El denominado índice de impacto de las revistas indexadas ha sido severamente cuestionado incluso por miembros conspicuos del establishment científico internacional. El punto de vista que me interesa subrayar aquí va más allá de la eficiencia o no de ese tipo de índice. Lo central es que en México, el impacto (huella, señal) al publicar en esas revistas es prácticamente nulo, fuera de un sector de miles de individuos (digamos, aun a riesgo de ser excluyentes, los miembros del SNI y sus alumnos de posgrado). Pocos profesionistas reciben o leen revistas indexadas. Eso puede corroborarse al cuantificar el número de suscripciones locales e incluso el número de consultas a las mismas.
Sin duda, el incremento de la participación de científicos mexicanos en publicaciones en revistas indexadas ha sido un logro muy importante de la última década. Perder esa presencia a nivel internacional sería suicida. Pero eso no excluye la necesidad de preguntarnos acerca de a qué blanco le tiramos cuando hacemos ciencia, y con qué proyectiles. De aquí la necesidad de pensar en múltiples proyectiles para varios blancos y de encontrar criterios e indicadores objetivos que nos permitan evaluar su huella.
La actividad científica y tecnológica, ligada a la solución de problemas concretos de nuestra realidad (y a veces la dirección de tesis o la contribución a la formación de personal mediante cursos y asesorías), sólo se evalúa en tanto se transforme en un artículo en revista indexada de circulación internacional. No existen otros mecanismos que nos permitan evaluar la eficiencia en esas actividades. Esto es serio, porque sin duda se trata de una labor de mayor impacto potencial. Una vez más, cualquier trabajo científico no es evaluado en términos del profesionalismo con el que fue realizado (o incluso con el que se obtuvieron los recursos para desarrollar la tarea); sólo es meritorio si se transforma en un artículo en revista indexada.
Eso es positivo, en la medida en que se estimula la realización de productos de alto nivel. Sin embargo, no es cierto que sólo lo bueno se publica, y lo que no se publica es deficiente. Cualquier persona involucrada en la actividad científica sabe perfectamente que el éxito en las publicaciones (y en muchos casos en las citas), se debe en buena parte a la pertenencia a grupos y no sólo a la calidad intrínseca del producto.
Ciertas problemáticas altamente relevantes en nuestro medio no son publicables, ya que no concitan el interés de las agendas de investigación globales. Las modas, guste o no, también juegan un papel en la definición de qué se publica y cita. De esa manera, la estabilidad y el éxito de los académicos está en manos de grupos que en muchos casos no tienen una idea siquiera aproximada de los problemas de nuestra realidad. Ello es preocupante, porque el grueso del financiamiento de nuestra actividad académica proviene de los recursos generados por la sociedad.
Con un criterio muy sencillo, habría que reconocer que el que financia debería recibir los beneficios de la investigación. Los que pagan, los contribuyentes, también deberían ser un verdadero blanco, y reconocidos como destinatarios del trabajo científico. Tal vez ese criterio necesite ser incorporado a nuestro sistema de evaluación, mediante la selección de indicadores apropiados.