Lunes en la Ciencia, 4 de septiembre del 2000
La broma de Sokal y otras experiencias
La evaluación por pares: los experimentos
Mauricio Schoijet
Han habido varios intentos de examinar en forma empírica el sistema de evaluación, dos en el campo de la psicología y uno en el del trabajo social. Se hicieron sin el consentimiento de los evaluadores, por lo cual algunos de ellos acusaron a los experimentadores de falta de ética. Estos casos son muy poco conocidos, lo que contrasta con la amplia difusión que tuvo la llamada "broma de Sokal", que también puede considerarse como un experimento de este tipo.
La evaluación inicial se efectuó en el primer campo y la realizaron Peters y Ceci, en 1982. Cambiaron el nombre del autor de 12 artículos ya publicados y volvieron a someterlos para su publicación en las mismas revistas en que habían aparecido. Sólo tres se percataron del engaño, y de los otros nueve sólo una revista aceptó el artículo. Parece claro que sus resultados indican una falta de coherencia en las evaluaciones.
En el caso de la otra investigación sobre el mismo campo, llevada cabo por Michael J.Mahoney, algunos de los afectados reaccionaron en forma violenta, llegando a pedir que fuera cesado de su empleo (Mahoney, Science, Technology and Human Values 15, 1, invierno de 1990, p. 50-55). El pedido de represalias es sumamente revelador, porque si la comunidad científica tuviera alguna relación con el modelo mertoniano, es decir si se guiara por la objetividad y el desinterés, comenzaría por discutir la validez de los resultados y pondría por lo menos en segundo lugar la cuestión de los procedimientos utilizados.
El caso de las revistas de trabajo social es
probablemente el intento más serio hasta ahora. William
M. Epstein elaboró un artículo ficticio con autores
ficticios, basado en otro publicado dieciocho años atrás
y considerablemente citado, más de cincuenta veces. Para
entender el problema conviene mencionar que la mayor parte de los
artículos publicados nunca son citados, y que solamente unos
pocos en cada campo lo son centenares de veces y, menos aún lo
son miles.
El artículo ficticio
Epstein envió el artículo ficticio a unas ciento cincuenta revistas con arbitraje. Solamente respondieron 75 por ciento. Cuarenta lo rechazaron sin más trámite, sin tomarse el trabajo de enviarlo a sus árbitros. En los casos en que fue sometido a arbitraje, varios lo rechazaron por "irrelevante", o sin dar ninguna razón, y solamente en una pequeña proporción fue rechazado por razones sustantivas.
Según Epstein sólo seis árbitros demostraron tener un conocimiento real del tema, citando la literatura pertinente. Sólo 12 lo aceptaron, y sólo dos percibieron que se trataba de un engaño (Epstein, "Confirmational Response Bias Among Social Work Journals" en Science, Technology and Human Values 15, 1, p. 9-38, invierno de 1990). La conclusión de Epstein es que la mayoría de los árbitros son ignorantes o incompetentes. Se podría ir aún más allá, acusándolos de arbitrarios, en cuanto a rechazar artículos sin someterlos a arbitraje, o hacer una parodia del arbitraje, desestimando un artículo por "irrelevante".
Algunos de los directores afectados reaccionaron en la misma forma violenta en que otros lo habían hecho anteriormente contra el mencionado Mahoney, pidiendo que la asociación profesional de trabajadores del servicio social sancionara a Epstein por conducta poco ética.
En el caso de Sokal, hubo comentarios ampliamente difundidos, que llegaron a México y aparecieron en La Jornada. Se trata más de una burla bien hecha que de una investigación en un sentido real, pero el episodio es revelador. Alan Sokal, físico de New York University, publicó en la revista Social Text un artículo lleno, adrede, de despropósitos relativistas, tales como que la investigación debe subordinarse a la estrategia política y que la teoría cuántica de la gravedad tiene profundas implicaciones políticas, lo cual por supuesto no se demuestra. Social Text es una revista especializada en estudios culturales, y seguramente el artículo no sólo fue publicado porque encajaba dentro de la visión de sus editores, sino porque provenía de un investigador de las ciencias duras, lo cual le confería respetabilidad.
La recepción que se dio al experimento de Epstein fue bastante diferente a la que recibió el de Sokal. Está claro que Epstein se tomó un trabajo considerable para diseñar un experimento medianamente bien hecho, y que sus resultados son significativos, por tratarse de una muestra grande. Sin embargo, la discusión sobre el trabajo de Epstein, aun en los medios de difusión, como el New York Times y el Washington Post, se centró en la supuesta falta de ética del investigador, y en sugerencias de que por lo menos tenía que pedir disculpas, y no en sus hallazgos. Incluso la directora de Science, Technology and Human Values, que publicó el artículo de Epstein sobre su experimento, se curó en salud, ya que lo hizo acompañado de varios comentarios en que se discutía la ética de una investigación hecha sin el consentimiento de los investigados. Aparentemente a nadie se le ocurrió darle crédito por la importancia de sus hallazgos, mucho menos nadie dio la menor señal de autocrítica. En contraste Sokal recibió mucha más atención, tanto en los medios de difusión como en los académicos, y fue elogiado por comentaristas conservadores, como George Will, quienes tomaron su broma, que con mucha generosidad podría calificarse como un trabajo de investigación mal hecho o hecho en forma chapucera, como evidencia de la bancarrota o falta de seriedad de campos de investigación como el de estudios culturales y sociales de la ciencia, sin molestarse en demostrar si en efecto Social Text era una revista líder o representativa en estos campos. El experimento de Sokal no sólo fue comentado por algunos de los más importantes periódicos estadunidenses y por una revista cultural tan importante como New York Review of Books, lo fue en programas de radio y se hicieron simposios sobre el evento en varias universidades. En Europa fue comentado en publicaciones líderes francesas y alemanas como Le Monde, Nouvel Observateur y Die Zeit.
La reputación de los editores
Por supuesto que Sokal actuó en forma no menos solapada que Epstein, y contribuyó a embarrar la reputación de los editores de Social Text no menos que Epstein las de los editores de las revistas en el campo del trabajo social, pero lo que en un caso se vio como una práctica inmoral, en otro se vio como digno de ser festejado. La pretensión de conocimiento derivada del experimento de Epstein fue ignorada, la de Sokal tomada en serio (Stephen Hilgartner "The Sokal Affair in Context", en Science, Technology and Human Values 22, 4, otoño de 1997, p. 506-522). Probablemente por razones políticas, porque Epstein estaba atacando a grupos académicos estrechamente conectados con el aparato del Estado, mientras que Sokal lo hacía contra quienes supuestamente tomaban una posición crítica. Con toda razón el mencionado Hilgartner afirma que el contraste entre la recepción de la pretensión de conocimiento en ambos casos provee un caso fascinante acerca de la construcción de credibilidad por los medios, que la pretensión de Sokal no se puede tomar en serio, y que si recibió un tratamiento tan favorable ello se debió seguramente, entre otras cosas, al prestigio de las ciencias duras, que como ya lo dijimos explica asimismo por qué Social Text lo publicó. O sea que el prestigio de las ciencias duras determina que cuando un científico de estas propone algún disparate en un campo de investigación en el que no hay motivos para suponerlo competente, recibe instantáneamente una respetuosa atención.
El autor es profesor en la Universidad Autónoma Metropolitana-Unidad Xochimilco