Saludos a todos, ya de vuelta de Montevideo. He disfrutado mucho impartiendo el curso sobre la Teoría de la Revolución Reproductiva (que me ha permitido ordenar y repensar mucho del material y las ideas acumuladas hasta ahora), y también con la compañía de la gente del Programa de Población, un grupo que con su entusiasmo está impulsando realmente la demografía en su país, a la que se puede augurar un gran futuro (¿serán los efectos del mate?). El texto que ahora presento es de Ignacio Pardo, miembro de ese grupo, además de periodista y músico de candombe retirado. Nacho, que ya colaboró anteriormente aquí con una revisión del libro Fatal Misconception. The Struggle to Control World Population, escribe regularmente en el diario Brecha Online de Montevideo, donde publicó recientemente este  artículo, que me parece de relevancia también para los investigadores españoles y me permito reproducir a continuación:

Las revistas académicas y la evaluación del trabajo de los universitarios

Ignacio Pardo  ¿A quién le dijiste prostituta intelectual?, en Brecha Digital (14/11/2013)

Cruzarse con artículos llamados “La prostitución intelectual que impone el sistema de revisión por pares”, “Publicar como prostitución: elegir entre las ideas propias y el éxito académico” o “¿La revisión por pares está forzando a los académicos a comportarse como prostitutas?”1 hace saltar a la luz dos cosas: hay gente que tiende a titular de forma similar, y existe una inquietud persistente en torno a un tema. En este caso, es el de los efectos del sistema que evalúa el trabajo académico a partir de publicaciones en revistas arbitradas según el criterio de peer review; en castellano, “revisión por pares”.

UNO. ¿Qué es eso de decirles prostitutas a los académicos? Y antes, ¿qué es la revisión por pares? La segunda pregunta es más rápida de responder. Se trata del criterio por el cual se decide si los originales enviados a revistas académicas (la mayoría científicas, aunque también las hay de disciplinas no científicas, como la filosofía, por ejemplo) se publicarán o no. Estos pares no son otros que los académicos destacados en el área de conocimiento en cuestión, que se convierten en árbitros del texto candidato a aparecer en la revista y evalúan si debe a) publicarse, b) rechazarse o c) publicarse a condición de que el autor acepte una serie de correcciones y sugerencias. Esta revisión suele incluir el criterio de “doble ciego”: quien envía el artículo no sabe quiénes son los árbitros de su trabajo y los árbitros que lo evalúan no saben quién es el autor. Aunque en comunidades científicas chicas puede jugarse a las adivinanzas con éxito, el “doble ciego” suele funcionar como mecanismo para garantizar el anonimato y preservar así la ecuanimidad, que a eso apunta el ethos científico. Un trabajo de física teórica enviado por Stephen Hawkings no debiera correr con ventajas a priori frente a uno enviado por Jorge “Tito” Gonçalves, sino evaluarse por sus méritos intrínsecos. 
Hasta ahí, todo razonable. Pasemos a la otra pregunta: ¿dónde están las prostitutas? Sucede que la publicación de artículos en revistas arbitradas no es una cuestión de elección sino de supervivencia dentro de la vida académica, como lo atestigua la expresión “publish or perish” (“publicar o perecer”), que data de la década del 30 y tiene vigencia máxima en la actualidad, cuando el aumento exponencial del conocimiento científico hace más necesario que nunca discriminar entre los aportes valiosos y el resto. Y aunque pocos académicos estarán felices con la referencia al meretricio, exageradamente dura, bastantes aceptarán que la presión por ver su trabajo publicado en revistas arbitradas estimula la incorporación de las correcciones sugeridas por los “pares”, aun a costa de renunciar a partes de la producción propia que hubieran preferido mantener. Como resultado, el equilibrio entre rigor e innovación puede perjudicar a esta última.
Pero el mundo de la prostitución tiene muchas variantes. Y la renuncia a mantener los aspectos más novedosos de nuestro trabajo es sólo una de ellas. Otra, más frecuente, es publicar más de lo que estaría justificado por los resultados obtenidos. Por ejemplo refritando antiguos trabajos o multiplicando un mismo resultado en varias revistas, modificando solamente aspectos subsidiarios. De esta modalidad se salvan pocos académicos: hay más artículos en revistas arbitradas que resultados de investigación dignos de difundirse. En cierta medida el sistema funciona como tantos otros: tendiendo a su propia reproducción. ¿Qué revista diría: “Este número no saldrá a la luz por falta de colaboraciones sustantivas”?

DOS. A propósito de todo esto, un blog propone un experimento revelador: imaginar las cartas de rechazo que hubieran recibido grandes filósofos si hubiesen sometido su trabajo a los estándares académicos de las revistas arbitradas de hoy.2 Así, el Tratado sobre la naturaleza humana, de David Hume, sería rechazado porque “promete mucho y logra poco”; La ética a Nicómaco, de Aristóteles, porque dedica “un espacio desproporcionado a hablar de la amistad”; los Discursos sobre la primera década de Tito Livio, de Maquiavelo, porque su autor es “impreciso y descuidado en la definición de términos clave”, y la Teoría de la justicia, de John Rawls, por “la escasa conexión con la acumulación científica producida”. 
La gracia del experimento bloguero reside en contrastar los distintos estilos de producción académica de cada época (hoy mismo hay diferencias: existe un espacio para los libros en los que se despliega una teoría, y otro para los artículos científicos, donde se suelen exigir resultados de investigación), pero los autores del blog quieren decir algo más. Por definición, las ideas que rompen con la acumulación originada en cierto paradigma no cumplirán con las reglas según las cuales evalúan su trabajo los referentes del paradigma en vigencia; no estarán del todo respaldadas por la evidencia acumulada. ¿Nos estaremos perdiendo al futuro David Hume por apegarnos a estándares de evaluación poco flexibles?

TRES. Se escucha el galopar de la conclusión apresurada: “si todo esto es así, el sistema de revistas arbitradas y revisión de pares no aporta a la ciencia y habría que suspenderlo”. Como decía Siniestro Total, ante todo mucha calma. Si bien esta es una posición que puede sostenerse, no tiene demasiado asidero. 
A pesar de todo lo dicho, la revisión por pares y el doble ciego es probablemente lo mejor que hemos inventado hasta la fecha, al menos desde la perspectiva más aceptada: la que asume que las ideas válidas en cada disciplina son las que pasan la prueba del acuerdo intersubjetivo entre la comunidad científica. Así las cosas, más allá de ciertas reglas casi universales, serán los académicos más destacados en cada disciplina quienes decidan si tal prueba ha sido superada. Y habrá que convivir con la idea de que hay un margen de interpretación cuando evalúan si un aporte considera o no el estado del arte de la disciplina, si viola o no la coherencia interna de sus procedimientos o en qué medida el registro de una observación o experimento puede constituirse válidamente como evidencia a favor o en contra de cierta hipótesis. 
En todo caso, mantener este sistema es asumir la esperanza de que, aunque alguna quede por el camino, las ideas válidas serán reconocidas tarde o temprano; mientras tanto, las innovaciones, como afirmaciones extraordinarias, deben respaldarse en evidencia extraordinaria.

CUATRO. La evaluación por resultados de los docentes de la Universidad de la República, por ejemplo, se mete de cabeza en esta discusión. No puede dudarse de que la actividad de los académicos debe evaluarse en relación con su eficiencia a la hora de producir aquello que producen: además de enseñanza y extensión, resultados de investigación. Y sí, en gran medida, evaluar la investigación científica implicará contar cuántos artículos publicaron nuestros académicos en uno, dos o cinco años.3 Sin embargo, la actividad científica consiste a menudo en el recorrido de caminos muertos, la persecución de hipótesis que llevan a callejones sin salida y el merodeo de ideas cuya efectividad no está aún comprobada. Entonces mucha investigación, sobre todo básica, podría necesitar largos períodos sin publicaciones relevantes en revistas arbitradas, pues aún no hay resultados firmes que mostrar. 
Se trata de que los académicos rindan cuentas de su labor en investigación, financiada por toda la sociedad en el caso de nuestra Universidad de la República, pero también de considerar a aquellos buenos científicos y académicos que no han publicado pero mantienen niveles aceptables de productividad, entendida dentro de los parámetros específicos de su actividad de referencia. Así, la prostitución podrá mantenerse bajo ciertos límites, lo que depende, como tantas veces, de la capacidad personal de lidiar con las presiones y la capacidad colectiva de modificar los acuerdos institucionales que evalúan cómo hacemos nuestro trabajo. 

1. En la revista Public Choice y en los blogs Fixing the Economists y Francis (th)E mule Science’s News
2. http://philosophersrejected.wordpress.com/
3. También cuántas citas recogieron estos trabajos y qué jerarquía tienen las revistas en donde se publicaron. (Si existen “chistes científicos”, este es uno, respecto de quienes basan su carrera en un número indiscriminado de publicaciones sin más consideraciones: “Felicidades profesor, sus mil quinientas publicaciones le han hecho por fin acreedor al premio Nobel!”. “¿El de química o el de medicina?” “No, ¡el de literatura!”)