|
Artículo |
||
|
Sistemas de evaluación de trabajos
Eduardo Pablo Giordanino Profesor Adjunto
ResumenEl sistema de referato es el proceso por el cual se evalúan los trabajos enviados a una publicación científica. También se lo conoce con el nombre de "arbitraje" o "juicio de los pares", ya que en el proceso intervienen, en la mayoría de los casos, dos especialistas que son designados árbitros (referees) o revisores. La revisión de trabajos por expertos fue adquiriendo importancia hasta convertirse en una herramienta clave del progreso de la ciencia, reconocida por los propios profesionales como un buen método para imponer un estándar científico uniforme, y garantizar la calidad de las investigaciones publicadas.
El sistema de evaluación El sistema de referato (del inglés peer review) es el proceso por el cual se evalúan los trabajos enviados a una publicación científica. También se lo conoce con el nombre de "arbitraje" o "juicio de los pares", ya que en el proceso intervienen, en la mayoría de los casos, dos especialistas que son designados árbitros (referees) o revisores, de allí la denominación española "referato"; otros nombres para el proceso son "sistema de evaluación" o "revisión de pares".
Orígenes y evolución Los orígenes de los comités de referato se remontan a las primeras revistas científicas, aparecidas en el siglo XVII. Aunque también hay "evaluación" en otros ámbitos, como en la industria del libro, el sistema de referato está intrínsecamente relacionado con las revistas, desde que éstas se consolidan como vehículo principal de difusión del conocimiento científico. En el escenario de la comunicación científica, hay cuatro grandes actores: los autores de los trabajos, los editores de las revistas, los evaluadores que revisan los trabajos y los lectores de los trabajos publicados.
Objetivo del referato o arbitraje El objetivo principal del referato es evaluar la calidad de los trabajos previamente a la publicación. El editor de una revista recibe los trabajos o manuscritos, y luego los remite a los miembros del comité de referato. Dichos evaluadores o referees pueden pertener al comité de la publicación o ser árbitros externos. Por medio del comité de referato se busca evitar la publicación de trabajos de mala calidad científica, aquellos que no son originales o que no contengan información relevante para los lectores de la revista.
Metodología del sistema de evaluación de trabajos La función de los árbitros consiste en evaluar el trabajo presentado y dictaminar una de cuatro opciones: 1) aceptarlo; 2) aceptarlo con cambios menores; 3) devolverlo para su revisión y corrección; 4) rechazarlo. Los manuscritos (o "compuscritos") son recibidos por el editor/director de la revista y luego suelen enviarse a los árbitros sin el nombre del autor y su filiación, para evitar distorsiones en la evaluación. Los editores reciben el informe de los árbitros y cuando informan al autor el dictamen, no detallan el nombre de los árbitros (proceso denominado blind review, o revisión "ciega"). Cuando el director compara, coteja y reenvía a los evaluadores todos los informes sin detallar los nombres de los evaluadores, el proceso es denominado "doble ciego": i.e., tanto los autores como los evaluadores "ignoran" o "desconocen" a los demás participantes de la evaluación. De todos modos, los lectores/autores pueden hacer hipotésis sobre la identidad de los árbitros basándose en la lista de los miembros del comité editorial de la publicación. En algunos casos el referato es abierto, es decir, autores y evaluadores conocen su identidad. El sistema se ha aplicado a revistas en papel y electrónicas. En aquellos casos en que surja una gran divergencia en los informes de los evaluadores, el director puede recurrir a la opinión de un árbitro externo. Si bien los evaluadores dictaminan sobre los trabajos de sus pares, la decisión final queda en mano del director o de los editores de la publicación. La mayoría de las revistas científicas suelen incluir, además de "instrucciones a los autores", "instrucciones para los árbitros evaluadores".
Requisitos de los evaluadores Se recomienda que los evaluadores, revisores o árbitros sean imparciales y eviten aprovecharse de los conocimientos inéditos, así como mantener la confidencialidad de estos datos, sin hacer circular los manuscritos inéditos. Los evaluadores deben ser imparciales al evaluar el contenido del trabajo. Al elaborar su informe deben manifestarse sobre los méritos y defectos del trabajo, la forma de mejorarlo, manejando los comentarios de modo que no resulten ofensivos para los autores. Los evaluadores colaboran tanto con el director como con los autores. Si un árbitro no se considera competente para evaluar un trabajo, debe comunicarlo al director de la publicación lo antes posible.
Estilos de referato o arbitraje Las revistas científicas mantienen una estructura clásica de acuerdo a la tipología de los trabajos incluídos: editorial, cartas al director, artículos, investigaciones, informes de avance o notas, noticias sobre eventos de interés, reseñas bibliográficas, listas de obras recibidas. Cada sección tiene estilos y objetivos propios. Hay requisitos generales, propios de cada disciplina, que cubren las distintas publicaciones; también hay requisitos específicos para trabajos que cubran un área específica de la revista: el estilo variará si se trata de una reseña, una nota o un breve informe. Periódicamente, una vez al año o en todas las entregas, las revistas suelen incluir normas para el envío de trabajos, y también las normas y procedimientos de los comités de evaluación de trabajos. Dicha difusión de las normas ayuda a que los autores publiquen trabajos con estilo y contenido acordes a los sugeridos por la revista. El comité de referato (peer review) es fundamental para garantizar la calidad académica de los trabajos publicados (Leslie, 1990), sin embargo existe una gran cantidad de revistas (en papel o electrónicas) sin mención de comité de referato o sistema de control de calidad de los trabajos presentados para la publicación. Aquellas publicaciones que poseen comité evaluador se manejan con dos modalidades básicas:
Los usos y costumbres juegan un papel fundamental en esta área. A veces las normas ni están claras ni son públicas, por el contrario, suelen (a)parecer muy tácitas. Las normas son internas a los organismos encargados de la publicación de la revista. Nada menos que un miembro de la Royal Society, creadora de las Philosophical Transactions comentó que “nada en los estatutos aclara si [el referato] es o no es confidencial” (Madden, 2000). Para algunos especialistas, la revisión entre pares trata no del sistema de arbitraje sino de lo arbitrario del sistema (Peña, 1998). El “referato” es nombrado con distintas palabras en el ámbito científico, pero restringiéndonos exclusivamente al español, los más certeros son los españoles, que denominan a los miembros del comité de referato como “censores”. El funcionamiento del sistema de referato ha sido puesto en tela de juicio por Alain Sokal y su famoso affaire, cuyo veredicto fue: “culpable” (Sokal, 1996).
Situación actual En algunas disciplinas los trabajos recibidos son sometidos a un proceso de evaluación por árbitros que no forman parte del consejo editorial. Por ejemplo, en las revistas biomédicas los directores deben publicar los errores de trabajos anteriores, y también cartas de lectores que hacen observaciones sobre contenidos erróneos o discutibles de las investigaciones publicadas. También se publican "retracciones" sobre artículos falsificados, fraudulentos, plagiados o investigaciones sobre medicamentos o tratamientos nocivos. La calidad científica es un evento de retroalimentación, donde los lectores deben considerar que no todos los trabajos son válidos, ni todas las conclusiones son relevantes; también que no todos los trabajos y conclusiones relevantes son aplicables a su práctica clínica. Los lectores pueden manifestar su opinión por medio de las cartas de lectores o en nuevos trabajos que analizen trabajos anteriores. La revisión de trabajos por expertos fue adquiriendo importancia hasta convertirse en una herramienta clave del progreso de la ciencia, reconocida por los propios profesionales como un buen método para imponer un estándar científico uniforme, y garantizar la calidad de las investigaciones publicadas.
Referencias bibliográficas Giordanino, Eduardo. "Revistas electrónicas: vino nuevo en odres nuevos". Simposio electrónico Las revistas electrónicas: del papel al espacio, Buenos Aires, sep.-oct. 2000, Sociedad Argentina de Información (http://www.sai.com.ar). Peña, Cristina de la. “Revistas electrónicas, entre la realidad y el deseo”. CLIP: boletín de la SEDIC, n. 28, invierno 1998, p. 1-2 Leslie, L. “Peer review practices of mass communication scholarly journals.” Evaluation Review, vol. 14, n. 2, april 1990, p.151-165 Madden, Andrew. “Anonymous Peer Review.” Information Management, vol. 7, n. 5, june 2000, p. 75 Sokal, Alan. "A Physicist Experiments with Cultural Studies." Lingua Franca, May/June 1996, p. 62-64 Tuckett, David. "Evaluating psychoanalytic papers: Towards the development of common editorial standards." International Journal of Psychoanalysis, 1998, v. 79, p. 431-448
|
||
|
Técnica Administrativa ISSN 1666-1680 |
Volumen:04 |
|
|
Fecha de recepción: 01/11/2004 ; Fecha de publicación: 15/01/2005 |
||