Research‎ > ‎

Conferencias versus? Journals

Es ampliamente conocida la práctica de hacer uso de eventos científicos, tales como Congresos, Conferencias, Simposios y Workshops en Ciencias de Computación, no sólo como ámbitos para discutir ideas y socializar, como sucede en otras disciplinas, sino también como forma de publicación de resultados científicos.

Esto ha ocasionado controversias a la hora de evaluar investigadores, ya que gran parte del sistema científico se basa en la idea de que los medios de publicación por excelencia son las revistas (en algunos casos, tal como CONICET, indexadas en el Science Citation Index de Thomson), mientras que las conferencias son eventos para discutir ideas y conocer gente. Esto ha generado intentos para que se evalúe diferente la producción científica en Ciencias de Computación, por ejemplo considerando como equivalentes las publicaciones en revistas y en eventos científicos.

Para analizar la viabilidad de lograr esto, veamos las cosas que estamos comparando:
  • Un típico paper de conferencia tiene 6 a 12 páginas.
  • Un típico paper de revista de 15 a 40.
Simplista sería decir que un paper de revista es más que uno de conferencia por el volumen. Entonces veamos los papers, ¿qué tienen adentro? En el primer caso rara vez existe validación, y si existe es preliminar e irreproducible. En el segundo caso tiene que estar la demostración o experimento, los detalles técnicos que acercan a la reproducibilidad, y cuando no se zarpan los revisores y piden el "caso industrial". En resumen, en los papers de revistas promedio hay "más ciencia" respecto de los de conferencias.

Sí considero que existen unos muy pocos eventos TOP, a lo sumo unas muy pocas decenas en todo Computación, que tienen calidad de evaluación, visibilidad y reputación comparable al de revistas indexadas promedio. Ni se acercan a las revistas superiores de la media por lo del párrafo previo, simplemente les falta ciencia. Ponernos a calificar conferencias con letritas, numeritos o estrellitas acá en el país me parece un esfuerzo muy poco serio que siempre va a ser cuestionable y tendencioso.

No coincido con que se consideren como equivalentes ni siquiera a revistas de bajo IF, las publicaciones en eventos donde casi todo papercito de 6 a 12 páginas es aceptado, con comités de programa de 20 amigotes, necesidad de aceptar los 20 a 50 papers para poder cobrar las inscripciones y hacer el evento, en definitiva... círculos de "auto aplauso". Los pro-eventos nos dicen "bueno, lo que pasa es que es una comunidad chica que discute seriamente cuestiones muy específicas" o "los 20 miembros del comité de programa son los TOP del tema que obvio tienen que ser aceptados", y argumentos similares. Me refiero a eventos chicos y workshops.

Como en principio acepto esos argumentos, cuando me toca evaluar investigadores leo los papers. Qué descubro siempre? Que esos papers publicados por ejemplo en el workshop de la pata delantera izquierda de las hormigas rojas chiquitas del sudeste del rio XXXYYYZZZ (para ejemplificar que me refiero a lo no TOP) son trabajos de investigación prometedores, a los que les falta la validación. "Claro" me dicen, es "obvio", "cómo voy a meter experimentos en las 6 a 12 páginas que permiten?". Mi respuesta es "para eso están las revistas donde no hay esas limitaciones de espacio".

Acá es donde se complica el modelo de publicación en eventos científicos no top, pues a los papers simplemente les falta ciencia. En consecuencia se terminan aceptando por otros motivos, sea el hype/coolness del tema, el prestigio de los autores (cómo le vas a rechazar a ElTipoFamosoEse, si seguro que lo que dice es verdad?!?!, "sólo" le falta probarlo...), o en eventos más chicos y especializados simplemente para poder llenar los proceedings.

Resumiendo, la solución al problema es trivial. Si a la mayoría de los papers de eventos científicos les falta probar si funcionan o no, entonces se extienden esos papers con lo que les falta y se envían a revista. Con eso la ciencia se mejora, participamos de nuestros queridos eventos y estamos alineados con lo que las disciplinas científicas maduras hicieron por años (y con lo que nos pide CONICET). Ni hablar de que la calidad de las evaluaciones en revistas promedio es muchísimo mejor que el de conferencias top.

Qué opinan otros sobre esto? Veamos algunas referencias. Este primer artículo es de Vardi, editor de la revista Communications of the ACM (CACM), que ejemplifica el problema de Conferencias vs. Revistas con un borracho que ve a todos los autos en contramano (las disciplinas que publican en revistas), mientras que el único que cree que va bien es el borracho de computación que publica en conferencias:

http://cacm.acm.org/magazines/2009/5/24632-conferences-vs-journals-in-computing-research/fulltext

Otro muy interesante titulado "Time for computer science to grow up", también aparecido en CACM, sugiere eliminar la publicación de las conferencias, dejando solamente lo social, cosa que comparto:

http://cacm.acm.org/magazines/2009/8/34492-viewpoint-time-for-computer-science-to-grow-up/fulltext

Y la primera gran movida hacia cambiar las cosas es la conferencia VLDB, donde hay que enviar papers que siguen un proceso de evaluación de revista y la conferencia se hace con los papers del año aparecidos en la revista:

http://www.vldb.org/pvldb/pvldb-faq.html

Otro más, que habla de la baja calidad de las evaluaciones de conferencias y propone como solución lo que hicieron la gente de VLDB:

http://www.sigmod.org/publications/sigmod-record/0809/p40.jagadish.pdf

Otro artículo reciente de Manuel Hermenegildo, reconocido investigador de programación lógica y lenguajes de programación, habla del nuevo modelo de la ICLP, donde básicamente se sigue un esquema similar a la conferencia VLDB:


Rescato una frase de ese artículo:

CS should switch as soon as possible to publishing in journals, but in combination with conferences

En 2012 hubo un workshop para discutir la problemática de conferencias vs? journals:


La tendencia de cambiar el modelo está pegando fuerte. Otro ejemplo es SIGGRAPH y la revista ACM Transactions of Graphics.

Hay otros artículos bastante más provocativos tales como uno que hace un estudio del Inbreeding en cierta conferencia de prestigio, pero para plantear el tema creo que no hace falta mucho más.

Creo que el problema no pasa por convencer a las otras disciplinas de que nosotros somos diferentes y publicamos en eventos científicos, pues el riesgo de eso es que nos traten como "light" o "de segunda". Además, no somos para tan diferentes, pues muchísimos publicamos en revistas sin problemas.

Está más que clara la importancia de los eventos científicos, pero también la de los medios tradicionales de publicación, es decir, las revistas. En definitiva, si mandamos papers a conferencias y luego los extendemos con más detalles técnicos/validaciones y los enviamos a revistas, desaparece el problema? Es tan difícil ir hacia eso? o vamos a seguir intentando convencer a todos para que nos digan "ok, aceptamos los eventos..." y después nos traten como los "pobres pibes de la compu" que publicamos sólo en eventos científicos?

Yo si puedo optar me quedo con las revistas + las conferencias. Es decir, el "versus" no existe, existe el "+".

Finalmente, ¿como publicamos en Argentina? Resulta que hay una tendencia muy marcada a publicar en revistas y además, el esfuerzo de escribir papers largos y publicarlos en revistas paga en más citas recibidas que los papers en conferencias. El estudio completo de nuestras prácticas de publicación está acá:
  1. Publication Practices in the Argentinian Computer Science Community: A Bibliometric Perspective. (D. Godoy, A. Zunino, C. Mateos). Scientometrics. ISSN 0138-9130. 102(2):1795-1814. 2015. (Indexed SCI, IF JCR 2013=2.274)

Esperemos que el tema se agote y finalmente el versus desaparezca.

Comments