Los incentivos en la investigación académica están corrompiendo la ciencia
Incentives in Academic Research
Charlie Munger dijo: «Muéstrame el incentivo y te mostraré el resultado». En la investigación académica, los resultados se han alejado del objetivo original: avanzar en el conocimiento científico y formar a la próxima generación. El autor denuncia casos de resultados incorrectos, falta de honestidad y desinterés por corregir errores una vez obtenidos promociones y fama. Los incentivos están mal diseñados y los estudiantes de doctorado aprenden que la corrección y la precisión no importan.
Los incentivos están mal. En mi opinión, no se trata solo de los artículos, ni los míos ni los de otros. Se trata de integridad científica, de ser honestos entre nosotros, de preocuparnos por los resultados, de avanzar en nuestra comprensión científica común mediante la búsqueda de la verdad y la corrección.
- t0mpr1c3
Añadiría que el problema no es nuevo, y no se limita a los investigadores junior.
En mi primer puesto como profesor, hace unos 20 años, seguí una línea de investigación que un colega sénior (ganador de una beca MacArthur) había iniciado. Después de tres años y algunos resultados negativos, empecé a sospechar que varias publicaciones de alto perfil habían sido p-hackeadas y probablemente eran falsos positivos.
Fue extremadamente desmotivador, por decir lo menos. Me cambié a un campo diferente y poco después dejé la academia por completo.
Un científico muy sénior confirmó más tarde mis sospechas sobre su desprecio por la ética profesional.
- senshan
Mmm... El autor comienza con la cita de C. Munger “Muéstrame el incentivo y te mostraré el resultado”, y luego procede a expresar insatisfacción con el resultado actual de la investigación académica. Lamentablemente, el autor nunca vuelve con:
a) un análisis de los incentivos actuales; y
b) una propuesta para cambiarlos y obtener un mejor resultado;
- smath
Hay una gran entrada de blog [0] que sohl dickstein publicó hace un par de años, sobre lo que sucede cuando la métrica que se optimiza es solo un proxy de lo que quieres maximizar: lo que ocurre eventualmente es “sobreajuste”. La métrica original (que no podemos optimizar directamente) en realidad empieza a empeorar.
Creo que publicar artículos y las citas son esas métricas proxy.
[0] https://sohl-dickstein.github.io/2022/11/06/strong-Goodhart....
- SubiculumCode
El autor no proporciona evidencia empírica que respalde sus afirmaciones, solo ofrece evidencia anecdótica. Su afirmación podría ser cierta, podría ser más cierta en algunos lugares/departamentos/países que en otros, pero yo de hecho estoy de acuerdo con el autor... o me preocupa el problema.
También anecdóticamente, como revisor de pares, con demasiada frecuencia me encuentro con artículos de mala calidad, descuidados o incluso probablemente fraudulentos, y me frustra porque la revisión por pares no es gratuita: los autores están pidiendo a los científicos que gasten su valioso tiempo para entender el trabajo del autor, y eso solo funciona bajo un contrato social... que los autores solo envían manuscritos para revisión por pares después de haber intentado hacer su mejor ciencia.
Odio decirlo, porque sé que China tiene grandes científicos, pero la mayoría de los manuscritos que recibo y rechazo por trabajo descuidado, o negligencia intencional al citar lo más directamente relevante para su manuscrito (a menudo porque esa literatura hizo exactamente lo que intentan hacer pasar como nuevo), o directamente inventar mierda, han sido manuscritos de universidades chinas. Sí, también ocurre con autores occidentales, pero lo que estoy nombrando es real, y es cada vez más una carga importante para la revisión por pares como institución científica. Tanto es así que muchos me han confiado que se negarán a servir como revisores de un manuscrito de China a menos que provenga de un laboratorio conocido de cierto prestigio. En la ciencia, debe haber una cultura motivada no por el número de artículos publicados o subvenciones financiadas, sino [...]
- bonoboTP
Creo que todos los que entran en la academia pasan por esta fase de desilusión. Esto que tanto reverenciabas como este templo del conocimiento resulta involucrar el mismo tipo de negocio humano que ves en cualquier otro lugar, con peleas mezquinas, pequeños grupos que se oponen entre sí, rencores, favores mutuos, quid pro quo, etc., etc.
Creo que una vez que llegas a un acuerdo con esto, sales al otro lado dándote cuenta de que esto no es nada nuevo. La versión idealizada nunca existió. Lo nuevo es la escala y todas las métricas cuantitativas en torno a la publicación.
> La investigación académica debía tratarse de abrir nuevos caminos, mantener la honestidad y una buena conducta científica, ser claro y franco sobre las incertidumbres, errores y equivocaciones, y mejorar nuestra comprensión común de la ciencia, todo ello mientras se forma a la nueva generación para seguir estos objetivos y principios.
Esto es un idealismo ingenuo. La investigación requiere esfuerzo y alguien tiene que pagar. A veces ese alguien puede profesar creencias de que solo quiere patrocinar una indagación objetiva sin restricciones, pero todos tienen sesgos y, en un juego iterado, las preferencias blandas también se explotarán. En otras palabras, siempre hay un efecto de "quien paga manda".
El que paga quiere resultados. Quiere prestigio a través del proyecto patrocinado. No quiere que el investigador simplemente se siente en una habitación y no genere resultados durante años. Quiere que el investigador tenga resultados innovadores. Lo que sean importa menos que sean impresionantes y mejoren p [...]