AI가 쓴 심사 보고서, 이대로 두면 동료 심사는 붕괴한다

Can Peer Review Survive AI-Generated Text? [pdf]

경제학계에서 LLM이 논문과 심사 보고서를 대신 쓰는 일이 급증하면서 동료 심사 제도가 위기에 처했다. 저자들은 Nature Communications의 실제 심사 보고서 25편으로 실험을 진행해, AI가 교정·편집만 한 보고서는 거의 인간으로 분류되지만 논문만 보고 새로 쓴 보고서는 거의 전부 AI로 판별된다는 사실을 확인했다. 이들은 AI 탐지기를 업계 표준 도구로 삼고, AI 생성 판정을 받은 논문은 더 꼼꼼히 읽되 첫 오류에서 거절할 수 있으며, AI가 쓴 심사 보고서는 표절처럼 취급해야 한다고 주장한다.

우리가 아무리 강조해도 부족한 점은, 진짜 문제가 논문과 보고서가 AI로 생성되었다는 사실이 아니라 그 이면에 아무도 사고를 하지 않았고, 그것이 그대로 드러났다는 것이다.
  1. marginalia_nu

    공평하게 말하자면, 동료 심사 모델은 AI 생성 텍스트가 등장하기 훨씬 전부터 무너지고 있었다. 주로 학술지의 착취적 성격 때문에 인센티브 구조가 좋은 과학을 생산하는 것과 맞지 않게 되었기 때문이다.

    심사자들은 돈을 받지 않고, 좋은 일을 할 인센티브가 전혀 없다. 많은 경우 논문을 여러 저널에 계속 제출해서 읽을 생각도 없는 심사자를 만날 때까지 반복하면, 그때는 형식적으로 승인된다. 그 결과로 끊임없이 형편없고 너무 자주 노골적으로 사기적인 과학이 동료 심사를 통과해 왔다.

  2. patrickmay

    요약하자면, TFA를 읽고 싶지 않은 분들을 위해:

    "대규모 언어 모델이 이제 경제학에서 논문과 심사 보고서를 작성한다. 이 분야는 출판 과정에서 AI 생성 텍스트를 처리하기 위한 모범 사례를 개발해야 한다. 그렇지 않으면 동료 심사는 심각한 붕괴 위기에 처한다. 우리는 AI 탐지기가 이 직업의 표준 도구가 되어야 한다고 제안한다. 우리의 실험은 AI가 작성한 심사 보고서를 표시하지만, AI가 단순히 교정하거나 편집을 도운 보고서는 표시하지 않는다는 것을 보여준다.

    간단한 모델의 도움을 받아, 우리는 AI 생성으로 표시된 논문은 더 자세히 읽어야 하고 첫 번째 실수에서 거부될 수 있으며, AI가 생성한 심사 보고서는 편집자가 직접 프롬프트를 실행해서 얻을 수 있는 것 외에는 아무것도 추가하지 않는다고 주장한다. 그러한 보고서는 용납될 수 없다: 그들은 저자와 저널에 피해를 주며 표절처럼 취급되어야 한다. 개인의 자제는 이미 한계를 보여주었고, 이 직업은 이 집단 행동 문제를 해결하기 위한 규범을 개발해야 한다. 우리는 저자, 심사자, 편집자를 위한 실용적인 가이드로 마무리한다."

  3. FabCH

    저는 가끔 심사자입니다.

    동료 심사는 오랫동안 죽어가고 있습니다.

    제 생각에는 AI 이전에도 해결책은 간단했고 AI와 함께라도 간단합니다:

    이중 맹검 심사, 하지만 제출 과정 후에 논문과 심사 모두 전체 귀속과 함께 공개됩니다.

  4. astro1234

    저는 이 군중이 역사적으로 압도적으로 거부해 온 한 가지 의견을 말하겠습니다:

    동료 심사는 약 2년 후에는 더 이상 중요하지 않을 것이며, 우리가 이런 질문을 스스로에게 했던 것이 어리석게 느껴질 것입니다.

    성능 추세가 믿을 수 없을 정도로 안정적이고 오히려 약간 가속화되고 있다는 것이 여러 번 입증되었음에도 불구하고, 사전 훈련 스케일링 법칙과 사후 훈련에 대한 유사 법칙이 수학적으로 논란의 여지가 없을 만큼 신뢰할 수 있음에도 불구하고, 이러한 명백히 정확한 예측이 너무나 놀라워서 사람들이 여전히 받아들이지 않는 것 같습니다. 이 문장은 지난 4-5년 동안 어느 시점에서든 사실이었고 말할 수 있었습니다(그리고 여러 번 말해졌습니다).

    AI 2027 시나리오는 게시될 때 웃기지만, 오늘날 우리가 있는 위치와 놀랍게도 그리 멀지 않습니다. Dwarkesh가 Anthropic 연구원 및 다른 연구소 사람들과의 대화에서 보고한 바에 따르면, 우리는 2027년 언젠가 RSI를 해결할 궤도에 있습니다(다시 말하지만 성능 추세와 모델 성능 측정 방법에 대해 조금만 알면 비교적 쉽게 예측할 수 있는 일입니다).

    세상은 죽어가는 별처럼 붕괴하지 않을 것이며, 경험은 대략 오늘날 우리가 겪고 있는 것과 비슷할 것으로 예상합니다. 다만 일부 능력은 훨씬 더 높은 개선 속도를 경험할 것이고, AI가 결코 우회할 수 없는 피할 수 없는 병목 현상과 해결 방법을 알아내는 데 몇 년이 걸릴 병목 현상도 있기 때문입니다. 하지만 "오 이런, 동료 심사를 할 인간이 없네" […]

  5. imeanwhatdoikno

    저는 학계에 있지 않아서 다음 내용이 순진할 수 있지만, LLM 작성 및 LLM 논문 심사 이전 시대로 돌아가는 것은 그럴듯하지 않습니다. LLM 출력량도 결코 줄어들 것 같지 않습니다(그리고 제가 이해하기로는 LLM 이전에도 작성된 논문 수가 이미 시스템을 압도하고 있었습니다). 그래서:

    1. 논문은 웹(Arxiv 또는 Github 또는 어디든)에 자체 출판될 수 있습니다.

    2a. 논문은 주로 비공식적인 수단(X 및 기타 소셜 미디어, 입소문 등)으로 발표/광고될 수 있습니다.

    2b. 또한, 저자가 속한 학술 기관이나 산업체에서 정기적으로 공식 발표할 수 있습니다. 예를 들어, 한 대학이 각 학과에서 선정한 상위 10개(원하는 10의 값에 따라) 논문 목록을 발표할 수 있습니다. 이러한 "상위 10" 목록에 논문이 포함된다고 해서 반드시 그 논문이 어떤 식으로든 동료 심사를 거쳤다는 의미는 아닙니다. 단지 이 논문을 살펴볼 가치가 있을 수 있다는 신호일 뿐입니다.

    3. 저널/편집자의 목적은 논문 심사/출판에서所有这些 비공식 발표와 모든 "상위 10" 목록을 집계하여 해당 분야에서 가장 흥미롭거나 유망한 새 논문을 URL과 함께 식별하는 것으로 전환될 수 있습니다. 그런 다음 해당 주제에 관심 있는 커뮤니티 구성원이 해당 논문을 확인할지 말지 결정할 것입니다.

이 날의 다른 글

2026-11-18