AI가 인간이 놓친 과학 연구 방향을 찾아낸다
The alien space of science: Coherent but cognitively unavailable directions
과학적 발견은 진실뿐 아니라 연구자들이 인지적으로 접근 가능한 것에도 제약을 받는다. 이 논문은 문헌상 일관되지만 기존 연구 커뮤니티가 제안하기 어려운 '과학의 외계 공간'을 겨냥한다. 논문을 개념 단위로 분해해 아이디어 원자 어휘로 군집화하고, 일관성 모델과 가용성 모델을 결합해 일관성은 최대화하면서 가용성은 최소화하는 조합을 샘플링한다. NeurIPS, ICLR, ICML 등 16,068편의 LLM 논문에서 기존 LLM 기준보다 더 다양한 연구 포트폴리오를 생성했으며, 2025년 이후 조합을 우연 대비 35.9배, 엄격히 새로운 조합은 3.24배 더 잘 찾아냈다.
과학적 발견은 무엇이 진실인지뿐만 아니라 연구자들이 인지적으로 무엇을 이용할 수 있는지에 의해서도 제약을 받는다.
HN 토론
46- martincsweiss
공동 저자입니다 - 제 박사후 과정에서 나온 첫 논문이 NeurIPS 본회의에 채택되었습니다.
우리는 머신러닝에서 다양한 아이디어를 샘플링하는 방법을 구축했습니다 - 과학적으로 타당하지만, 기존 연구 커뮤니티에서는 제안할 위치에 있지 않은 아이디어들 말이죠.
간단히 말하면, 작동 방식은 이렇습니다:
1. 16,068편의 LLM 논문(NeurIPS, ICLR, ICML, ACL, EMNLP, 2017~2025)을 273개의 "아이디어 원자"로 분해합니다. 모든 논문과 모든 후보 아이디어는 원자들의 집합이 됩니다.
2. 일관성 모델(Coherence Model)을 훈련합니다: 논문을 원자 시퀀스로 학습한 42.8M 파라미터 트랜스포머입니다. 기본적으로 토큰이 아이디어인 언어 모델이죠.
3. 인지 가용성 모델(Cognitive-Availability Model)을 훈련합니다: 39,791명 연구자의 출판 이력을 학습한 듀얼 인코더로, 각 사람이 다음에 그럴듯하게 나아갈 수 있는 곳을 예측합니다.
4. 이 모델들을 사용해 샘플링된 튜플의 점수를 reciprocal rank fusion으로 매깁니다 (함께 잘 어울리지만, 누구에게도 인지적으로 가용하지 않은 아이디어를 원하니까요).
우리는 여러 방식으로 테스트했습니다. 흥미로운 것 중 하나는 2024년 말의 모든 논문을 가져와서, 2025년 논문에 어떤 고득점 튜플이 등장했는지 확인한 것입니다. 잘 작동했습니다 - 한 예로 ICLR 2025 oral 논문이 일관성만으로는 순위 1,489위에서 1.14M 샘플 중 상위 25위로 올라갔습니다.
재미있는 점 하나: Claude에게 ML 연구 아이디어를 물어보면 종종 해석 가능성(interpretability)에 관한 것입니다. 그런 다음 A100 몇 대로 그 아이디어에 대한 자동 연구 파이프라인을 돌리면, 결과는 8/10번 해석 가능성 쪽으로 나오는 경향이 있습니다. 우리의 Alien Sampling 방법은 […]
- unsupp0rted
정말 마음에 드네요. 제 개인적으로 완전히 근거 없는 이론은 우리가 우주에 대해 참이거나 정확한 것의 1% 미만을 인지적으로 상상할 수 있고, 그 1%의 1%를 인지적으로 이해할 수 있다는 것입니다.
- tauntz
어제 비슷한 개념이 과학 대신 게임에 대해 돌았습니다.
- smallerize
젠장, 이게 바로 내가 Word2vec 이후로 기다려온 의미 공간(semantic spaces)의 킬러 앱이었어.
- Error6571
의미적으로 유사한 논문들: https://papermatch.me/?q=2603.01092