Jane Street, LLM 시대 맞아 코딩 인터뷰를 바꾼다
Jane Street – Our software engineering interviews are changing (a little)
Jane Street가 LLM이 소프트웨어 개발 방식을 바꾸면서 엔지니어 채용 인터뷰도 조정한다. 대부분 엔지니어가 일상적으로 LLM을 쓰지만 기존 코딩 인터뷰는 그대로였다. 이번 여름부터 캠퍼스 후보자 대상으로 코드 작성 비중을 줄이고 소프트웨어 설계, 코드 품질·구조·의도 검증, LLM 활용에 초점을 맞춘 새로운 형식을 시범 운영한다. 다만 대부분 라운드는 LLM 없이 진행되며, LLM 활용 경험이 없어도 불이익은 없다고 밝혔다.
코드 생성이 그 어느 때보다 저렴해지면서 무엇을 만들지에 대한 안목, 오래가는 추상화 선택, 그리고 만든 것이 실제로 올바른지 확인하는 일이 더 중요해졌습니다.
HN 토론
116- fernandotakai
그래서 저는 LLM 시대에 인터뷰하는 방법에 대해 여러 번 반복을 거쳐 꽤 괜찮은 프로세스를 만들었습니다:
첫째, 실시간으로(지금은 온라인으로) 해결하는 코딩 문제입니다. 어려운 문제는 아니고 대부분의 LLM이 한 번에 쉽게 풀 수 있습니다.
하지만: 시니어 개발자가 아니라면 LLM 없이 해야 하고, 시니어 이상이면서 LLM을 통해 한다면 기준이 훨씬 높아져서 이제 LLM이 작성한 모든 것을 마치 본인이 작성한 것처럼 자세히 설명해야 합니다.
여기서 핵심은 지원자가 코딩 전반을 이해하는지, 문제 해결을 이해하는지, 기존(비록 아주 작지만) 코드베이스에 어떻게 파고드는지 아는 것입니다. 문제를 푸는 것이 진짜 목표는 아닙니다. 사실 우리가 채용한 대부분의 지원자는 100% 풀지 못했지만, 코드에 넣은 모든 것을 이해하고 설명할 수 있었습니다. 보통 1시간 30분 정도 걸립니다.
(또한 지원자에게 저장소에 PR을 열어 달라고 요청해서 git의 기본을 아는지도 봅니다. 얼마나 많은 사람이 못 하는지 놀라실 겁니다).
둘째는 아키텍처 인터뷰인데, 함께 시스템을 구축하지만 전체 스펙, 미로 보드 같은 것을 하는 대신 좀 더 자유로운 방식으로 합니다: 아주 단순한 MVP 수준의 스펙으로 시작해서 지원자가 어떻게 구축할지 묻습니다. 그다음 또 다른 기능을 추가하고 어떻게 접근할지 묻습니다. 이 전체 과정에서 저는 "왜 y 대신 x를 쓰겠습니까?" 또는 "왜 이 접근 방식을 선호합니까?" 같은 무작위 질문을 합니다.
중요한 점 하나: 우리는 […]
- bluGill
효과가 있나요? 효과가 있다는 걸 어떻게 아나요?
인터뷰 방법과 이유를 알려주는 사람은 많습니다. 그중 인터뷰에 효과적인 것에 대한 과학적 연구가 있다는 걸 인지하고 있다는 조짐이라도 보여준 사람은 거의 없고, 그 연구를 적용한다는 조짐은 더더욱 없습니다. 또한 자신의 질문이 더 나은 사람을 채용하는 데 도움이 되는지 확인하기 위한 테스트를 했다는 징후도 보여주지 않습니다.
제가 이력서를 무작위로 골라 다른 선별 없이 채용해도 같은 결과를 얻을 수 있다고 말한다면 그들은 반박할 수 있나요? 만약 그렇다면 그들은 프로세스의 모든 부분을 정당화했나요, 아니면 유용한 한 단계만 정당화하고 나머지는 모르는 건가요?
- saghm
이건 이번 주에 여기서 본 세 번째 Jane Street 관련 글인데, 최근에는 기억나는 게 거의 없었거든요. 그들이 OCaml을 쓴다는 것과 아마 HN 커뮤니티가 관심 가질 만한 다른 일도 한다는 건 알고 있지만, 갑자기 짧은 시간에 너무 많은 것 같습니다. 마케팅 푸시 같은 게 있는 건가요?
- floathub
완전히 곁다리 얘기지만, Jane Street에 관한 글이 왜 날마다 프런트 페이지에 오르는지 이해가 안 됩니다:
오늘:
https://news.ycombinator.com/item?id=50467297
어제:
https://news.ycombinator.com/item?id=50455394
이틀 전:
https://news.ycombinator.com/item?id=50438261
좀 이상하네요 (?!).
- zerop
한 친구가 최근 Meta와 여러 다른 회사에서 인터뷰한 끝에 Google에 합격했습니다. 대부분의 회사에서 인터뷰 스타일이 바뀌고 있지만 공통된 패턴은 없다고 하더군요. 회사마다 각자의 맞춤형 접근을 취하고 있습니다. 어떤 곳은 AI IDE를 자유롭게 쓰게 하고, 어떤 곳은 모든 것을 묻지 말고 무엇을 묻는지 모니터링하라고 하고, 한 회사는 의도적으로 잘못된 코드를 제공하는 LLM(아마 맞춤형)에 접근 권한을 주고 지원자가 이를 고쳐야 한다고 합니다.
- parthdesai
솔직히 꽤 모호한 블로그 글이네요. 바뀌고 있다는 사실 말고는 별로 설명하지 않습니다
- nphardon
인터뷰에 가서 코드를 작성하라는 요구를 받는다는 생각은 이제 웃기기만 합니다. 저는 1년 넘게 몇 줄 이상의 코드를 작성하지 않았어요. 인터뷰는 직무와 관련이 있어야 합니다.
- Surac
코드 인터뷰는 직원과 고용주 모두에게 큰 시간 낭비입니다. 사람이 테이블에 무엇을 가져올 수 있는지 보세요.