195쪽 한 권으로 꿰뚫는 생성 AI의 수학적 뼈대
The Little Book of Generative AI Foundations: An Intuitive Mathematical Primer
Tianhua Chen이 arXiv에 공개한 195쪽 분량의 프리프린트로, PCA와 확률적 PCA, VAE, diffusion model부터 normalising flows, autoregressive factorisation, GAN, Wasserstein GAN, energy-based model까지 주요 생성 모델 계열을 하나의 일관된 유도 흐름으로 엮는다. 최신 아키텍처를 나열하는 대신 각 모델이 어떻게 유도되고 서로 어떻게 연결되는지를 수학적 실질을 빼지 않고 직관적으로 풀어낸다. 수학에 호기심 많은 연구자와 실무자, 학생을 위한 기초 다지기 입문서다.
목표는 생성 모델링의 구조를 더 쉽게 접근할 수 있게 하면서도, 이 모델들이 어떻게 유도되고 서로 관련되는지 이해하는 데 필요한 수학적 실질은 제거하지 않는 것이다.
HN 토론
49- nh23423fefe
마음에 안 드는 부분:
> 좌표 변환. 표준 기저로 표현된 벡터 x가 주어졌을 때, 우리는 다음을 적용하여 좌표를 바꾼다.
x_eig = V^−1 x.
> 이 연산은 벡터 자체를 바꾸지 않는다; 단지 벡터가 표현되는 방식만 바꾸어 고유벡터 좌표로 변환할 뿐이다.
저자는 기저가 주어졌을 때 벡터와 좌표 벡터의 차이를 당연히 알고 있을 거다. 그냥 이 표현이 마음에 안 들 뿐이다. 함수를 적용하는 것이 변화에 영향을 주지 않는다고 말하는 건 이상하다.
- hasteg
머신러닝/트랜스포머 뒤에 있는 수학을 배우는 데(혹은 적어도 그것이 어떻게 작동하는지 아주 좋은 감을 잡는 데) 강력히 추천하고 싶은 또 다른 책은 Anil Ananthaswamy의 "Why Machines Learn: The Elegant Math Behind Modern AI"이다. 작년에 읽었는데, 오늘날의 위치까지 이끌어온 ML의 가장 중요한 수학 개념과 발견들의 "어떻게 그리고 왜"에 대한 직관을 쌓아가는 속도와 구성이 정말 뛰어나다고 느꼈다. 선형대수, 통계, 다변수 미적분에 대해 이미 꽤 깊이 이해하고 있지 않은 사람들에게 이 책은 훨씬 더 친절한 입문서이면서도, 뭔가를 얻고 나올 수 있을 만큼의 엄밀함은 충분히 갖추고 있다.
- p1esk
와, 이 책 정말 놀랍도록 읽기 쉽네요! 선형대수 기초부터 시작하는 방식이 마음에 듭니다.
- prideout
제가 가장 좋아하는 작은 책은 François Fleuret의 《The Little Book of Deep Learning》입니다.
- nblgbg
풀어볼 문제가 포함된 딥러닝 책이 있을까요?