TikTok 비공개 API 파헤치기: 45억 개 영상 스크레이핑
4.5B Posts Scraped from TikTok
TikTok의 Android 앱이 사용하는 비공개 HTTP+JSON API를 분석한 기술 가이드. 기기 등록, 요청 서명, 지역 호스트 분할, TLS 핸드셰이크 핑거프린트 등 네 가지 관문을 설명하며, 이를 통과해 3주 만에 32억 3천만 개 프로필, 59억 4천만 개 동영상, 28억 개 댓글을 수집한 시스템을 공개한다. 수집된 45억 개 동영상 데이터셋은 Hugging Face에 무료로 공개됐다.
등록만으로는 실행 중인 앱이 되지 않는다. 시작 호출이 그 역할을 한다.
HN 토론
58- 1vuio0pswjnm7
1787990085 | X와 Meta의 과거 데이터 스크래핑 소송 패소 사례와 니터와의 관련성 | https://www.reuters.com/legal/musks-x-corp-loses-lawsuit-aga... | https://news.ycombinator.com/item?id=49487864
아마도 구글은 메타나 X 같은 다른 기업들이 실패한 곳에서 성공할 수도 있고, 아닐 수도 있다.
https://storage.courtlistener.com/recap/gov.uscourts.cand.46...
- Retr0id
용감한 분이 이 LLM 투성이 글을 읽고 사람이 읽을 수 있는 요약을 제공해 주실 수 있나요?
- moinism
> 여기에 설명된 모든 것은 비공개 Go 저장소입니다. 일회성 결제, 영구 액세스, 전체 소스 코드.
> $699 일회성 · 평생 액세스
분명히 오픈소스는 아니군요.
그리고 레딧 게시물은 찾을 수 없지만, 영상/자산이 실제로 미리 다운로드되는 것이 아니라 제공된 코드를 사용해 TikTok API를 통해 요청해야 한다는 내용을 읽은 것 같습니다. 그래서 TikTok이 패치하면 코드도 업데이트가 필요할 것입니다.
- nomilk
> 주목할 점 세 가지, 각각이 나중에 문제가 되기 때문입니다:
아주 LLM스러운 언어네요!
- smallerize
이 데이터셋이 HF에서 살아남을 방법은 없겠죠? DMCA 테이크다운 요청을 엄청나게 받을 텐데.