4,5 Milliarden TikTok-Videos: Ein Entwickler knackt die private API
4.5B Posts Scraped from TikTok
Ein Entwickler hat die private HTTP+JSON-API von TikToks Android-App analysiert und dokumentiert. Er erklärt, wie Geräte registriert, Anfragen signiert und regionale Hosts partitioniert werden. Das System sammelte in drei Wochen 3,23 Milliarden Creator-Profile, 5,94 Milliarden Videos und 2,8 Milliarden Kommentare. Ein Datensatz mit 4,5 Milliarden Videos wurde auf Hugging Face veröffentlicht.
Ein korrekt implementierter Signaturgeber erzeugt eine Ausgabe, die gegen abgefangenen Datenverkehr verifiziert, mit Parametern, die Byte für Byte übereinstimmen. Die Antwort ist trotzdem eine saubere HTTP 200 mit leerem Body.
- 1vuio0pswjnm7
1787990085 | X und Metas frühere Niederlagen in Rechtsstreitigkeiten um Datenscraping und wie sie sich auf Nitter beziehen würden | https://www.reuters.com/legal/musks-x-corp-loses-lawsuit-aga... | https://news.ycombinator.com/item?id=49487864
Vielleicht kann Google dort erfolgreich sein, wo andere wie Meta und X gescheitert sind, oder vielleicht auch nicht.
https://storage.courtlistener.com/recap/gov.uscourts.cand.46...
- Retr0id
Kann sich eine mutige Seele durch den LLM-Prosatext kämpfen und eine verständliche Zusammenfassung für Menschen liefern?
- moinism
> Alles, was hier beschrieben wird, ist ein privates Go-Repository. Einmalige Zahlung, dauerhafter Zugang, vollständiger Quellcode.
> 699 $ einmalig · lebenslanger Zugang
Anscheinend nicht Open Source.
Und ich kann den Reddit-Beitrag nicht finden, aber ich glaube, ich habe gelesen, dass Videos/Assets nicht tatsächlich vorab heruntergeladen werden; sie müssen über die TikTok-API mit dem bereitgestellten Code angefordert werden. Wenn TikTok also Patches ausführt, muss der Code ebenfalls aktualisiert werden.
- nomilk
> Drei Dinge, die man beachten sollte, weil jedes einzelne später beißt:
Sehr LLM-artige Sprache!
- smallerize
Es gibt keine Möglichkeit, dass dieser Datensatz auf HF überleben wird, oder? Er wird mit so vielen DMCA-Unterlassungsverfügungen bombardiert werden.