TWINT – Twitter Intelligence #OSINT: consider Toolwoluxwolu/twint
Posted by jpluimers on 2023/11/08
Edit: I scheduled this post a long time ago, but it likely won’t work any more because of Space Karen demolsing Twitter. So for now, view this post as a how historically we had nice things on Twitter.
When writing this, the fork [Wayback/Archive] woluxwolu/twint works and the original [Wayback/Archive] twintproject/twint: An advanced Twitter scraping & OSINT tool written in Python that doesn’t use Twitter’s API, allowing you to scrape a user’s followers, following, Tweets and more while evading most API limitations. does not.
See these tweets in Dutch (Google Translate on them works well):
- [Wayback/Archive] Niels Kootstra on Twitter: “@Schellevis Ik heb het na veel moeite aan de praat gekregen door het weg te schrijven na een SQLite database. Helaas werkt het niet zoals verwacht en kreeg ik al snel een melding dat alle tweets van een tweep waren verzameld.” / Twitter
- [Wayback/Archive] Niels Kootstra on Twitter: “@Schellevis Ik ben bang dat het een dood project is wat je alleen werkend kunt maken als je zelf de bugs oplost. Onderstaande issue liep ik bijvoorbeeld ook tegenaan …” / Twitter
[Wayback/Archive] [BUG] tweet reply does not contain user_id-field but rather screen_name (KeyError: ‘user_id’) · Issue #1343 · twintproject/twint
- [Wayback/Archive] Niels Kootstra on Twitter: “@Schellevis Ik ben bang dat het een dood project is wat je alleen werkend kunt maken als je zelf de bugs oplost. Onderstaande issue liep ik bijvoorbeeld ook tegenaan …” / Twitter
- [Wayback/Archive] Joost Schellevis on Twitter: “iemand op dit hypertext-documentinformatiesysteem die Twint aan de praat heeft gekregen? al een uur aan het struggelen en ik ben nu deze emoji: 😵💫” / Twitter
- [Wayback/Archive] Joost Schellevis on Twitter: “Pip, handmatige installatie, installatie in virtualenv, Docker (meerdere versies) – ik dreig uit te gaan vinden hoe goed een laptop kan vliegen” / Twitter
- [Wayback/Archive] Woutert on Twitter: “@Schellevis Deze Twint? Die heb ik succesvol draaien op Mac. Wat lukt er niet? Welke foutmelding krijg je?”
[Wayback/Archive] Joost Schellevis on Twitter: “@wtrdk Die twint! Twee smaken: -CRITICAL:root:https://t.co/fn4hFoaDHN:Twint:Feed:noDataExpecting value Of, na kort aantal tweets geschrapte: no more data”
- [Wayback/Archive] Joost Schellevis on Twitter: “@wtrdk Die twint! Twee smaken:
-CRITICAL:root:twint.run:Twint:Feed:noDataExpecting valueOf, na kort aantal tweets geschrapte:no more data“ - [Wayback/Archive] Woutert on Twitter: “@Schellevis Hmmm… Ik heb hem op deze manier geïnstalleerd, en dat werkt:
pip3 install --user --upgrade git+github.com/twintproject/twint.git@origin/master#egg=twint” / Twitter - [Wayback/A] Joost Schellevis on Twitter: “@wtrdk Ja, maar scrapet ie ook meer dan ~10 dagen aan tweets?” / Twitter
- [Wayback/Archive] Woutert on Twitter: “@Schellevis Oeps, sorry, dat had ik even gemist. Dat is op te lossen door deze fork te installeren:
pip3 install git+github.com/woluxwolu/twint“
- [Wayback/Archive] Woutert on Twitter: “@Schellevis Deze Twint? Die heb ik succesvol draaien op Mac. Wat lukt er niet? Welke foutmelding krijg je?”
- [Wayback/Archive] Joost Schellevis on Twitter: “Deze fork doet het! Dank @wtrdk …”
- [Wayback/Archive] Joost Schellevis on Twitter: “Pip, handmatige installatie, installatie in virtualenv, Docker (meerdere versies) – ik dreig uit te gaan vinden hoe goed een laptop kan vliegen” / Twitter
–jeroen
The Wiert Corner - irregular stream of stuff 
Leave a comment