読者です 読者をやめる 読者になる 読者になる

ChromeでTwitterの検索結果をAPI規制なしで取得する

前の記事(メンマさんのお誕生日に関する有益な情報 - おぼえにくいのおぼえがき)を書くにあたってTwitterのツイートデータを大量に取得する必要があったのでChromeTwitter Web Clientから取得するスクリプトを書きましたので置いておきます。

あまりに取得件数が多いとChromeがクラッシュするので注意してください。sinceなどのクエリをつけて期間を設定した方が良いと思います。またFirefoxとかでも使えると思います。

gistd924830a0ed8ad5b8fb2

TypeScriptなのでJavaScriptに変換して使ってください。
規約的にどうかはよくわからないです。超高速で下にスクロールして取得するのと取得処理自体は変わらないので大丈夫じゃないかと思ってます。
やってることとしては、Twitterで検索をするときに取得するJSONファイルの中身がHTMLなので、それをDOMで操作して必要なものを取得する感じです。ただし20件ごとにしか取得できないのと、並列処理ができないのでかなり遅いです。これを参考に別の言語で書いた方がまだマシだと思います。
メンマさんの誕生日ツイートを取得してCSVに変換するスクリプトもついてるのでそれを参考にすれば使えると思います。