Perl Monk

Node-REDでそろそろWEBスクレイピングをしたいと思います。

これができると、RPAに一歩近づいた気分になれます。

あまり選択肢はなく、Seleniumを使うのがよさそうのなので実験してみました。

が、Seleniumサーバ周りをインストールするのがちょっとめんどくさそうなのでDockerでデプロイする方法がよさそうでした。

～ Dockerインストールは略 ～

docker run -d -p 4444:4444 -p 5900:5900 -v /dev/shm:/dev/shm selenium/standalone-firefox-debug

以上・・・！ 上記はFirefoxのパターンの為、Chrome等の場合は別のモノを指定します。

https://github.com/SeleniumHQ/docker-selenium

debugを使うと、x11vncが立ち上がってる様子なのでVNCビューア等で5900を指定してログインする事が可能です。

あとは、Seleniumのサーバとブラウザを接続するドライバ、ブラウザが入っています。

GUIにログインすると、実際の操作しているブラウザの挙動が確認出来ます。

解像度を変更するには、Docker側の環境変数用ファイルを修正します。

/var/lib/docker/containers/コンテナID/config.v2.json

SCREEN_WIDTH ⇒幅

SCREEN_HEIGHT ⇒高さ

これでサーバ側の準備は整いました。