災害VCの日々のボランティア数動向記事を完全自動化したい

[kkd]

誰のために？

記事作成している人（自分）

何を実現したい？

愛媛災害VCが公表しているボラ数の表をスクレイピングして取得して、記事化・グラフ化などをしたい。

それはなぜ？

現在、こちらのサイトからの情報取得は手動でスクリプト実行行っており、一度Google Driveに入力した後、そこから読み取ってグラフ化している。

• スクリプト
• Spread Sheet

理由は一度作ったら更新作業は少しなので自動化する必要はないと判断したため。しかし手動実行だと、時間が遅れたり、用事でできなかったりすることがあるので、自動実行でルーチンワークにするために完全な自動化を行いたい。

どうなったら完了？

• スクリプトにスクレイピングが埋め込まれている
• 実行すると自動的にデータを出力し、該当のグラフや記事を作成できている
• ボランティア数の必要数が手動になっているので自動化しないといけない
• 定期実行がスケジューリングされている

[sassy]

このサイト、WordPressのTablePress使っているので、
スクレイピングは結構難易度が高いですね。
tableを操作する必要があるので、chomedriverが必要になるかもしれません。

[sassy]

参考: https://qiita.com/kinpira/items/383b0fbee6bf229ea03d

[kkd]

ああ、ボランティアの必要人数が手入力だった。。。。
自動実行はどこかでスケジューリングしないとなぁ。
どこかのサーバーに置いて実行→記事作成→git commit/pushしないといけないなぁ。

[imabari]

とりあえずパソコン起動している間は裏でgit commit/pushするようにしておけばいいのでは

GitHubで自動Commit/Pushをしてくれるシェルスクリプト(Mac)
https://qiita.com/reo11/items/31e2a54890c23f217cc6

[kkd]

@sassy @imabari
知り合いにAWSのEC2インスタンスでamazon linuxを用意してもらうことになりました。
そちらからスクリプト実行→git commit/pushしようかなと考えます。

他にも自動実行してあれやこれやできるようになりますので、準備でき次第設定などもご協力頂けると嬉しいです。

[sassy]

わかりました

[imabari]

スプレッドシートで最新一週間のグラフ表示ができます
https://docs.google.com/spreadsheets/d/e/2PACX-1vStDz-dB8i7W6m0GEYup_DQ76CHXaPRgalKpkIP0hNZ_Q5eMVUvc3lKi1lC5VFeKeTFqh6s1yHmP3vj/pubchart?oid=1377073713&format=interactive