もなかアイスの試食品

「とりあえずやってみたい」そんな気持ちが先走りすぎて挫折が多い私のメモ書きみたいなものです.

Python

PythonでAWS EC2を起動・停止する

はじめに ブラウザを開いてAWSコンソール画面にログインして、EC2を起動・停止するのが面倒くさい。 なので、プログラム(Python)で起動するようにしてみた。 環境 Python 3.6 boto3 ソースコード boto3のドキュメントを参考にしつつ作成 boto3.amazonaws.c…

Python+Scrapyでスクレイピングした結果をDB(PostgreSQL)に保存する

はじめに 前に、Scrapyでクローニング・スクレイピングするスクリプトを作成した。 このときは、とあるディレクトリにスクレイピングした結果をjsonにして出力した。 ↓そのときの話 monakaice88.hatenablog.com そして、出力したjsonを別のスクリプトでDBに…

Python3.6+Scrapyでスクレイピングしてみた

はじめに 機械学習について勉強するため、機械学習を使った何かを作ろうと思っている今日このごろ いくつかサンプルが載っているような本を買っても、サンプルを動かすのはモチベーションが上がらない やはりモチベーションが上がるものは、自分がやりたいを…

【Python】運行情報をSlack API を使って通知するデーモンを作ってみた

前にPythonでYahoo路線情報から運行情報をスクレイピングで取得するアプリを作った monakaice88.hatenablog.com あとPythonスクリプトをデーモン化させる方法もわかった monakaice88.hatenablog.com なので今回は運行情報が変わったときに、Slack APIで通知…

Pythonスクリプトをデーモン化するのにsupervisorを利用した話

簡単なスクリプトをデーモン化出来ないかと調べたところ supervisorを使うことでスクリプトをデーモン化させることが出来そう ↓参考にしたサイト Supervisorで簡単にデーモン化 - Qiita SupervisorでPythonのスクリプトをデーモンプロセスとして動かす - Sym…

PythonでSlackにサーバの状態を送信してみた

はじめに すごく個人的な問題点 アプリの登録・OAuthの認証 Step1(認証) Step2(アクセストークンの取得) Pythonでサーバの状態を通知する はじめに はてなブログのTOPページを見ていたらたまたま見つけたブログ blog.8arrow.org このサイトを見るまでSla…

【Python】スクレイピングで電車の運行情報を取得してみた

はじめに 最近、Slackというチャットサービスを個人的に利用していて Slack APIを使って電車の運行情報をチャットで流せないかなーて考え中 電車の運行情報のAPIを公開されているけどお金がかかる・・・ プライベートで公開されている方もいるけど、こだわり…

PythonでPostgreSQLの通知を受け取る[NOTIFY/LISTEN]

PostgreSQLには、接続しているクライアントに通知をおくることが出来るらしい。 今まであるテーブルの全レコードのフラグを監視して、見つけたら取り出し→処理→フラグ更新ってことばかりをやっていたけど これを「通知」に置き換えることができそう これは便…

Raspberry Piを買ったので、ちょっと触ってみた

昔からArduinoを触ったことがあったけど、電子回路が正直苦手・・・ そこでOSが載っているRaspberry Piの方が色々使い方のイメージが湧いてくるかなーと思ってた 最近やっと買ってきてたので「Hello World」ごとく少しいじってみた。 買ってきたもの Raspber…