PythonでSlackにサーバの状態を送信してみた
はじめに
はてなブログのTOPページを見ていたらたまたま見つけたブログ
このサイトを見るまでSlackを知らなかった
Slackについて、失礼ながら以下のサイトから転記
Slackとは、チャットができるコミュニケーションツールです。シンプルなUIデザインで、ショートカットキーも豊富、プログラミングコードを綺麗に投稿できるスニペットが用意されていて、高性能な検索機能など、情報共有のしやすさ情報の蓄積として使いやすいコミュニケーションサービスです。機能は他にもまだまだあります。Web版、スマホアプリ版、タブレット版があり、いつでもどこでも情報共有ができます。「ショートカット」が豊富なのと、「プログラムコード投稿オプション」がついているので、特にエンジニアがコミュニケーションとるのに便利です。
社内のチャットツールとして結構使われているらしい
いくつか料金プランがあり、無料でも使える
↓料金プランについてはコチラのサイトがわかりやすい
すごく個人的な問題点
実は1年前から気象庁XMLを受信しているけど、全然活用できていない・・・
XMLが3～4GBたまっているんですけど
どこかのAPIを利用したいと思いつつも、万が一間違った情報が人の目に付くところに出るのも困る
でも何かに利用したいと考えていたところ、Slackで一人チャットなら問題ないでしょ！
というわけで、SlackのAPIを利用してみた
Slackのユーザ登録はおいていて、個人的にハマったアプリの登録から手順をφ(..)メモメモ
アプリの登録・OAuthの認証
アプリの登録・OAuthの認証方法は以下のサイトと同じ手順でやった
一応、公式サイトと同じ手順ではある
アプリの登録は、Slack APIのサイトの右上の方にの「Your Apps」から登録した
あとアプリのOAuth認証は、ブラウザを使った手動で行った。（本当は、OAuthの認証まで内部処理を作らないとイケないでしょうが・・・）
また、OAuthをする前に「Redirect URL(s)」の設定をしないと「Step1」でうまく行かなかった
Step1（認証）
以下のようなURLにアクセスする
https://slack.com/oauth/authorize?client_id=xxx&scope=channels:read chat:write:bot&
client_idとscopeは必須
- client_id - アプリと登録されたときに発行されたID
- scope - アプリの権限。ココでアプリが出来ること（やること）を設定する
scopeの詳細は以下のサイトを見るべし！
アクセスすると「なんかアプリが許可求めているけどどうする？」的な画面が表示されるのでOKする。
すると「Redirect URL(s)」で設定したページへGETクエリ付きでリダイレクトする。
GETクエリに「code=???」と付いているけど、次のstepで使用する
Step2（アクセストークンの取得）
次にアクセストークンを取得する
https://slack.com/api/oauth.access?client_id=xxx&client_secret=yyy&code=zzz
client_idとclient_secretとcodeは必須
- client_id - アプリと登録されたときに発行されたID
- client_secret - アプリと登録されたときに発行されたモノ
- code - Step1のリダイレクトで送られた（取得した）コード
アクセスするとjsonが帰ってくる
{ "access_token": "xxx", "ok": true, "scope": "xxx", "team_id": "xxx", "team_name": "xxx", "user_id": "xxx" }
Pythonでサーバの状態を通知する
取り敢えず動作確認なので、Pythonのスクリプトでtopコマンドを実行した結果を1時間の間隔で通知することにした。
#!/usr/bin/env python # -*- coding: utf-8 -*- import subprocess import requests def res_cmd_lfeed(cmd): return subprocess.Popen( cmd, stdout=subprocess.PIPE, shell=True).stdout.readlines() def res_cmd_no_lfeed(cmd): return [x.decode('utf-8').rstrip("\n") for x in res_cmd_lfeed(cmd)] def main(): cmd = ("top -b -n 1 | sed -n '1,5p'") cmd_res = res_cmd_no_lfeed(cmd) msg = '\n'.join(cmd_res) post_message(msg) def post_message(msg): postUrl = 'https://slack.com/api/chat.postMessage' token = 'xxxxxx' channel = 'xxxxxx' username = 'xxxxxx' pyload = { 'token': token, 'channel': channel, 'username': username, 'text': msg } res = requests.post(postUrl, data=pyload) if __name__ == '__main__': main()
参考にしたサイト
作ったPythonのスクリプトを「/usr/local/bin/cron/chat_top.py」に保存し、cronで1時間おきに実行するようにした。
以下の様なテキストファイルを「crontab.conf」に保存
0 */1 * * * export PATH="/usr/local/lib/anaconda3/bin:$PATH"; python /usr/local/bin/cron/chat_top.py
以下のコマンドでcronを設定
crontab crontab.conf
一時間おきにサーバからチャットが送られるようになった
サーバからSlackへチャットを送ることが出来るようになった。
【Python】スクレイピングで電車の運行情報を取得してみた
はじめに
最近、Slackというチャットサービスを個人的に利用していて
Slack APIを使って電車の運行情報をチャットで流せないかなーて考え中
電車の運行情報のAPIを公開されているけどお金がかかる・・・
プライベートで公開されている方もいるけど、こだわり始めるとその方のサーバに負荷かけそう
大手サイトのWEBページから取得できたらいいなーと思っていたら、
Qiitaに情報が載っていた
このサイトを見るまで「スクレイピング」という単語を知らなかった・・・
情報元
電車の運行情報で、時々利用するのが以下のサイト。
Pythonを動かしているときにちょうど遅延情報が出ていた。
江ノ島電鉄線は利用したこと無いけど
見た目はこんな感じ
htmlの構造はこんな感じ
このサイトから、Python3.5とライブラリ「Beautiful Soup4」を利用して運行情報を取得する
環境構築の準備
私はAnacondaをWindowsにインストールしているため、以下のコマンドで今回用の環境を構築
conda create -n py35 python=3.5 anaconda activate py35 pip install beautifulsoup4
実装
あまり深く考えず、参考にしたサイトを見よう見真似でコード作成
# -*- coding: utf-8 -*- import urllib.request import bs4 url = 'http://transit.yahoo.co.jp/traininfo/detail/148/0/' html = urllib.request.urlopen(url).read() soup = bs4.BeautifulSoup(html, 'lxml') informationElement = soup.find('div', {'id': 'mdServiceStatus'}) information = informationElement.find('p').find(text=True, recursive=False) postingDateElement = informationElement.find('p').find('span') postingDate = '' if postingDateElement is not None: postingDate = postingDateElement.find(text=True, recursive=False) print(information + postingDate)
実行結果
とりあえず運行情報が取得できるようになったので、DBも利用してSlackを通して運行情報を知らせるサーバを構築しよう
CentOS6.8にMapServerのビルド&インストールしてみた
はじめに
単純にMapServerのインストールなら、以下のコマンドでインストールされる
# yum install mapserver
↓参考サイト
システム覚書帳 : [mapserver]CentOS6.5でmapserver6.0.3をyumでインストール - めっちゃ簡単！
ただし、今回は「PHP 5.6」と「PostgreSQL 9.6」を使用したいので、ソースコードからコンパイル&インストールする方法でやる
MapServerの最新は「7.x」だけど、コンパイル時に依存的な問題に引っかかったため、6.4.4にした
- はじめに
- 今回構築したMapServerの環境
- SELinuxの無効化
- "Development Tools"をインストール
- ApacheサーバのインストールとEPELリポジトリの追加
- PHP5.6のインストール
- PostgreSQL9.6 & PostGIS2.3のインストール
- MapServerのビルド & インストール
- Apacheサーバの起動
- MapServerにアクセスしてみる
今回構築したMapServerの環境
- CentOS6.8（最小インストール）
- Apache 2.2
- PHP 5.6
- PostgreSQL 9.6
- PostGIS 2.3
- MapServer 6.4.4
SELinuxの無効化
# vi /etc/sysconfig/selinux
# This file controls the state of SELinux on the system. # SELINUX= can take one of these three values: # enforcing - SELinux security policy is enforced. # permissive - SELinux prints warnings instead of enforcing. # disabled - No SELinux policy is loaded. #SELINUX=enforcing SELINUX=disabled
CentOSを再起動する
"Development Tools"をインストール
# yum groupinstall "Development Tools"
ApacheサーバのインストールとEPELリポジトリの追加
# yum install httpd httpd-devel epel-release
PHP5.6のインストール
# rpm -Uvh http://rpms.famillecollet.com/enterprise/remi-release-6.rpm # yum install --enablerepo=remi,remi-php56 php php-devel php-mbstring php-pdo php-gd php-xml php-pear php-pgsql
PostgreSQL9.6 & PostGIS2.3のインストール
# rpm -Uvh https://download.postgresql.org/pub/repos/yum/9.6/redhat/rhel-6-x86_64/pgdg-centos96-9.6-3.noarch.rpm # yum install postgresql96 postgresql96-server postgresql96-devel postgis2_96
PostgreSQLのDBクラスタの構築・サーバ起動については過去記事と同じなのでリンク
MapServerのインストールだけなら不要なのでココでは省略
MapServerのビルド & インストール
MapServerのビルドとインストールは以下のサイトを参考にした
↓参考サイト
システム覚書帳 : [mapserver]CentOS6.5で、可能な限りyumでmapserverをセットアップする
↓公式サイト
Compiling on Unix — MapServer 7.0.4 documentation
必須パッケージのインストール
# yum install libpng libpng-devel # yum install freetype freetype-devel # yum install libjpeg libjpeg-devel # yum install zlib zlib-devel
推奨パッケージのインストール
# yum install proj proj-devel proj-epsg # yum install libcurl libcurl-devel # yum install gdal gdal-devel
オプションなパッケージのインストール
# yum install libtiff libtiff-devel # yum install libgeotiff libgeotiff-devel # yum install geos geos-devel # yum install libxml2 libxml2-devel # yum install giflib giflib-devel # yum install fcgi fcgi-devel # yum install cairo cairo-devel # yum install libxslt libxslt-devel
MapServerのインストールに「cmake28」が必要なのでインストールする
# yum install cmake28
MapServerのソースコードのダウンロード
# cd # yum install wget # wget http://download.osgeo.org/mapserver/mapserver-6.4.4.tar.gz
MapServerのソースコードのアーカイブを展開し、ビルド準備する
# tar xvhf mapserver-6.4.4.tar.gz # cd mapserver-6.4.4 # mkdir build # cd build # cmake28 .. -DWITH_CURL=ON -DWITH_CLIENT_WFS=ON -DWITH_CLIENT_WMS=ON -DWITH_PHP=ON -DWITH_KML=ON -DWITH_XMLMAPFILE=ON -DWITH_POSTGIS=ON -DCMAKE_PREFIX_PATH=/usr/pgsql-9.6/bin/ -DWITH_FRIBIDI=0
cmakeコマンドがうまくいくと以下のように出力される
-- /usr/include/php/main -- Found PHP5-Version 5.6.29 (using /usr/bin/php-config) -- * Summary of configured options for this build -- * Mandatory components -- * png: /usr/lib64/libpng.so -- * jpeg: /usr/lib64/libjpeg.so -- * freetype: /usr/lib64/libfreetype.so -- * Optional components -- * GDAL: /usr/lib64/libgdal.so -- * OGR: /usr/lib64/libgdal.so -- * GD: disabled -- * GIF: /usr/lib64/libgif.so -- * MYSQL: disabled -- * FRIBIDI: disabled -- * GIF: /usr/lib64/libgif.so -- * CAIRO: /usr/lib64/libcairo.so -- * SVGCAIRO: disabled -- * RSVG: disabled -- * CURL: /usr/lib64/libcurl.so -- * PROJ: /usr/lib64/libproj.so -- * LIBXML2: /usr/lib64/libxml2.so -- * POSTGIS: /usr/pgsql-9.6/lib/libpq.so -- * GEOS: /usr/lib64/libgeos_c.so -- * FastCGI: /usr/lib64/libfcgi.so -- * Oracle Spatial: disabled -- * SDE: disabled -- * Exempi XMP: disabled -- * Optional features -- * WMS SERVER: ENABLED -- * WFS SERVER: ENABLED -- * WCS SERVER: ENABLED -- * SOS SERVER: disabled -- * WMS CLIENT: ENABLED -- * WFS CLIENT: ENABLED -- * ICONV: ENABLED -- * Thread-safety support: disabled -- * KML output: ENABLED -- * Z+M point coordinate support: disabled -- * XML Mapfile support: ENABLED -- * Mapscripts -- * Python: disabled -- * PHP: ENABLED -- * PERL: disabled -- * RUBY: disabled -- * JAVA: disabled -- * C#: disabled -- * Apache Module (Experimental): disabled -- -- Will install files to /usr/local -- Will install libraries to /usr/local/lib64 -- Configuring done -- Generating done -- Build files have been written to: /root/mapserver-6.4.4/build
cmakeコマンドが無事成功したときに「make && make install」コマンドを実行する・・・が
PHP5.6をインストールした環境（厳密には5.6.25以上？）では、「make」コマンド実行時に「mapscript/php/error.c 」でコンパイルエラーが発生する
↓こんな感じ
[ 82%] Building C object mapscript/php/CMakeFiles/php_mapscript.dir/error.c.o /root/mapserver-6.4.4/mapscript/php/error.c: In function ‘zim_errorObj___get’: /root/mapserver-6.4.4/mapscript/php/error.c:71: error: called object ‘zend_error’ is not a function /root/mapserver-6.4.4/mapscript/php/error.c:72: error: called object ‘zend_error’ is not a function make[2]: *** [mapscript/php/CMakeFiles/php_mapscript.dir/error.c.o] エラー 1 make[1]: *** [mapscript/php/CMakeFiles/php_mapscript.dir/all] エラー 2
これはPHPのソースコードが変更されたため発生しているらしい
なので、以下のサイトを参考に「mapserver-6.4.4/mapscript/php/error.c」のソースコードを変更する
ソースコード「mapscript/php/error.c」未定義となっているマクロを34行目あたりに追記する
# vi /root/mapserver-6.4.4/mapscript/php/error.c
#if PHP_VERSION_ID >= 50625 #undef ZVAL_STRING #define ZVAL_STRING(z, s, duplicate) do { \ const char *__s=(s); \ zval *__z = (z); \ Z_STRLEN_P(__z) = strlen(__s); \ Z_STRVAL_P(__z) = (duplicate?estrndup(__s, Z_STRLEN_P(__z)):(char*)__s);\ Z_TYPE_P(__z) = IS_STRING; \ } while (0) #endif
もう一度ビルドを実行する
# cd /root/mapserver-6.4.4/build # make # make install
「make install」でインストールされたCGIをApacheにコピーする
# cp /usr/local/bin/mapserv /var/www/cgi-bin/
Apacheサーバの起動
ポートの開放
# vi /etc/sysconfig/iptables
# Firewall configuration written by system-config-firewall # Manual customization of this file is not recommended. *filter :INPUT ACCEPT [0:0] :FORWARD ACCEPT [0:0] :OUTPUT ACCEPT [0:0] -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT -A INPUT -p icmp -j ACCEPT -A INPUT -i lo -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT # ↓追記 -A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT -A INPUT -j REJECT --reject-with icmp-host-prohibited -A FORWARD -j REJECT --reject-with icmp-host-prohibited COMMIT
# service httpd start
MapServerにアクセスしてみる
http://<サーバのIP>/cgi-bin/mapserv
ブラウザに以下の文字列が表示される。
No query information to decode. QUERY_STRING is set, but empty.
これが表示されると、無事にMapServerが動作している・・・らしい。
MapServerを構築したが、実は使い方がわかっていない・・・
次回以降にMapServerを使って、何かしらの機能なり画面なりを作って見ようと思う
