Vagrantでロードバランサ+WEBサーバ×２+DBを構築
はじめに
Webアプリやら常駐サービスを開発するときに、いつも新しく仮想サーバを作成するのだけれども、容量がでかいし、構築に時間がかかる。
「いつか使うかも」って思って、全然消さなかったりする
一緒に開発するからといって、仮想サーバを渡しても、IPアドレスが変わったりして、普段気にしない環境が変わるので面倒臭い
あと開発に関わる人全員が、環境構築ができる訳ではないし
いい加減、環境構築のハードルを下げないとな～と思い、前々から使ってみようと思っていたVagrantを使ってみた
目次
構築する環境
- DBサーバ（PostgreSQL 9.6）
- CPU:2コア
- MEM:1GB
- nginx（ロードバランサ目的）
- CPU:1コア
- MEM:512MB
- Webサーバ（Tomcat 8.5）×２台
- CPU:2コア
- MEM:1GB
- 全部CentOS7
Vagrantにプラグインの追加
設定ファイルの転送等で共有フォルダを使用するが、共有フォルダをマウントする際にエラーが発生する。
エラーを防ぐため、以下のコマンドでプラグインを最初にインストールする。
参考サイト
vagrant plugin install vagrant-vbguest
ベースのbox作成
DBサーバ、WEBサーバを構築する前にCentOS7に共通な設定・更新を実施し、元になるboxを作成する。
※元になるboxを作成する前は、何回も仮想環境を作り直して、新しい仮想PCができるたびに「yum update」やら「Guest Additions」の更新が走ったりとかなり時間がかかった・・・
まず、作業ディレクトリにて「vagrant init」を実行
作成された「Vagrantfile」を以下のように編集した
# -*- mode: ruby -*- # vi: set ft=ruby : Vagrant.configure("2") do |config| config.vm.box = "centos/7" config.vm.provider "virtualbox" do |vb| vb.memory = "512" end config.vm.provision "shell", inline: <<-SHELL # いつものやーつ sudo yum update -y sudo yum install vim wget -y # 時刻を日本にする sudo cp -p /usr/share/zoneinfo/Japan /etc/localtime # 時刻を自動で調整するようにする cp /etc/chrony.conf /etc/chrony.conf_preprovision sudo sed -i -e "s/server 0.centos.pool.ntp.org iburst/server ntp.nict.jp/g" /etc/chrony.conf sudo sed -i -e "s/server 1.centos.pool.ntp.org iburst/server ntp1.jst.mfeed.ad.jp/g" /etc/chrony.conf sudo sed -i -e "s/server 2.centos.pool.ntp.org iburst/server ntp2.jst.mfeed.ad.jp/g" /etc/chrony.conf sudo sed -i -e "s/server 3.centos.pool.ntp.org iburst/server ntp3.jst.mfeed.ad.jp/g" /etc/chrony.conf sudo chronyc -a makestep # 空き領域をゼロ埋めするために一時ディレクトリ/tmpに適当なファイルZEROを作成。中身はキッチリゼロ埋めされる。 sudo dd if=/dev/zero of=/tmp/ZERO bs=1M sudo rm -f /tmp/ZERO SHELL end
空き領域をゼロ埋めしているのは、boxサイズを小さくするため
以下のサイトのコメントを参考にした。
編集が終わったら以下のコマンドを実行し仮想OSを作成する
vagrant up
「vagrant up」完了後、パッケージ・boxを作成（名前はmy_base_centos7にした）
vagrant package vagrant box add my_base_centos7 package.box
もう要らないので後片付け
vagrant destroy
エクスプローラからpackage.boxの削除する
Vagrantfileの作成
Vagrantfileを以下のようにした
# -*- mode: ruby -*- # vi: set ft=ruby : Vagrant.configure("2") do |config| config.vm.box = "my_base_centos7" config.vm.synced_folder "./synced", "/vagrant_data", create: true config.vm.define :db do |db| db.vm.hostname = "mt-db" db.vm.provision "db", type: "shell", :path => "create_db_server.sh", :privileged => false db.vm.network :forwarded_port, id: "ssh", guest: 22, host: 7022 db.vm.network "forwarded_port", guest: 5432, host: 5432 db.vm.network "private_network", ip: "192.168.33.10" db.vm.provider "virtualbox" do |db_vb| db_vb.name = "mt_db" db_vb.cpus = 2 db_vb.memory = "1024" end end config.vm.define :proxy do |proxy| proxy.vm.hostname = "mt-proxy" proxy.vm.provision "proxy", type: "shell", :path => "create_proxy_server.sh", :privileged => false proxy.vm.network :forwarded_port, id: "ssh", guest: 22, host: 7122 proxy.vm.network "forwarded_port", guest: 8888, host: 8888 proxy.vm.network "private_network", ip: "192.168.33.11" proxy.vm.provider "virtualbox" do |proxy_vb| proxy_vb.name = "mt_proxy" proxy_vb.cpus = 1 proxy_vb.memory = "512" end end config.vm.define :web1 do |web1| web1.vm.hostname = "mt-web1" web1.vm.provision "web1", type: "shell", :path => "create_web_server.sh", :privileged => false web1.vm.network :forwarded_port, id: "ssh", guest: 22, host: 7222 web1.vm.network "private_network", ip: "192.168.33.12" web1.vm.provider "virtualbox" do |web1_vb| web1_vb.name = "mt_web1" web1_vb.cpus = 2 web1_vb.memory = "1024" end end config.vm.define :web2 do |web2| web2.vm.hostname = "mt-web2" web2.vm.provision "web2", type: "shell", :path => "create_web_server.sh", :privileged => false web2.vm.network :forwarded_port, id: "ssh", guest: 22, host: 7322 web2.vm.network "private_network", ip: "192.168.33.13" web2.vm.provider "virtualbox" do |web2_vb| web2_vb.name = "mt_web2" web2_vb.cpus = 2 web2_vb.memory = "1024" end end end
フォルダ構成はこんな感じ
C:.
│ create_db_server.sh---------DB構築スクリプト
│ create_proxy_server.sh------nginx構築スクリプト
│ create_web_server.sh--------Tomcat構築スクリプト
│ Vagrantfile
│
├─.vagrant
│
└─synced--------仮想マシンと同期するフォルダ
├─db
│ sample_db.dump.bz2---------DBダンプ
│ set_password_to_db.sql-----パスワード設定SQL
│
├─proxy
│ 404.html-------------NotFound画面
│ maintenance.html-----メンテナンス画面
│ nginx.conf-----------nginxの設定ファイル
│ nginx.service--------自動起動の設定ファイル
│
└─web
sample.war----------配置WEBアプリ
tomcat.service------自動起動の設定ファイル
tomcat.sh-----------/etc/profile.dに配置
「create_db_server.sh」「create_proxy_server.sh」「create_web_server.sh」には、サーバを構築するためのコマンドが入っている。
あまり参考にならないであろうプロビジョニングスクリプト
create_db_server.sh（PostgreSQL構築）
参考
create_proxy_server.sh（ロードバランサnginx構築）
参考
create_web_server.sh（Webサーバ構築）
参考
終わりに
少々複雑なサーバ構成でも、他の人に渡すときはVagrantfile＋αで済むのはありがたいし、変更内容は基本プロビジョニングした時のスクリプトを見れば大丈夫なのは良いですな。
ただプロビジョニングのスクリプトを作成するのには凄い時間が掛かった・・・
最初に共通で使用するboxを作成しておけば、もう少し苦労が少なかったかも
nginxでセッション維持するロードバランサを構築
はじめに
よくあるWEBサーバ＋DBサーバを使用した、とあるサービスを作る事になった
そのサービスをリリース後は結構な利用人数になりそうだった
なので、負荷分散ができる環境に前もって準備をしておこうと思った
ただし管理画面があるので、とあるURL以下はセッション維持したい（Android、iOS等向けのAPIは振り分けて、ブラウザからの管理画面へのアクセスはセッション維持する）
nginxでロードバランサ的なことができるとは知っていたけど、セッション維持がどうやるか・・・
色々調べた結果、セッション維持はnginxにモジュールを追加することで出来そうだと分かった
以下のサイトを参考に環境を構築した
参考サイト
目次
ロードバランサの構成
- CentOS 7
- nginx-1.13.7
- 追加モジュール：nginx-sticky-module-ng-1.2.6
コンパイル環境の準備
更新やら、コンパイルに必要なパッケージ群をインストール
yum update yum install vim yum groupinstall 'Development Tools' yum install epel-release
nginxが必要としているパッケージをインストール
yum install perl perl-devel perl-ExtUtils-Embed libxslt libxslt-devel libxml2 libxml2-devel gd gd-devel GeoIP GeoIP-devel
nginxのインストール
nginxのソースコードをダウンロード・展開する
cd /usr/local/src wget http://nginx.org/download/nginx-1.13.7.tar.gz && tar zxvf nginx-1.13.7.tar.gz
また、nginxのコンパイルに必要な「PCRE」、「zlib」、「OpenSSL」のソースコードをダウンロードする。
cd /usr/local/src wget https://ftp.pcre.org/pub/pcre/pcre-8.41.tar.gz && tar xzvf pcre-8.41.tar.gz wget https://www.zlib.net/zlib-1.2.11.tar.gz && tar xzvf zlib-1.2.11.tar.gz wget https://www.openssl.org/source/openssl-1.1.0g.tar.gz && tar xzvf openssl-1.1.0g.tar.gz
展開し終わったら要らないので削除
rm -rf *.tar.gz
ロードバランサのモジュールのソースコードを以下のサイトのからダウンロードする
wget https://bitbucket.org/nginx-goodies/nginx-sticky-module-ng/get/1.2.6.tar.gz -O nginx-sticky-module-ng-1.2.6.tar.gz && tar xzvf nginx-sticky-module-ng-1.2.6.tar.gz
解凍したら「nginx-goodies-nginx-sticky-module-ng-c78b7dd79d0d」というディレクトリになっていた。
あとで見直してもわかるように、ディレクトリ名を変更
mv nginx-goodies-nginx-sticky-module-ng-c78b7dd79d0d nginx-sticky-module-ng-1.2.6
manコマンドでnginxのマニュアルが見れるように以下の以下のコマンドを実行
cp /usr/local/src/nginx-1.13.7/man/nginx.8 /usr/share/man/man8 gzip /usr/share/man/man8/nginx.8
以下のコマンドでマニュアルが表示される
man nginx
nginxのディレクトリに移動し「configure」を実行
cd /usr/local/src/nginx-1.13.7
./configure --prefix=/etc/nginx \
--sbin-path=/usr/sbin/nginx \
--modules-path=/usr/lib64/nginx/modules \
--conf-path=/etc/nginx/nginx.conf \
--error-log-path=/var/log/nginx/error.log \
--pid-path=/var/run/nginx.pid \
--lock-path=/var/run/nginx.lock \
--user=nginx \
--group=nginx \
--build=CentOS \
--builddir=nginx-1.13.7 \
--with-select_module \
--with-poll_module \
--with-threads \
--with-file-aio \
--with-http_ssl_module \
--with-http_v2_module \
--with-http_realip_module \
--with-http_addition_module \
--with-http_xslt_module=dynamic \
--with-http_image_filter_module=dynamic \
--with-http_geoip_module=dynamic \
--with-http_sub_module \
--with-http_dav_module \
--with-http_flv_module \
--with-http_mp4_module \
--with-http_gunzip_module \
--with-http_gzip_static_module \
--with-http_auth_request_module \
--with-http_random_index_module \
--with-http_secure_link_module \
--with-http_degradation_module \
--with-http_slice_module \
--with-http_stub_status_module \
--http-log-path=/var/log/nginx/access.log \
--http-client-body-temp-path=/var/cache/nginx/client_temp \
--http-proxy-temp-path=/var/cache/nginx/proxy_temp \
--http-fastcgi-temp-path=/var/cache/nginx/fastcgi_temp \
--http-uwsgi-temp-path=/var/cache/nginx/uwsgi_temp \
--http-scgi-temp-path=/var/cache/nginx/scgi_temp \
--with-mail=dynamic \
--with-mail_ssl_module \
--with-stream=dynamic \
--with-stream_ssl_module \
--with-stream_realip_module \
--with-stream_geoip_module=dynamic \
--with-stream_ssl_preread_module \
--with-compat \
--with-pcre=/usr/local/src/pcre-8.41 \
--with-pcre-jit \
--with-zlib=/usr/local/src/zlib-1.2.11 \
--with-openssl=/usr/local/src/openssl-1.1.0g \
--with-openssl-opt=no-nextprotoneg \
--with-debug \
--add-module=/usr/local/src/nginx-sticky-module-ng-1.2.6
コンパイルする
make
このときはコンパイルするとエラーが発生した
以下がエラーメッセージ
/usr/local/src/nginx-sticky-module-ng-1.2.6/ngx_http_sticky_misc.c: 関数 ‘ngx_http_sticky_misc_md5’ 内:
/usr/local/src/nginx-sticky-module-ng-1.2.6/ngx_http_sticky_misc.c:152:15: エラー: ‘MD5_DIGEST_LENGTH’ が宣言されていません (この関数内での最初の使用)
u_char hash[MD5_DIGEST_LENGTH];
^
/usr/local/src/nginx-sticky-module-ng-1.2.6/ngx_http_sticky_misc.c:152:15: 備考: 未宣言の識別子は出現した各関数内で一回のみ報告されます
/usr/local/src/nginx-sticky-module-ng-1.2.6/ngx_http_sticky_misc.c:152:10: エラー: 使用されない変数 ‘hash’ です [-Werror=unused-variable]
u_char hash[MD5_DIGEST_LENGTH];
^
/usr/local/src/nginx-sticky-module-ng-1.2.6/ngx_http_sticky_misc.c: 関数 ‘ngx_http_sticky_misc_hmac_md5’ 内:
/usr/local/src/nginx-sticky-module-ng-1.2.6/ngx_http_sticky_misc.c:189:15: エラー: ‘MD5_DIGEST_LENGTH’ が宣言されていません (この関数内での最初の使用)
u_char hash[MD5_DIGEST_LENGTH];
^
/usr/local/src/nginx-sticky-module-ng-1.2.6/ngx_http_sticky_misc.c:190:12: エラー: ‘MD5_CBLOCK’ が宣言されていません (この関数内での最初の使用)
u_char k[MD5_CBLOCK];
^
/usr/local/src/nginx-sticky-module-ng-1.2.6/ngx_http_sticky_misc.c:190:10: エラー: 使用されない変数 ‘k’ です [-Werror=unused-variable]
u_char k[MD5_CBLOCK];
^
/usr/local/src/nginx-sticky-module-ng-1.2.6/ngx_http_sticky_misc.c:189:10: エラー: 使用されない変数 ‘hash’ です [-Werror=unused-variable]
u_char hash[MD5_DIGEST_LENGTH];
^
cc1: all warnings being treated as errors
解決方法は、bitbucketのissuesにあった
（しばらくメンテナンスされていないっぽいけど、今後大丈夫なんだろうか・・・）
ファイル：ngx_http_sticky_misc.cのinclude部分に以下を追記
#ifndef MD5_DIGEST_LENGTH #include <openssl/md5.h> #endif #ifndef SHA_DIGEST_LENGTH #include <openssl/sha.h> #endif
改めて、コンパイルとインストールを実行
make make install
設定でモジュールがロードできるようにシンボリックリンクを作成
ln -s /usr/lib64/nginx/modules /etc/nginx/modules
以下のコマンドが実行できればOK
nginx -V
nginxのユーザを作成する
useradd --system --home /var/cache/nginx --shell /sbin/nologin --comment "nginx user" --user-group nginx
ちなみに、設定ファイルの確認は以下のコマンドで確認できる。
nginx -t
このコマンドを実行すると、「ディレクトリが作れねぇ！」みたいなエラーがでてくる
nginx: [emerg] mkdir() "/var/cache/nginx/client_temp" failed (2: No such file or directory)
このときは、「/var/cache/nginx」というディレクトリを作成する。
mkdir -p /var/cache/nginx
nginxの起動と自動起動
nginxを自動起動させるため、「/usr/lib/systemd/system/nginx.service」を作成する
vim /usr/lib/systemd/system/nginx.service
ファイルの中身はこんな感じ（参考サイトのコピペ）
[Unit] Description=nginx - high performance web server Documentation=https://nginx.org/en/docs/ After=network-online.target remote-fs.target nss-lookup.target Wants=network-online.target [Service] Type=forking PIDFile=/var/run/nginx.pid ExecStartPre=/usr/sbin/nginx -t -c /etc/nginx/nginx.conf ExecStart=/usr/sbin/nginx -c /etc/nginx/nginx.conf ExecReload=/bin/kill -s HUP $MAINPID ExecStop=/bin/kill -s TERM $MAINPID [Install] WantedBy=multi-user.target
nginxの起動と自動起動の有効化
systemctl start nginx systemctl enable nginx
nginxの設定
管理画面のみセッションを維持したいので、ロードバランサの方式は、セッションを維持するタイプと維持しないタイプ２種類用意する
- keep_session_backends
- 管理画面用
- default_backends
- その他
upstream keep_session_backends {
sticky;
server 192.168.33.12:8080;
server 192.168.33.13:8080;
}
upstream default_backends {
server 192.168.33.12:8080;
server 192.168.33.13:8080;
}
「/example」以下は「default_backends」を使用し、 「/example/admin」以下は「keep_session_backends」を使用する設定
location /example {
proxy_pass http://default_backends;
}
location /example/admin {
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-Proto $scheme;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header Host $http_host;
proxy_set_header X-Forwarded-Port $server_port;
proxy_redirect off;
proxy_pass http://keep_session_backends;
}
「/example/admin」内の「proxy_set_header」は、Webアプリでリダイレクトするときに、ドメイン・ポート番号が変わらないようにしている
参考サイト
全体はこんな感じ（コメントは削除）
worker_processes 1;
events {
worker_connections 1024;
}
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
keepalive_timeout 65;
upstream keep_session_backends {
sticky;
server 192.168.33.12:8080;
server 192.168.33.13:8080;
}
upstream default_backends {
server 192.168.33.12:8080;
server 192.168.33.13:8080;
}
server {
listen 8888;
server_name localhost;
port_in_redirect on;
location /example {
proxy_pass http://default_backends;
}
location /example/admin {
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-Proto $scheme;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header Host $http_host;
proxy_set_header X-Forwarded-Port $server_port;
proxy_redirect off;
proxy_pass http://keep_session_backends;
}
error_page 404 /404.html;
location = /404.html {
root html;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
}
※ポート番号は、開発環境のため、8888番を使用
終わりに
「example/admin」以外の「example」以下には、交互にアクセスし、「example/admin」以下には片方のみアクセスするのを確認できた。
ちなみに今回使用した追加モジュールの「nginx-sticky-module-ng」は、2016年08月09日以降コミットがない・・・
nginxのバージョンが上がったときに、ちゃんと動作するのか心配
CentOS6にTomcat8.5をインストール＆自動起動設定
はじめに
とあるプロジェクトで、Java（Spring Boot）でWEBアプリケーションを作ることにした
開発中はWindows内の統合開発環境の組み込みサーバで、アプリの動作確認できる
しかし本運用は多分CentOSで、今までApache＋PHPの環境構築しかやったことがなかったため、デプロイの方法とか全然わからない・・・
なので色々調査・検討のためCentOSにTomcatサーバをインストールしてみた
環境
Java8のインストール
以下のサイトにアクセスしてURLを取得
Java SE Development Kit 8 - Downloads
wgetでrpmをダウンロードする。（「Accept License Agreement」が選ばれていないとダウンロードできないので色々オプションを追加している）
# wget --no-check-certificate --no-cookies - --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.rpm # rpm -Uvh jdk-8u131-linux-x64.rpm
以下のコマンドでインストールされたか確認
# java -version java version "1.8.0_131" Java(TM) SE Runtime Environment (build 1.8.0_131-b11) Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)
Tomcatのインストール
Tomcatのインストール先を「/opt/tomcat」にするためディレクトリを作成
# mkdir /opt/tomcat
以下のページにアクセスして、ダウンロードするファイルのURLを取得
Apache Tomcat® - Apache Tomcat 8 Software Downloads
Javaのrpmと同じようにwgetでTomcatをダウンロードしアーカイブを展開する
# cd /opt/tomcat # wget http://www-eu.apache.org/dist/tomcat/tomcat-8/v8.5.16/bin/apache-tomcat-8.5.16.tar.gz # tar xvf apache-tomcat-8.5.16.tar.gz
環境変数の追加
Tomcatに必要な環境変数が読み込まれるように「/etc/profile.d/tomcat.sh」を新規作成する
「/etc/profile.d/tomcat.sh」に以下を追記する
JRE_HOME=/usr/java/default CATALINA_HOME=/opt/tomcat/apache-tomcat-8.5.16 export JRE_HOME CATALINA_HOME
現在のターミナルに環境変数を適用
# . /etc/profile
Tomcat起動
以下のコマンドでTomcatを起動する
# /opt/tomcat/apache-tomcat-8.5.16/bin/startup.sh
外部からアクセスするためiptablesの修正。以下をsshの設定あたりに追加
-A INPUT -m state --state NEW -m tcp -p tcp --dport 8080 -j ACCEPT
ブラウザからアクセスするとTomcatのページが表示される
ちなみにTomcatの停止は以下のコマンド
# /opt/tomcat/apache-tomcat-8.5.16/bin/shutdown.sh
起動スクリプトの作成
なので、以下のサイトをパクって参考に起動スクリプトを作成
「/etc/init.d/tomcat」を新規作成
# vim /etc/init.d/tomcat
スクリプトの中身
#!/bin/sh # # chkconfig: 2345 85 15 # description: My Tomcat auto start # . /etc/rc.d/init.d/functions . /etc/profile.d/tomcat.sh case "$1" in start) echo -n "Tomcat starting..." ${CATALINA_HOME}/bin/startup.sh ;; stop) echo -n "Tomcat stopping..." ${CATALINA_HOME}/bin/shutdown.sh ;; restart) $0 stop $0 start ;; *) echo "Usage: $0 {start|stop|restart}" exit 1 esac exit 0
# chmod 755 /etc/init.d/tomcat # chkconfig --add tomcat # chkconfig --list tomcat（起動するランタイムの確認）
CentOSを再起動しても8080にアクセスするとTomcatのページが表示される
おわりに
とりあえず今回はTomcatのインストール・自動起動の設定までやった
本運用のためには他にもポート番号の変更・logrotate等の設定等やらないといけないと思うが、また別の機会に実施しようと思う
