AmazonLinuxでRailsを動かす(2018年4月版)
毎回nokogiriにしてやられるのでメモ。不要なものもありそうだけど、とりあえず。あと、ちょっとバージョン変わったり、ubuntuとかAmazonLinux2、CentOS7等の別Linuxでも似たようなモノ入れれば大体いけるはず。
今回使ったモノ
$ yum install -y ruby24 ruby24-devel mysql57-devel gcc-c++ glibc-headers libyaml-devel zlib-devel libxml2-devel libxslt-devel $ alternatives --config ruby # ruby2.4に切り替え $ gem install --no-ri --no-doc nokogiri -- --use-system-libraries $ gem install --no-ri --no-doc rails $ rails new test-project -d mysql -B $ cd test-project $ vi Gemfile 追記> gem 'json' 追記> gem 'mini_racer' $ bundle install $ rails s
これでほぼバニラ状態であれば動くはず。DBは好きなモノに変えちゃって良い。 mini_racerの代わりにnode入れてもいいし、そもそもそのへん使わないという場合はコメントアウトしてしまおう。
API-Gatewayのリクエスト検証をServerlessで設定する
Webコンソールからはぺろっと出来る設定ですが、Serverlessで設定しようとしたところ、あんまり情報がなかったのでメモ。
Webコンソールにある２つのチェックルールはデフォルトでは定義されておらず、aws cliで確認しても情報は出てこない。
一度選択して設定してやると新規で定義されてaws cliでも出て来るようになる。なので、Serverlessではチェックルールを定義するところからしてやる必要がある。
あとあるあるパターンで英語のAWSドキュメントじゃないとMethodに与えるプロパティ「RequestValidatorId」が載ってなくてハマってた。
略 resources: Resources: TekiTouVal: Type: AWS::ApiGateway::RequestValidator Properties: Name: TekiTouValidator RestApiId: Ref: ApiGatewayRestApi ValidateRequestParameters: true TekitouMethod: Type: AWS::ApiGateway::Method 略 RequestValidatorId: Ref: TekiTouVal 略
参考
Docker + Rancher + Portainer 開発環境構築編
前回で初期設定が完了したので、それっぽい開発環境を作っていきます。
Docker + Rancher + Portainer 導入〜初期設定編 - 二度忘れた事を三度忘れないようにする
１．Rancherにアクセスし「Add Stack」を押してStackを作成する。 (今回はデフォルトの環境を利用
ここで、オプションで普段利用しているdocker composeファイルを指定したり、Rancher用のcomposerファイルを作成して指定することが出来ます。
２．作成したStackに「Add Service」を押してServiceを登録する。
1つ目のブロックでコンテナをいくつ起動するかをここで設定できますが、今回は開発用なので１つにします。
Side Kick Containerというものがありますが、今回は利用しません。というか詳細を理解出来てません。。。恐らくメインとなるサービスに対して依存関係のあるモノ(DB等)を関連付けて一緒に動かすモノだと思うのですが。。。
2つ目のブロックでサービスの名前、説明、利用イメージを指定します。「Port Map」でホストOSで待ち受けるポートとコンテナで待ち受けるポートのマッピングを行えます。「Service Links」は既に作成しているサービスにアクセスする際はここで指定します。
次にDockerの詳細設定が出来るので必要に応じて入力します。コンソールの種類もココで設定出来るので、開発では便利なオプション「-i -t」を指定します。
Volumesタブの「Volumes」でホストOSのディレクトリをコンテナから参照出来る様にします。例のとおり「ホストのボリュームまたはディレクトリパス:コンテナのマウントポイント:権限」という順番で記述します。
他にもIPアドレスやドメイン、セキュリティ、CPU・メモリリソースのリミット等をGUIで簡単に設定できます。
なお、通常のdockerコマンドと同様にコンテナを作成するとコンテナ数、名前、ServiceLinksしか変更出来なくなります。
３．起動したコンテナの整備をする。
色々な手法で構築済みコンテナを準備出来ます。今回はRancherのWebコンソールを使ってnginxとphp-fpmを入れました。
４．同様の手順でMySQLのコンテナを準備する。
明示的に設定していなければ同じStack内のサービスであればServiceLinkすることなく疎通可能なはず。。。設定しておくとStackトップページでLink図が綺麗になるくらい、なはず。。。
５．LBを作成する。
Stackトップページの「Add Service」右にある記号をクリックすると、Service以外も作成出来るので、LBを作成します。
ぱっと見ただけでもAWSのELB/ALBと同等からそれ以上のLBを導入出来るのがわかりますね。
1つ目のブロックはLBもコンテナベースで動くようなのでサービス同様コンテナの数を指定出来ます。
2つ目のブロックはLBの振り分けルールを一括で設定する箇所になります。
Access - Dockerクラスタ外部から通信を受け付ける場合はPublic、それ以外はInternalで良いはず。
Protocol - HTTP/S,SNI,TCP,TLSと幅広く対応しており、選択プロトコルによって以降の選択項目が変化します。今回はHTTP/Sで進めます。
Request Host - ドメインレベルの分散ルールが書けるのです。AWSにはない地味だけど便利な機能です。これを使うとローカル開発環境ではすごく助かったりします。
Port, Path - 待ち受けポートとリクエストパスで、この辺はAWSのソレと変わりないかと思います。
Service - 分散先をService単位で設定します。AWSでいうTargetGroupかな。
Port - Serviceで待ち受けているポートを指定します。これは各コンテナで待ち受けているポートで良いのでWebサーバであれば80,443となります。
※Selector Ruleは未検証なのでどういったものか詳しい方教えてください。。。
3つ目のブロックでSSLやStickyの設定、haproxyのコンフィグを直接書くといったことが出来ます。
６．完成。のはず
以上、アプリ周りは端折りましたが、ローカル開発環境レベルであれば実用に耐えられるかと思います。
GrafanaでMySQLのSlowQueryログを表示する
別途綺麗にまとめる予定なのでメモ。
AWSのRDSを利用していたり、MySQLのSlowLogをテーブルに保存している場合、ブラウザ経由で手軽に見られるようにする。
別記事で書く予定だが、今回はGrafanaを使って実現する。
１．DataSourceでMySQLを登録。Databaseを指定するところがあるので、mysqlを登録する。
２．ダッシュボードにテーブルタイプのパネルを追加する。
３．MetricsのDataSourceをMySQLにすると、SQL文を直書き出来るので、次にようなSQL文を記述。
select start_time, query_time, CAST(sql_text AS CHAR(200) CHARACTER SET utf8) AS sql_text from slow_log
４．Column Stylesでstart_timeカラムのDateFormatを定義すると綺麗になる。
ミソはmediumtext型のカラムをCASTしてやるところ。そのまま表示させようとするとBLOB型と判別されてエラーとなる。
Docker + Rancher + Portainer 導入〜初期設定編
Dockerを使って開発環境を構築する機会があり、Dockerのバージョンもそうだけど折角なので新しいモノを利用して構築した際のメモ。
※Rancherの勉強会を見つけたけど既に満員だった。。。
利用バージョン
・CentOS系
・Docker v1.12.06
・Rancher v1.6.2
・Portainer v1.13.4
この記事が参考になるケース
・開発者のインフラスキルが乏しいチーム
・遠隔地に開発用サーバがあり、そこに各個人の環境を準備する必要があるチーム
１．Dockerのインストール
以前使っていたバージョンより大分新しくなっていたので、特に気にせずyum install
$ yum install docker nginx $ service docker start または systemctl start docker
２．Rancherの導入
Quick Start Guide に従ってRancherコンテナを導入。
$ docker run -d --restart=unless-stopped -p 8080:8080 rancher/server:stable
３．Portainerの導入
PortainerもホストOSに入れて動かす、というタイプではなくそれすらもコンテナで動かすスタイルのようなので、郷(マニュアル)に従う。
$ docker run -d -p 9000:9000 -v /var/run/docker.sock:/var/run/docker.sock portainer/portainer
４．nginxの設定
同一LANにDockerホストがあるとあまり気にすることはないが、企業等では遠隔地にあったりポート制限により通信が通らない事が多いので、nginxでリバプロすることで快適なアクセスを実現。
# 例
upstream rancher {
server localhost:8080;
}
map $http_upgrade $connection_upgrade {
default Upgrade;
'' close;
}
server {
listen 80;
location / {
proxy_set_header Host $host;
proxy_set_header X-Forwarded-Proto $scheme;
proxy_set_header X-Forwarded-Port $server_port;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_pass http://rancher;
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection $connection_upgrade;
proxy_read_timeout 900s;
}
}
５．Rancher初期設定（とりあえず版）
オーケストレーションツールをオリジナル、k8s、Swarmと選べるようですが、今回は一番GUI的に力の入っているオリジナルのものを利用。本番で使う場合は考慮する必要があると思いますが、k8sもSwarmも勉強不足ということもありつつ、LBの設定が個人的に気に入っているのもあります。
ブラウザでアクセスすると初期画面になるのでナビゲーションにある「Add a Host」をクリックして管理対象のDockerホストを登録する。
Rancherへ接続するためのIPまたはドメインを設定する。
今回はDockerを登録するのでカスタムを選択して手順に沿って進めていき、Rancherに登録するDockerホストのIPを入力すると、一番下にコピペ用のコマンドが出来上がるので、対象Dockerホストにコピペ実行。
1分程で登録が完了するのでページ上部のメニュー「infrastructure」→「hosts」を選択すると先ほどのDockerホストが表示されて、色々なコンテナが動いて入ればOK。
とりあえずRancherの初期設定は以上。簡単ですね。
６．Portainerへ接続
初回はパスワード設定を求められるので設定してログイン。
初回ログイン時に管理対象を登録する画面が出て、ローカルを対象とする場合は上、リモートを対象とする場合は下にチェックを入れる。
管理対象と通信が出来ればダッシュボードが表示され、既にコンテナやRancherを導入していれば画像の様に色々動いている事がわかる。
以上で導入からとりあえず動くところまでが完了かな。
shutdown時にスクリプトを動かす。
この記事を参考にpower.shに動かしたいシェルスクリプトを1行追加したところうまく動かなかったのでメモ。
原因は不明だけども、ログファイルをsftpする以下みたいなコマンドを書いたけどうまく動かなかった。
#shutdown.sh sftp -b sftp.bat -i /home/user/.ssh/id_rsa user@192.168.0.0
手打ちすると動くけど、power.sh経由だとsuだなんだしても動かなかったので、以下の方式に変更したらとりあえず動いた。
