Nagios と derived でMySQLのスロークエリの量を監視する

Nagios と derived でMySQLのスロークエリの量を監視する

新しい機能をリリースした際に、MySQLに対して効率的ではないクエリが発行されてしまって、それが積もってサービス全体に影響が出てしまう前に発見してアラートをあげたい。\n\n発見する手立てとしてはCPU使用率やInnoDBのROW OPERATIONSが考えられるところですが、今回はスロークエリが発生した回数を監視することにした。ちなみにいつものことながら対象とするMySQLは4.0系。long\\_query\\_timeがオンラインで変更できません。。。はい\n\nMySQLのスロークエリが発生した回数は、show status のSlow_queriesという項目でみることができて\n\n mysql> show status like 'Slow_queries';\n +---------------+-------+\n | Variable_name | Value |\n +---------------+-------+\n | Slow_queries | 7238 |\n +---------------+-------+\n 1 row in set (0.00 sec)\n\nのように起動してから今までの long\\_query\\_time を超えた回数が表示できます。今回やりたい監視は、この数字を一定時間毎に取得して、その増加分の秒間の平均が閾値を超えていたらアラートをあげるというもの。\n\nNagiosでこのようなカウンター系の数字を監視をするには、プラグインの中で取得したデータを別の場所に保存し、前回のデータと比べて差分を出す必要があります。既成のNagiosプラグインで差分が取れるのは、[Percona Monitoring Plugins](http://www.percona.com/doc/percona-monitoring-plugins/nagios/index.html)に含まれる [pmp-check-mysql-status](http://www.percona.com/doc/percona-monitoring-plugins/nagios/pmp-check-mysql-status.html) などがあります。\n\n\nNagios以外だとzabbixやcactiなどのメトリクス収集ツールでアラートを上げられるのでしょうか。\n\n今回は、もう少し汎用的に使える derived というサーバに入れるデーモンと、memcachedの任意のキーをチェックできる check\\_memcached\\_val.pl という Nagios プラグインを書いて監視をしてみました。\n\n## derived\n\nderivedは指定したコマンドを定期的に実行して、その結果の差分をmemcachedプロトコルで取得できるようにするデーモンプログラムです\n\nCPAN: [https://metacpan.org/release/App-derived](https://metacpan.org/release/App-derived)
\ngithub: [https://github.com/kazeburo/App-derived](https://github.com/kazeburo/App-derived)\n\nインストールは cpanm で\n\n \$ cpanm -n App::derived\n\n次にコマンドを記したファイルを用意\n\n slowqueries: mysql -NB -e 'show /*!50002 global */ status like \"Slow_queries\"'\n\n「memcahcedのキー:コマンド」というフォーマットで書けます。複数指定する事もできます\n\n起動\n\n \$ derived --port 12306 -i 10 /path/to/cmdfile\n\n-i がコマンドを実行する間隔。ここでは10秒間隔にしています。プロセスはdaemontoolsやsupervisord、upstartなどで管理するといいでしょう\n\ntelnet で確認\n\n \$ telnet localhost 12306\n Trying 127.0.0.1...\n Connected to localhost.localdomain (127.0.0.1).\n Escape character is '^]'.\n get slowqueries\n VALUE slowqueirs 0 1\n 0\n END\n quit\n\n現在のslow_queriesは「0」のようですね。なお起動直後は「0E0」という特別な値が返るようになっています\n\n## check\\_memcached\\_val.pl\n\ncheck\\_memcached\\_val.pl はmemcachedサーバから指定したキーのキャッシュを取得してチェックできる Nagiosプラグインです。perlで書いてます\n\ngithub: [https://github.com/kazeburo/check_memcached_val](https://github.com/kazeburo/check_memcached_val)\n\nperl-5.8系が入っていればインストールはコピーだけで動くはずです\n\n \$ curl https://raw.github.com/kazeburo/check_memcached_val/master/check_memcached_val.pl > check_memcached_val.pl\n \$ chmod +x check_memcached_val.pl\n \$ cp check_memcached_val.pl /path/to/nagios/libexec\n\n基本的な使い方は\n\n \$ ./check_memcached_val.pl -H ホスト -P ポート -k キャッシュのキー -w warningの閾値 -c criticalの閾値\n\nです。今回はderivedが起動しているTCPポートから、slowqueriesというキャッシュを取得するので、Nagiosの監視コマンドの設定は\n\n define command{\n command_name check_slowqueries\n command_line \$USER1\$/check_memcached_val.pl -H \$HOSTADDRESS\$ -P 12306 -k slowqueries -w 0.2 -c 0.4\n }\n\nのように定義しました。とりあえず1秒間に0.2回でwarning、0.4回でcriticalを閾値にしました。\n\nあとは、サーバ毎のサービス設定を追加すれば設定完了です。これでNagiosでSlow\\_queriesの監視ができるようになりました。他に監視したい項目が増えても、同じ要領でderivedのコマンドファイルにコマンドを追加して、check\\_memcached\\_val.plで監視すれば新規にスクリプトを書かなくてもいいので、楽ですね。\n\n## まとめ\n\nderivedというデーモンとmemcachedの指定した値をチェックするNagiosプラグインでMySQLのSlow Queriesの監視ができました。これで偶発的に問題のあるアプリケーションが出てしまっても早期に発見ができ、積極的な開発と安定したサービス運用の両立させていくことができるでしょう。\n\n2つのプログラムの詳細は個別に記事を書いています\n\n数字を出力するコマンドを定期的に実行して、秒間の変化量を memcachedプロトコルで取れるサーバを書いた\n[https://blog.nomadscafe.jp/2013/02/-memcached.html](https://blog.nomadscafe.jp/2013/02/-memcached.html)\n\nmemcached上の任意の値を監視できるnagiosプラグイン書いた\n[https://blog.nomadscafe.jp/2013/02/memcachednagios.html](https://blog.nomadscafe.jp/2013/02/memcachednagios.html)\n\n\n\n\n \n\n\n