最近、頻繁にWEBサーバーが落ちるのでどうしたものかとずっと悩んで考えてましたが、インターネット検索を駆使して調べまくり、色々と試行錯誤した結果、WEBサーバーの負荷が減りました。
今までは検索エンジンがMovable Typeのsearch.cgiにアクセスするのは、アクセスアップに繋がるのでと思ってました。
WEBサーバーが落ちるのでどうしたものかとずっと悩んで考えてましたが、色々と試行錯誤した結果、WEBサーバーの負荷が減りました。
今までは検索エンジンがMovable Typeのsearch.cgiにアクセスするのは、アクセスアップに繋がるのでと思ってました。
しかし、毎日のようにWEBサーバーが固まり、アクセス数も激減してる状況を考えると検索エンジンをクロールさせてることでWEBサーバーがダウンするなら本末転倒だと判断し、検索エンジンとmt-search.cgiの関連を調べた結果、やはり原因と思われるので排除することにしました。
考えてみれば、本来ならWEBサーバーに1つしかないはずのMovable Typeが、マルチドメインとはいえ、2つもインストールされているのだから、当たり前と言えば当たり前なのですが（笑）
これだけ、毎回のようにWEBサーバーに負担をかけていたので、まずは、robot.txtに特定ファイルの検索除外として、mt-search.cgiを設定してみました。
アスタリスクを用いて、ワイルドカードとして全ての検索エンジンを対象にするように設定しました。
続いて、.htaccessファイルをMTのフォルダに設置し、設置と記述例のサイトを参考に以下の記述をしました。
これで固まらなくなれば、良いんですけどね。ちなみに同時にアクセスが多かったCGIで利用価値が低いと判断したものも一緒に削除してるせいか、今のところ固まってません。
1日経過しましたが、未だに固まらず、正常に動作しています。
更に、mt-search.cgiに対して、検索エンジンが高負荷の元凶を作ってることがわかったので、クロールを排除した途端に、WEBサーバーの表示速度やBlogの再構築時間が短縮され、軽くなった感じがします。
要するに、今までは検索エンジンに拾ってもらうことが絶対的な感覚でしたが、プログラム系のファイルは、必要以上に動かないように、検索エンジンの対象から外しておかないとクロールされるどころか、ホームページデータの表示自体が出来なくなり本末転倒になってしまうと言う事です。
本来なら、1つのWEBサーバーに1つのプログラムで終わるはずのmt-Search.cgiがマルチドメインで複数入れていたのも原因の一つですが、本来の１つでもアクセス数が増えてるサイトがあったので、同様になってたでしょうね。
これからもファイルのアクセス状況を監視して、適正なWEBサーバー負荷かどうかチェックしながら運営していきたいと思います。
もっとも、1万以上のアクセスが来るようになれば、もっと性能の良いWEBサーバーへの引っ越しも視野に入れておく必要がありますけどね（笑）
WEBサーバー取り扱い業者へのリンク
コメント