マ・メールからの緊急時ご案内ページ          連絡網システムへログイン

トップ導入事例機能ご利用料金導入の流れQ&Aお問い合わせニュース
緊急時ご案内ページ
ファーストサーバー障害
2016/09/11障害情報
動画でわかるマメール
BCP(事業継続計画)
日本で起きた災害の歴史
マメール連絡網の便利な使い方
エクセルで会員情報自由自在
QRコードの作り方
年度変わりをスムーズに行なう方法
連絡網についてのお問い合わせ
わからないことは
お気軽にお問い合わせ下さい
連絡網TEL
平日9:00AM-17:00PM
お問い合わせ

Yahoo!ブックマークに登録 Yahooブックマーク登録

 > ホーム > 緊急時ご案内ページ > ファーストサーバー障害<<戻る

2012/6/20に発生した障害に関するお詫びとご報告



平素は格別のご高配を賜り厚く御礼申し上げます。
この度のサーバートラブルの件では皆様に多大なるご迷惑、ご心配をおかけし誠に申し訳ございませんでした。あらためて心より深くお詫び申し上げます。
これまでの状況を再度把握し直し整理いたしまして、今後の対策の策定をとりまとめました。


トラブルの経緯
2012年6月20日17時頃、突然www.mamail.jpへのアクセスが全くできない現象を確認しました。社内ネット環境に異常が無いかをチェックし、弊社のサーバー会社であるファーストサーバーへの問い合わせを行ないました。当初は回線異常ではないかと想定しておりましたが、ファーストサーバーへの問い合わせは混雑のため長時間不通となっており原因が判明せず、数時間後に通じた時に「すべてが消失した」旨を確認しました。


ファーストサーバーはこの時点までの説明を以下のサイトで行っております。
http://support.fsv.jp/urgent/report.html


要約いたしますと、特定のサーバーに対しメインテナンスプログラムを実施したところ、そのプログラムにミスがあり、すべてのサーバーに対して実行されてしまい削除されてしまったということ。また、バックアップされているデータに対してもメインテナンスを行なう仕様になっていたため、すべてのバックアップデータも削除されてしまったということです。さらに削除されてしまったデータを復元する作業手順に不備があり不適切な復元データが提供されてしまったということになります。


弊社では早期から復旧方法の検討を行なっておりました。最良の手段はファーストサーバーが保有している2重のバックアップが復旧も素早く、一番間近なデータであることから頼りにしておりました。しかし、バックアップもすべて消失していることと、弊社だけではなく5,000社以上が被害に遭っていることをその時点で認識。データの復元を行なったとの連絡があり、復元されたデータをチェックしてみると一部文字化けしている等状況が散見されましたので、弊社が深夜に行なっている遠隔バックアップからの復旧を決断し、その準備に取り掛かりました。ファーストサーバー自体が大きく混乱しておりましたが、とにかくハードウエアの復活を強く要望いたしました。しかしながら、サーバーマシンは初期化されてしまっているような状態で、実際にネット上で実稼働できることが確認できたのが翌21日朝でございました。
翌21日朝よりシステム及びデータの復旧作業を開始しましたが、遠隔により大量のデータを転送しなければならなかったため、長時間を要しましたが夕方には転送を終了。マメールのシステム本体や転送されたデータに関するあらゆるチェック作業を行ない、21時に稼働開始となりました。


弊社の対応
5,000社分のサーバーが一度に使用不能に陥るという前代未聞のトラブルの発生に弊社もかなり動揺いたしました。ファーストサーバーは、過去11年間一度も大きな障害を発生させていない弊社が最も信頼するサーバー会社であっただけに、このようなトラブルが発生いたしましたことについては残念でしかたありません。マメールをご利用の皆様におかれましては今回のトラブル発生により、管理操作が全くできないばかりか会員の皆様への対応など多大なるご迷惑をおかけしてしまい深くお詫び申し上げます。また、サーバー機能が完全に失われたことにより、弊社と皆様とのご連絡方法がお電話のみとなってしまい、現在の状況をご報告させていただくことができず大変なご迷惑をおかけしてしまいました。
今回唯一救われたことは、ファーストサーバーのバックアップ以外に危険分散の目的で自社でバックアップを毎日行なっていたため、これらのデータが修復に大きく役立ったことでした。しかしながらすべてのシステムやその環境設定、お客様の全データを転送によって復活させることができるまでに8時間以上を必要とし、その後動作確認等を行なって完全にお客様にサービスをご利用いただけるまでに合計で12時間近くを必要としてしまい、皆様に長時間にわたってお待ちいただかなければなりませんでした。


今後の対策
今回のような大規模な障害は弊社といたしましても初めての経験であり、完全に想定できていたかと問われますと、認識の甘さは否めません。バックアップ態勢をファーストサーバーも含め3重化していたことだけが唯一の救いでありましたが、管理会社であるファーストサーバーの人為的なミスで2つのバックアップが瞬時に完全に消失してしまいました。
やはり、お客様のデータを完全に守る義務は管理会社にあるのではなく、弊社にあるということを強く再認識いたしました。危険分散の概念を今まで通りに貫き、必要なすべての情報のバックアップを取得して安全な場所に保管しておく必要性があると感じております。また、障害発生時でもお客様とのコミュニケーションが行なえるよう、緊急時ご案内ページを設置して詳細なご案内を逐一掲示できるようにしてゆきます。
今回の障害回復作業で一番の問題は回復作業時間でありました。バックアップ時間及び回復時間ともに性能を向上させるため、新たなバックアップ体制を構築いたします。この新しいバックアップ体制により目標といたしまして、今回のようにすべてが消失したとしても2/3以下の時間で回復できるように設計構築して運用し、障害回復訓練もしていきます。


今回の大規模障害を発生させたファーストサーバーを今後も利用し続けるのかどうかという議論もあるかと存じます。弊社も様々なサーバー環境に関わってまいりましたが、過去11年間ほとんど障害なく稼働させてきた実績は大きく、比類無きものであると思います。今回の大規模障害において早い段階で第三者による事故調査委員会を設置し、今月末には詳細な最終調査報告書が公開されることになっております。これにつきましては皆様にもお知らせいたしますが、弊社といたしましては国内でこれだけの性能のサーバーで且つ多重化された強固な通信環境を併せ持ったサーバーサービスは他になく、最終調査報告書の公開を待って最終判断をしたいとは考えております。


弊社のシステムマメールは皆様に携帯メール連絡網の利便性を極力廉価にご提供させていただけるよう様々な工夫をして維持管理してまいりました。今回のようなサーバートラブルに限らず、複雑なインターネット回線網や電話回線網、無線アンテナ基地局や携帯電話会社のトラブルなど、マメールのシステムが非常に多様で複雑な設備環境に大きく依存している以上、今後もその影響を強く受けてしまうことは避けることができません。このような状況下におきましても、今後システムやその環境を堅牢に維持できるようにしていくために最大限の努力をし、且つ継続していくことを皆様にお約束いたします。
最後に、今回のトラブルに関しましてご迷惑、ご心配をおかけいたしましたことを伏して深くお詫び申し上げます。

有限会社オムニシステム
代表取締役 野村良平

 > ホーム > 緊急時ご案内ページ > ファーストサーバー障害<<戻る
トップ | 導入事例 | 導入の流れ | 機能 | Q&A | お問い合わせ | ニュース | 
» 運営会社
有限会社オムニシステム
» 代表者
代表取締役 野村 良平
» 所在地
〒509-2517
岐阜県下呂市萩原町萩原860番地
» 業務内容
ホームページ制作会社 岐阜県
» 関連ホームページ
災害・防災・緊急時の連絡とは
携帯メール連絡網「マ・メール」で一斉配信
携帯メール「マ・メール」で販売促進
» お問い合わせ
お問い合わせ担当の加藤と申します。
みなさまの連絡網システムがスムーズに本稼動されるよう、懇切丁寧にご案内させていただきます。
どんな些細なことでも構いませんので、どうかご遠慮なさらずお気軽にお問い合わせください。
※時間帯によってはお電話が大変込み合い、ご迷惑をおかけいたしております。
もし、お時間に余裕がございます場合にはメールにてお問い合わせください。
» お問い合せ
TEL、FAX、お問合せフォームからどうぞ
TEL 0576-53-0128
お問合せフォームはこちら
» お申込方法
必ず1ヶ月間の無料お試しをご利用いただきます。
無料お試しはこちら
» ご利用まで
*
約1日(営業日)で設定を完了しすぐに無料お試しをご利用いただけます。
お試し期間中にはいっさい料金はいただきません。
*無料お試しの期限が近づいてまいりましたらメールにてご連絡いたします。
専用フォームから継続してご利用になるかどうかをお決めください。
 
SSL(Secure Sockets Layer)による通信の暗号化と、ベリサイン社によるサーバー認証を使用して、より安全性の高いお申込みが可能です。
» 営業日カレンダー
土日・祝祭日を除く
午前9:00から17:00まで
2018 7月の営業 (…休業日)
1 2 3 4 5 6 7
8 91011121314
15161718192021
22232425262728
293031    
2018 8月の営業 (…休業日)
    1 2 3 4
5 6 7 8 91011
12131415161718
19202122232425
262728293031 
2018 9月の営業 (…休業日)
       1
2 3 4 5 6 7 8
9101112131415
16171819202122
23242526272829
30