平素は格別のご高配を賜り厚く御礼申し上げます。
2018年12月9日(日)06:00頃〜21:30頃に発生したjp7.mixhost.jpサーバーで発生しました障害につきまして、ご利用のお客様には長時間にわたり大変ご迷惑をおかけし、またデータベースデータのロールバックが発生しましたことを、深くお詫び申し上げます。
以下に、判明した障害事象、障害原因および対応状況についてご報告いたします。
2018年12月9日(日)06:00頃〜21:30頃の間において、ストレージシステムの不具合により、データベースサーバーが停止する事象が発生いたしました。
また、ストレージシステムの不具合により、データベースの破損が発生し、弊社にて取得していた正常なバックアップデータよりロールバックを実施いたしました。
jp7.mixhost.jpサーバーをご利用中のお客様(全mixhostユーザー様の約2%)におきまして、下記の影響が発生いたしました。
2018年12月9日(日)06:00頃〜21:30頃の間において、データベースサーバー(MariaDBサーバー)のご利用が困難な状況となりました。
また、その他サービスに関しても復旧に際し数回程度不安定な状態となりました。
データベースサーバーの復旧に際し、データのロールバックを実施いたしました。
そのため、データベースの内容が12月2日、または12月1日時点の内容にロールバックされております。
ストレージシステムにおきまして、ハードウェアの不具合が発生いたしました。
当該サーバーのストレージシステムは、2台のSSDを用いてデータを自動的に両方のSSDに保存し、故障によるデータの破損から保護する仕組みが導入されておりました。
しかしながら、今回のストレージシステムの不具合により、データベースサーバーが格納されていたストレージが正常動作せず、データベースデータの構成ファイルが破損し、復旧が困難な状態となりました。
この不具合は非常に稀なものであり、再発の可能性は非常に低いものとなります。
当該サーバーにおきましては、データベースサーバーのデータとその他データを物理的に分離しており、今回の障害につきましてはデータベースサーバーのみの影響となっております。
このため、弊社ではバックアップからのデータの復元に着手いたしましたが、上記不具合により直近のバックアップデータにも同様の不具合が発生している状況となっておりました(バックアップデータは物理的に離れた別のデータセンターに保管しております)。
弊社にて不具合が発生していないバックアップデータを確認しました所、12月2日時点、及び12月1日時点のバックアップにおいて問題がないことが確認されましたので、2日間のバックアップデータからなるべく最新の不具合が発生していないデータを復元させていただきました。
また、今回ストレージシステムの復旧、及び破損していないデータベースの確認におきまして長時間を要したことから、復旧までの期間が長期化いたしました。
当該サーバーにおきましては、不具合の発生していたストレージシステムの修復を実施いたしました。
弊社では2017年11月より、より堅牢なストレージシステムを構築した新しいハードウェアの導入を進めており、今回のサーバーと同等のサーバーにつきましては、順次新しいハードウェアにリプレースを進めてまいります。
今回障害の対象となりましたお客様につきましては、お詫びといたしまして3ヶ月間のご利用期間を無料で延長させていただきます。
ご利用期間の延長につきましては、数日中に付与予定となっております。
ご利用中のお客様には長時間に渡る障害、またデータのロールバックが発生しましたことを、重ねてお詫び申し上げます。