【インシデントレポート】一部ユーザーデータの破損について_2024年6月21日
概要
2024年6月19日午前9時8分にて、弊社の運用ミスによりユーザーデータの一部が破損する事案が発生しました。ユーザーの皆様にはご迷惑とご心配をおかけし誠に申し訳ございません。
本レポートでは、問題の概要、運用ミスの時系列、問題の原因、再発防止策について記載しております。
今回のインシデントを踏まえ、潜在的な運用リスクを最小限にするため、再発防止策として、全ての運用・検証フローの抜本的な見直しを実行いたします。この対応が行われるまで、新機能や新キャンペーンのリリースは一切行いません。
お客様の信頼を回復できるよう、全社を挙げて改善に努めてまいります。
本事案の影響
運用ミスにより「CatsMe!」のデータベースに保管されていた下記の情報が破損いたしました。
※なお、本事案により外部への情報漏洩は一切発生しておりません。
- 登録した猫の情報(年齢・性別・頭数など)
- AI判定結果・記録
- ログイン記録
- CatsMe!ポイント、CatsMe!くじ引きチケット
運用ミスの時系列
期間:2024年6月19日 09:09~2024年6月21日 06:00
2024年6月19日(水)
09:08 作業ミスの発生
・データベースのアップデート処理をエンジニアチームが対応
・この際に開発検証用のデータベース情報が、本番環境のデータベース情報に一部上書きされる運用ミスが発生
・ユーザーデータの一部が破損
09:15 問題の発覚
・本番環境データベースの情報が意図しない変更がなされていることが発覚
・バックアップデータを確認
10:28 2重編集によるエラー
・システム内にてデータベースの上書き作業が進行する中、バックアップデータの復元を試行
・上書き作業と復元作業が重複し、ユーザーデータの復元が不十分なまま、データベース変更履歴が更新
10:43 調査開始
・全社に問題が報告され、エンジニア複数名で調査開始
10:56 サービス停止
・CatsMe!を緊急メンテナンスに移行
・全ユーザーからのアクセスを制限
11:00 対策チーム立ち上げ
12:34 CatsMe!データベースのクラウド事業者と連携開始
15:32 破損データの範囲を特定
15:48 クラウド事業者へ調査依頼
23:36 一次調査
・クラウド事業者より一次調査結果を受領
・データ復元作業と並行し原因究明
6月20日(木)
04:01 二次調査
・クラウド事業者より二次調査結果を受領
・原因を特定
05:23 データ復元が可能な範囲を特定
08:00 サービス復旧作業開始
6月21日(金)
06:00 サービス復旧作業完了
06:45 近所メンテナンス解除
07:00 お詫びのご連絡
本事案の原因
本事案が発生してしまった原因としては、大きく以下の3点が考えられます。
- 6月13日にロイター通信より取材されたことを皮切りに、数多くのメディアに紹介されたことにより、弊社の予想よりも多くのユーザーが流入しサーバー負荷が高い状況が1週間以上続いていたこと。
- サーバー負荷が高い状態で、複数人の担当者が、同時にサーバーにアクセスしてしまったこと。
- サーバーの緊急時のバックアップ体制の構築が不完全であったこと。
再発防止策と実施状況
本事案が起きた理由を踏まえ、以下の通り再発防止策を社内に展開・周知を徹底した上、遂行してまいります。
再発防止策①
[概要]
運用担当者は、サーバー負荷の監視を毎営業日行い、週次で上長・社内に共有する。サーバー負荷が高まった場合は、即時社内周知を行い、サーバー負荷の低減策を協議の上、実行する。
[実施状況]
既に上記運用体制を社内周知済み。本日より運用を開始する。
再発防止策②
[概要]
運用責任者は、運用担当者のサーバーログイン状況を常に把握し、過剰な量の担当者がログインしないように指示を行う。運用担当者は、サーバー使用前に責任者に必ず許可を取る。
[実施状況]
既に上記運用体制を社内周知済み。本日より運用を開始する。
再発防止策③
[概要]
運用責任者を中心に、サーバーのバックアップ体制を社内に構築する。運用責任者は緊急時のバックアップ手順をマニュアル化・適宜訓練を行い、運用担当者が緊急時にスムーズな復旧が出来るように準備を行う。
[実施状況]
現在、運用責任者を中心に、バックアップ体制に関して社内で検討中。本事案が収束次第、バックアップ手順のマニュアル化及び訓練を社内で行う。
改めて、この度はご迷惑とご心配をおかけし大変申し訳ございません。
お客様の大切な情報をお預かりし、愛猫と共に幸福な生活をサポートできるよう、全社を挙げて改善に努めてまいります。
引き続きCatsMe!をご愛顧よろしくお願い申し上げます。
2024年6月21日
株式会社Carelogy
代表取締役 崎岡豪