【インシデントレポート】一部ユーザーデータの破損について_2024年6月21日

概要

2024年6月19日午前9時8分にて、弊社の運用ミスによりユーザーデータの一部が破損する事案が発生しました。ユーザーの皆様にはご迷惑とご心配をおかけし誠に申し訳ございません。

本レポートでは、問題の概要、運用ミスの時系列、問題の原因、再発防止策について記載しております。
今回のインシデントを踏まえ、潜在的な運用リスクを最小限にするため、再発防止策として、全ての運用・検証フローの抜本的な見直しを実行いたします。この対応が行われるまで、新機能や新キャンペーンのリリースは一切行いません。

お客様の信頼を回復できるよう、全社を挙げて改善に努めてまいります。

本事案の影響

運用ミスにより「CatsMe!」のデータベースに保管されていた下記の情報が破損いたしました。
※なお、本事案により外部への情報漏洩は一切発生しておりません。

  • 登録した猫の情報(年齢・性別・頭数など)
  • AI判定結果・記録
  • ログイン記録
  • CatsMe!ポイント、CatsMe!くじ引きチケット

運用ミスの時系列

期間:2024年6月19日 09:09~2024年6月21日 06:00

2024年6月19日(水)

09:08 作業ミスの発生
・データベースのアップデート処理をエンジニアチームが対応
・この際に開発検証用のデータベース情報が、本番環境のデータベース情報に一部上書きされる運用ミスが発生
・ユーザーデータの一部が破損

09:15 問題の発覚
・本番環境データベースの情報が意図しない変更がなされていることが発覚
・バックアップデータを確認

10:28 2重編集によるエラー
・システム内にてデータベースの上書き作業が進行する中、バックアップデータの復元を試行
・上書き作業と復元作業が重複し、ユーザーデータの復元が不十分なまま、データベース変更履歴が更新

10:43 調査開始
・全社に問題が報告され、エンジニア複数名で調査開始

10:56 サービス停止
・CatsMe!を緊急メンテナンスに移行
・全ユーザーからのアクセスを制限

11:00 対策チーム立ち上げ

12:34 CatsMe!データベースのクラウド事業者と連携開始

15:32 破損データの範囲を特定

15:48 クラウド事業者へ調査依頼

23:36 一次調査
・クラウド事業者より一次調査結果を受領
・データ復元作業と並行し原因究明

6月20日(木)

04:01 二次調査
・クラウド事業者より二次調査結果を受領
・原因を特定

05:23 データ復元が可能な範囲を特定

08:00 サービス復旧作業開始

6月21日(金)

06:00 サービス復旧作業完了

06:45 近所メンテナンス解除

07:00 お詫びのご連絡

本事案の原因

本事案が発生してしまった原因としては、大きく以下の3点が考えられます。

  • 6月13日にロイター通信より取材されたことを皮切りに、数多くのメディアに紹介されたことにより、弊社の予想よりも多くのユーザーが流入しサーバー負荷が高い状況が1週間以上続いていたこと。
  • サーバー負荷が高い状態で、複数人の担当者が、同時にサーバーにアクセスしてしまったこと。
  • サーバーの緊急時のバックアップ体制の構築が不完全であったこと。

再発防止策と実施状況

本事案が起きた理由を踏まえ、以下の通り再発防止策を社内に展開・周知を徹底した上、遂行してまいります。

再発防止策①

[概要]
運用担当者は、サーバー負荷の監視を毎営業日行い、週次で上長・社内に共有する。サーバー負荷が高まった場合は、即時社内周知を行い、サーバー負荷の低減策を協議の上、実行する。

[実施状況]
既に上記運用体制を社内周知済み。本日より運用を開始する。

再発防止策②

[概要]
運用責任者は、運用担当者のサーバーログイン状況を常に把握し、過剰な量の担当者がログインしないように指示を行う。運用担当者は、サーバー使用前に責任者に必ず許可を取る。

[実施状況]
既に上記運用体制を社内周知済み。本日より運用を開始する。

再発防止策③

[概要]
運用責任者を中心に、サーバーのバックアップ体制を社内に構築する。運用責任者は緊急時のバックアップ手順をマニュアル化・適宜訓練を行い、運用担当者が緊急時にスムーズな復旧が出来るように準備を行う。

[実施状況]
現在、運用責任者を中心に、バックアップ体制に関して社内で検討中。本事案が収束次第、バックアップ手順のマニュアル化及び訓練を社内で行う。

改めて、この度はご迷惑とご心配をおかけし大変申し訳ございません。

お客様の大切な情報をお預かりし、愛猫と共に幸福な生活をサポートできるよう、全社を挙げて改善に努めてまいります。
引き続きCatsMe!をご愛顧よろしくお願い申し上げます。

2024年6月21日
株式会社Carelogy
代表取締役 崎岡豪