[復旧済] ライブおよびアーカイブが視聴できない問題

2022/04/19(火) 3:45-8:40 にかけて、GCP メンテナンスに伴う、視聴に関する API サーバの構成変更に伴う再起動処理の失敗により、ライブおよびアーカイブが視聴できない問題が発生しました。大変ご迷惑をお掛け致しました。

不具合の内容

• ライブおよびアーカイブが視聴できない。

発生時刻

2022-04-19 3:45 – 2022-04-19 8:45

問題の詳細

• API サーバの構成変更を行った際に、必要となるコンピュータリソースが不足する構成となったため、自動起動によるサーバ起動が行なえない状態となっていた
  • 手動デプロイでは動作する状態だったため、この時点では検知できなかった
• 4/19 3:45 頃に GCP のメンテナンスによって、サーバが停止し、自動起動処理が行われたが、これが上記の理由により機能しなかったため、システムダウンとなった

対応

• API サーバを起動し、自動起動処理が正常におこなわれるように構成ファイルを修正しました。

今後の対策

• 外形監視が正しく機能していなかったため、本件のような障害が長期化しないようにします。
• 開発環境と本番環境との構成の差異により、開発環境では本問題が発生しない状態だったため、これについては将来的に解消し、問題を早めに発見できるようにします。

重ねてご利用の皆様には大変ご迷惑をお掛け致しました。よろしくお願い致します。