[2023/06/19 17:50] 原因および根本対策について更新しました。

以下の期間において、視聴ができない問題が発生しておりました。現在は復旧されております。

不具合の内容

• 視聴に失敗する

発生期間

• 2023-06-14 22:10-22:35 頃

問題の詳細

• Castify の利用拡大に伴い、アーカイブへのアクセスが増加したことで、配信サーバー上のキャッシュが不足し、ストレージへの直接のアクセスが増え、それによって実行環境のメモリーが不足したため。

対応

• 問題が発生したサーバーの再起動に伴って復旧しました。

今後の対策

• アーカイブへのアクセス増加に伴うリソース消費をなるべく低減させる対策を行います。
  • 具体的には、ユーザーや配信単位で同一サーバーで処理できるかどうかの検討や、ディスクへのキャッシュなどについて対策を行います。

ご利用の皆様にはご迷惑をお掛け致しました。よろしくお願い致します。

いつも Castify をご利用いただき、ありがとうございます。

Castify コンソール内のライブ配信を作成する画面をリニューアルしました。以前と比較して、映像や音声のトランスコードの指定や、先日リリースした遅延開始オプションの指定などが可能になっています。

また、コンソールから作成する処理を API として呼び出すコマンドの例を、作成ボタンの下に表示しております。これを参考に、自身のアプリケーションに作成処理を組み込みやすくなっています。

今後、この画面から複数のトランスコード指定や、プレビュー画像の作成などを可能にする予定です。

今後とも Castify をよろしくお願いいたします。

以下の期間において、視聴・配信ができない問題が発生しておりました。現在は復旧されております。

不具合の内容

• 視聴、配信に失敗する

発生時刻

• 2023-04-19 03:30-10:00

問題の詳細

• Castify が依存するプラットフォームのメンテナンスの実行に伴うアップデートにより、Castify アプリケーションが意図しない挙動となり、内部で利用している API サーバーが起動しなくなったため。
  • より詳細な原因としては、Castify が利用している Google Kubernetes Engine のクラスターのアップグレードにより、Castify API サーバーが依存している JVM およびライブラリの不具合が発生した形となっております。

対応

• API サーバーが利用するライブラリの一部置き換えを実施し、起動する状態としました。

今後の対策

• プラットフォームのメンテナンスについて、更新の事前通知を受け取れていなかったため、これを受け取り、事前に弊社内の開発環境にて、問題ないかどうかを確認できる体制を整えました。
• 障害通知を受け取る仕組みが不十分であったため、これを改善しました。
  • 障害の検知から担当者への架電をシステム側で繰り返す仕組みを導入しました。

ご利用の皆様にはご迷惑をお掛け致しました。よろしくお願い致します。

いつも Castify をご利用いただき、ありがとうございます。

Castify の Broadcast 作成 API に、ライブ配信の開始を遅延させるパラメーターである、 deferred パラメーターを追加しました。

API ドキュメントの説明にある通り、このパラメータを true にして Broadcast を作成した場合、配信を未スタート状態で作成します。

通常、配信は作成直後からスタート状態であり、メディアの入力の有無に関わらず視聴可能であるとみなされます。このオプションを true に設定すると、メディアの入力が実際に発生するまで配信のスタートを遅らせることが可能です。

これにより、メディアの入力と配信作成のタイミングにズレがある場合でもアーカイブの先頭に余分なギャップが挟まることを防ぐことができます。

また、実際の配信開始まで時間が空いてしまうライブであっても、従来は inactiveTTL の値までしか待つことができませんでしたが、この deferred によって、事前に Broadcast を作成しておいても問題なくなりました。

今後とも Castify をよろしくお願いいたします。

いつも Castify をご利用いただき、ありがとうございます。

Castify の PLAYBACK_CREATE Webhook は、柔軟な視聴権限を可能にする Webhook ですが、一方で、この Webhook エンドポイントにはユーザーの視聴開始時にリクエストがあるため、突発的な負荷が利用サービス側にかかってしまうという問題がありました。

今回、この問題への対処を可能にするため PATCH /playbacks API をリリースしました。また、ドキュメントサイトに、”視聴 Webhook の突発負荷を避ける” というページを追加しておりますので、合わせてご覧ください。

今後とも Castify をよろしくお願いいたします。

本日のリリースにて、配信のログ表示が日本語化されるようになりました。一部まだ英語表記のものが混じっておりますが、こちらは徐々に出力されなくなる予定です。残件につきましては都度対応を進めてまいります。

また、配信の詳細画面におけるデータ使用量の表示が3ヶ月分のみである旨が表示されるようになり、セレクトボックスも過去3ヶ月分となるようになりました。

不具合やご要望等あればお気軽にお問い合わせください。

今後とも Castify をよろしくお願いいたします。

2022/04/19(火) 3:45-8:40 にかけて、GCP メンテナンスに伴う、視聴に関する API サーバの構成変更に伴う再起動処理の失敗により、ライブおよびアーカイブが視聴できない問題が発生しました。大変ご迷惑をお掛け致しました。

不具合の内容

• ライブおよびアーカイブが視聴できない。

発生時刻

2022-04-19 3:45 – 2022-04-19 8:45

問題の詳細

• API サーバの構成変更を行った際に、必要となるコンピュータリソースが不足する構成となったため、自動起動によるサーバ起動が行なえない状態となっていた
  • 手動デプロイでは動作する状態だったため、この時点では検知できなかった
• 4/19 3:45 頃に GCP のメンテナンスによって、サーバが停止し、自動起動処理が行われたが、これが上記の理由により機能しなかったため、システムダウンとなった

対応

• API サーバを起動し、自動起動処理が正常におこなわれるように構成ファイルを修正しました。

今後の対策

• 外形監視が正しく機能していなかったため、本件のような障害が長期化しないようにします。
• 開発環境と本番環境との構成の差異により、開発環境では本問題が発生しない状態だったため、これについては将来的に解消し、問題を早めに発見できるようにします。

重ねてご利用の皆様には大変ご迷惑をお掛け致しました。よろしくお願い致します。

いつも Castify をご利用いただきありがとうございます。

本日、Castify コンソール: https://console.castify.jp のリニューアルを行いました。

旧コンソールは https://console-old.castify.jp/ で一定期間提供しておりますので、もし旧 UI が必要な場合はこちらをご利用ください。現状、新コンソールでは一部の機能が利用できない場合があります。

変更点

• UI を一新し、表記を日本語で統一しました。
• 各 URL にプロジェクトの ID が入るようになり、パーマリンクとして正しく機能するようになりました。
  • URL が変更になっても、プロジェクトへのアクセス権がない人は引き続き閲覧できません。
• 配信ごとのログが確認できるようになりました。
  • 配信リスト > 右側の 📄 ボタン > [ログ] タブから確認できます。
• アカウント登録時にメールアドレスの確認処理が必須になりました。
  • 既存のユーザーはメール確認済み状態となっており、この影響を受けません。今後、メールアドレスが未確認の場合には、プロジェクトの作成などの各種処理が行えません。

注意

最初に記述した通り、現在新しいコンソールでは、旧コンソールで提供されていた、以下の一部機能が利用できません。

• コンソール上のプレイヤーにおいて、シーク用のサムネイル表示が存在しない。

旧コンソールが必要な場合は https://console-old.castify.jp/ の方をご利用ください。ただし、アカウント登録は新コンソール側に統一されましたので、アカウント登録に関しては新コンソール側をご利用ください。

また、今回 DNS 上の付け替えを行ったため、一定時間 SSL 証明書のエラーが発生する可能性があります。もし長時間継続するようであれば、お手数ですが、ローカルの DNS キャッシュのクリアをお願いします。

その他

新コンソールに関して、不具合など発見されましたら、Slack もしくはメールにてご連絡ください。また近々、コンソールからのサポートチケットの起票が行えるようになりますので、リリースされた際はそちらもご利用頂ければと思います。