2022/6/24 (金) AM1:00-2:00 (前日 25:00-26:00) に配信システムの更新を行います。

更新内容

• 低負荷時にまれに配信が滞り映像などが乱れる問題の修正

メンテナンスの影響

配信の瞬断

配信サーバーが入れ替わるタイミングで、配信サーバーと配信クライアント間の TCP/IP 接続の瞬断が発生します。

Castify SDK または OBS 等の一般的な配信ソフトウェアをご利用であれば、自動的に再接続されるため視聴側への影響は軽微です。一部の再接続を行わないクライアント(例 ffmpeg)をご利用の場合は手動で復旧していただく必要がございます。

2022/6/3 (金) AM1:00-2:00 (前日 25:00-26:00) に配信システムの更新を行います。

更新内容

• トランスコードの問題発生時の復旧力の向上

メンテナンスの影響

配信の瞬断

配信サーバーが入れ替わるタイミングで、配信サーバーと配信クライアント間の TCP/IP 接続の瞬断が発生します。

Castify SDK または OBS 等の一般的な配信ソフトウェアをご利用であれば、自動的に再接続されるため視聴側への影響は軽微です。一部の再接続を行わないクライアント(例 ffmpeg)をご利用の場合は手動で復旧していただく必要がございます。

本日 Castify のサービスが一時的に利用不能な状態に陥っておりました。原因は特定され復旧作業も済んでおり、現在は同様の問題は確認されておりません。大変なご迷惑をおかけして誠に申し訳ございませんでした。

原因

前回の TLS 証明書の更新作業の際、不手際により新しい証明書が各サーバーに適用されていなかったため、期限切れを起こしていた。また、TLS 証明書の有効期限の確認フローに不備があり、外部監視の項目からも漏れていたため。

発生時刻

• 2022-5-26 22:50 – 2022-5-26 23:10

発生事象

• Castify の各サービス（視聴系および各 api サーバー）へのアクセス不能もしくは証明書エラーの表示
  • iOS 等の一部端末では証明書の検証が行われず、上記の期間でもアクセスが可能できた端末があったことを確認しています。

対応

期限切れとなった TLS 証明書を新たに取得したものに置き換えた。

今後の対策

証明書の有効期限チェックを自動化しました。また、従来存在していた、期限前の警告メールが担当者全員に送られるように変更しました。

今後は完全な更新の自動化や監視の仕組みなどを強化し再度このようなことが起こらないように努めてまいります。

重ねてご利用の皆様には大変ご迷惑をお掛け致しました。よろしくお願い致します。

2022/5/20 (金) AM1:00-2:00 (前日 25:00-26:00) に配信システムの更新を行います。

更新内容

• トランスコード機能の安定性を向上
• 配信終了直後のタイムシフトへのアクセスでエラーが発生する問題の修正

メンテナンスの影響

配信の瞬断

配信サーバーが入れ替わるタイミングで、配信サーバーと配信クライアント間の TCP/IP 接続の瞬断が発生します。

Castify SDK または OBS 等の一般的な配信ソフトウェアをご利用であれば、自動的に再接続されるため視聴側への影響は軽微です。一部の再接続を行わないクライアント(例 ffmpeg)をご利用の場合は手動で復旧していただく必要がございます。

本日、ライブの視聴を行うと環境によらず不定期に音声が途切れたりプレイヤーが停止するという問題が発生しました。原因は特定され復旧作業も済んでおり、現在は同様の問題は確認されておりません。大変なご迷惑をおかけして誠に申し訳ございませんでした。

不具合の内容

• ライブの視聴時に音声が乱れる

発生時刻

• 2022-4-23 14:30 – 2022-4-24 0:10

問題の詳細

• ライブの視聴を行うと環境によらず定期的に音声が途切れたりプレイヤーが停止する

対応

• 原因となったバグを特定／修正し配信サーバーを更新致しました。

今後の対策

• 社内での検証ケースが不足しており、開発環境及び本番環境でのテストで発見することが出来なかったため、改めて検証ケースを追加しました。また、本番反映後のお客様環境での確認が十分でなかったため、発覚が遅れました。今後はより広い範囲でのテストが行えるよう対策を進めて参ります。また、お客様環境での確認が可能なものについては、弊社側での確認を行うように致します。

重ねてご利用の皆様には大変ご迷惑をお掛け致しました。よろしくお願い致します。

2022/04/19(火) 3:45-8:40 にかけて、GCP メンテナンスに伴う、視聴に関する API サーバの構成変更に伴う再起動処理の失敗により、ライブおよびアーカイブが視聴できない問題が発生しました。大変ご迷惑をお掛け致しました。

不具合の内容

• ライブおよびアーカイブが視聴できない。

発生時刻

2022-04-19 3:45 – 2022-04-19 8:45

問題の詳細

• API サーバの構成変更を行った際に、必要となるコンピュータリソースが不足する構成となったため、自動起動によるサーバ起動が行なえない状態となっていた
  • 手動デプロイでは動作する状態だったため、この時点では検知できなかった
• 4/19 3:45 頃に GCP のメンテナンスによって、サーバが停止し、自動起動処理が行われたが、これが上記の理由により機能しなかったため、システムダウンとなった

対応

• API サーバを起動し、自動起動処理が正常におこなわれるように構成ファイルを修正しました。

今後の対策

• 外形監視が正しく機能していなかったため、本件のような障害が長期化しないようにします。
• 開発環境と本番環境との構成の差異により、開発環境では本問題が発生しない状態だったため、これについては将来的に解消し、問題を早めに発見できるようにします。

重ねてご利用の皆様には大変ご迷惑をお掛け致しました。よろしくお願い致します。

2022/4/22 (金) AM1:00-2:00 (前日 25:00-26:00) に配信システムの更新を行います。

更新内容

• トランスコード機能の安定性を向上
  • 配信終了後に多量のエラーがログに出力される問題の修正しました
• 瞬断時の映像の乱れを軽減
  • (ネットワークの問題等により)配信の一時的な乱れの影響が軽減されました

メンテナンスの影響

配信の瞬断

配信サーバーが入れ替わるタイミングで、配信サーバーと配信クライアント間の TCP/IP 接続の瞬断が発生します。

Castify SDK または OBS 等の一般的な配信ソフトウェアをご利用であれば、自動的に再接続されるため視聴側への影響は軽微です。一部の再接続を行わないクライアント(例 ffmpeg)をご利用の場合は手動で復旧していただく必要がございます。

2022/4/8 (金) AM1:00-2:00 に配信システムの更新を行います。

更新内容

• トランスコード機能の安定性を向上
  • バックエンド側の不調を検知し自動復旧するようになりました
• M3U プレイリスト上の URL の個数のデフォルト値を 3 → 5 に変更
  • この値が小さすぎるとプレイヤーによるメディア取りこぼしが発生し再生の乱れに繋がるため修正致しました

メンテナンスの影響

配信の瞬断

配信サーバーが入れ替わるタイミングで、配信サーバーと配信クライアント間の TCP/IP 接続の瞬断が発生します。

Castify SDK または OBS 等の一般的な配信ソフトウェアをご利用であれば、自動的に再接続されるため視聴側への影響は軽微です。一部の再接続を行わないクライアント(例 ffmpeg)をご利用の場合は手動で復旧していただく必要がございます。

2022/3/11 (金) AM1:00-2:00 に配信システムの更新を行います。

更新内容

• トランスコード機能の安定性を向上

メンテナンスの影響

配信の瞬断

配信サーバーが入れ替わるタイミングで、配信サーバーと配信クライアント間の TCP/IP 接続の瞬断が発生します。

Castify SDK または OBS 等の一般的な配信ソフトウェアをご利用であれば、自動的に再接続されるため視聴側への影響は軽微です。一部の再接続を行わないクライアント(例 ffmpeg)をご利用の場合は手動で復旧していただく必要がございます。

2022/3/1 (水) AM1:00-2:00 に配信システムの更新を行います。

更新内容

• 一部の配信ソフト利用時に映像が乱れる問題に対処
• トランスコード機能の安定性を向上

メンテナンスの影響

配信の瞬断

配信サーバーが入れ替わるタイミングで、配信サーバーと配信クライアント間の TCP/IP 接続の瞬断が発生します。

Castify SDK または OBS 等の一般的な配信ソフトウェアをご利用であれば、自動的に再接続されるため視聴側への影響は軽微です。一部の再接続を行わないクライアント(例 ffmpeg)をご利用の場合は手動で復旧していただく必要がございます。