2024年7月19日に発生したWindowsサーバーの障害による影響について
2024.07.19 掲載
引き続き、Windowsサーバーにてブルースクリーンエラーが同時多発的に発生している状況となっております。
AWSより対処方法等の更新がありました。
<対処方法>
7/19 2:35 AM PDT（日本時間 7/19 18:35）: Crowdstrike エージェント（csagent.sys）のアップデートに関連して、Windows インスタンス、Windows Workspaces、および Appstream アプリケーションの接続性の問題や再起動が発生し、Windows オペレーティングシステム内で停止エラー（BSOD）が発生する問題の解決に引き続き取り組んでいます。AWSサービスとネットワーク接続は正常に動作しています。
以前にご案内している復旧手順は実行可能な方法ですが、EC2インスタンスの再起動にて復旧が成功しているお客様もいらっしゃいます。
CrowdStrike は、セーフモードやルートボリュームの切り離しを必要とせず、再起動時に「*.sys」ファイルを置き換えるアップデートを配布されました。
AWS では影響を受けたインスタンスの復旧に取り組んでいますが、再起動することですぐに復旧する可能性があります。
詳細情報が入手可能になり次第、お知らせいたします。
（AWS Health Dashboard 原文）
July 19 2:35 AM PDT: We continue to work on resolving the connectivity issues and reboots of Windows Instances, Windows Workspaces and Appstream Applications related to a recent update to the Crowdstrike agent (csagent.sys), which is resulting in a stop error (BSOD) within the Windows operating system. AWS services and network connectivity continue to operate normally.
While the recovery steps posted below are still viable paths, some customers are seeing success with a reboot of their EC2 instance. CrowdStrike have deployed an update that will replace the "*.sys" file during a reboot with no need to Safe Mode or the detachment of the root volume.
While we work to recover affected instances, a reboot may provide immediate recovery.
We will post more information once it becomes available.
（2024年7月19日 20:00更新）
引き続き、Windowsサーバーにてブルースクリーンエラーが同時多発的に発生している状況となっております。
AWSより対処方法等の更新がありました。
<対処方法>
July 19 12:20 AM PDT（日本時間 7/19 16:20）: Crowdstrike エージェント (csagent.sys) の最近の更新に関連して Windows EC2 インスタンス、Windows Workspaces、および Appstream アプリケーションの接続の問題と再起動が発生し、 Windows オペレーティング システム内で停止エラー (BSOD) が発生するという報告を確認しています。
AWS のサービスとネットワーク接続は引き続き正常に動作します。
CrowdStrike はこの問題の回避策を提供しています。これには次の手順を実行する必要があります。
- セーフ モードまたは Windows Recovery Environment で起動します。
- 次のディレクトリに移動します: C:¥Windows¥System32¥drivers¥CrowdStrike
- ファイル「C-00000291*.sys」を見つけて削除します。
- マシンを再起動します
これらの手順は AWS 以外の Windows サービスで使用できますが、CrowdStrike 問題の影響を受ける Windows EC2 インスタンスまたは Windows Workspaces には適用されません。
EC2 インスタンスの場合、現在、回復へのパスが 2 つあります。
まず 1つ目として、お客様は 9:30 PM PDT（日本時間 7/19 13:30） より前に取得されたスナップショットまたはイメージから EC2 インスタンスを再起動できます。また、CrowdStrike エージェントの問題の原因となったアップデートが自動的にアップデートされなくなっていることも確認できました。
次に 2つ目として、次の手順に従って影響を受けるインスタンス上のファイルを削除します。
- Create a snapshot of the EBS root volume of the affected instance
- Create a new EBS Volume from the snapshot in the same availability zone
- Launch a new Windows instance in that availability zone using a similar version of Windows
- Attach the EBS volume from step (2) to the new Windows instance as a data volume
- Navigate to ¥Windows¥System32¥drivers¥CrowdStrike¥ folder on the attached volume and delete "C-00000291*.sys"
- Detach the EBS volume from the new Windows instance
- Create a snapshot of the detached EBS volume
- Replace the root volume of the original instance with the new snapshot
- Start the original instance
（当社による和訳）
- 影響を受けるインスタンスの EBS ルート ボリュームのスナップショットを作成します
- 同じアベイラビリティ ゾーン内のスナップショットから新しい EBS ボリュームを作成します
- 同様のバージョンの Windows を使用して、そのアベイラビリティ ゾーンで新しい Windows インスタンスを起動します
- 手順 (2) の EBS ボリュームをデータ ボリュームとして新しい Windows インスタンスに接続します
- 接続されたボリュームの ¥Windows¥System32¥drivers¥CrowdStrike¥ フォルダーに移動し、「C-00000291*.sys」を削除します
- 新しい Windows インスタンスから EBS ボリュームをデタッチします
- デタッチされた EBS ボリュームのスナップショットを作成します
- 元のインスタンスのルート ボリュームを新しいスナップショットに置き換えます
- 元のインスタンスを起動します
Amazon Workspaces の場合は、ワークスペースの最近のバックアップに復元することをお勧めします。
さらに詳しい情報が入手可能になり次第、本ページにてご連絡いたします。ご迷惑をお掛けし大変申し訳ございません。
（2024年7月19日 18:00更新）
現在、Windowsサーバーにてブルースクリーンエラーが同時多発的に発生している状況となっております。
AWSから以下発表があり、AWS側でも現在調査を進めている状況となっております。
- CrowdStrike エージェント (csagent.sys) の最近の更新に関連しており、Windows オペレーティングシステム内で停止エラー (BSOD) が発生
- EC2 インスタンスまたは Workspaces 環境で CrowdStrike を使用しているお客様は、このイベントの影響を受ける可能性があります
AWSからの報告を待ちつつ、弊社でも調査を進めておりますが、復旧まで時間を要する見込みとなっております。 状況が変わり次第お知らせいたしますので、 ご迷惑をお掛けし大変申し訳ございませんが、今しばらくお待ち下さいますようお願い申し上げます。
（2024年7月19日 15:59更新）
