Microsoft 365 en Azure getroffen door wereldwijde storing
Microsoft 365 en Azure hebben wereldwijd met een storing te maken, waardoor klanten geen gebruik van bepaalde diensten kunnen maken. Dat laat het techbedrijf via de Azure-statuspagina weten. Daar staat ook dat er een onderzoek is gestart naar de meldingen van klanten en er meerdere engineering teams zijn ingeschakeld. Verdere details zijn niet gegeven.
Op de website Downdetector zijn honderden meldingen binnengekomen van gebruikers die niet op hun Azure-portal kunnen inloggen. Ook op Hacker News en Reddit laten gebruikers weten dat ze bij het gebruik van de portal met time-outs te maken hebben. Op X meldt Microsoft dat er een onderzoek is ingesteld naar 'degraded performance' bij meerdere Microsoft 365 services en features. Onlangs kreeg Azure ook al met een grote storing te maken.
Reacties (11)
Gaat goed. Wie is nu de schuldige? Ondertussen: vooral doorgaan met digi-drammen!
Ik eigenlijk wel weten waarom dit kon gebeuren.
Waar is de redundant uitgevoerde oplossing?
Binnen twee weken twee werelwijde storingen.
Wie wordt nummer drie?
[s]
Hoe gaan de techbedrijven het wereldwijde probleem van hun storingen structureel oplossen? XD
[/s]
Waar is de redundant uitgevoerde oplossing?
Binnen twee weken twee werelwijde storingen.
Wie wordt nummer drie?
[s]
Hoe gaan de techbedrijven het wereldwijde probleem van hun storingen structureel oplossen? XD
[/s]
30-07-2024, 19:00 door
Rubbertje
Bij mij heeft Microsoft 365 de gehele dag als een zonnetje gedraaid. Wat waren dan de symptomen? Ik heb in ieder geval niks gemerkt.
Door Rubbertje: Bij mij heeft Microsoft 365 de gehele dag als een zonnetje gedraaid. Wat waren dan de symptomen? Ik heb in ieder geval niks gemerkt.
Bij ons was portal.azure.com en Admin.microsoft.com vaker niet bereikbaar dan wel.
Verder geen andere verstoringen opgemerkt binnen onze organisatie.
Door Rubbertje: Bij mij heeft Microsoft 365 de gehele dag als een zonnetje gedraaid. Wat waren dan de symptomen? Ik heb in ieder geval niks gemerkt.
Dat was het symptoom. :)Het lag aan Azure Front Door. Zie nieuws van 30 juli. Gelukkig niet the Back Door.
[ur]https://azure.status.microsoft/en-us/status/history/[/url]
What happened?
Between approximately at 11:45 UTC and 19:43 UTC on 30 July 2024, a subset of customers may have experienced issues connecting to a subset of Microsoft services globally. Impacted services included Azure App Services, Application Insights, Azure IoT Central, Azure Log Search Alerts, Azure Policy, as well as the Azure portal itself and a subset of Microsoft 365 and Microsoft Purview services.
What do we know so far?
An unexpected usage spike resulted in Azure Front Door (AFD) and Azure Content Delivery Network (CDN) components performing below acceptable thresholds, leading to intermittent errors, timeout, and latency spikes. While the initial trigger event was a Distributed Denial-of-Service (DDoS) attack, which activated our DDoS protection mechanisms, initial investigations suggest that an error in the implementation of our defenses amplified the impact of the attack rather than mitigating it.
How did we respond?
Customer impact began at 11:45 UTC and we started investigating. Once the nature of the usage spike was understood, we implemented networking configuration changes to support our DDoS protection efforts, and performed failovers to alternate networking paths to provide relief. Our initial network configuration changes successfully mitigated majority of the impact by 14:10 UTC. Some customers reported less than 100% availability, which we began mitigating at around 18:00 UTC. We proceeded with an updated mitigation approach, first rolling this out across regions in Asia Pacific and Europe. After validating that this revised approach successfully eliminated the side effect impacts of the initial mitigation, we rolled it out to regions in the Americas. Failure rates returned to pre-incident levels by 19:43 UTC - after monitoring traffic and services to ensure that the issue was fully mitigated, we declared the incident mitigated at 20:48 UTC. Some downstream services took longer to recover, depending on how they were configured to use AFD and/or CDN.
[ur]https://azure.status.microsoft/en-us/status/history/[/url]
What happened?
Between approximately at 11:45 UTC and 19:43 UTC on 30 July 2024, a subset of customers may have experienced issues connecting to a subset of Microsoft services globally. Impacted services included Azure App Services, Application Insights, Azure IoT Central, Azure Log Search Alerts, Azure Policy, as well as the Azure portal itself and a subset of Microsoft 365 and Microsoft Purview services.
What do we know so far?
An unexpected usage spike resulted in Azure Front Door (AFD) and Azure Content Delivery Network (CDN) components performing below acceptable thresholds, leading to intermittent errors, timeout, and latency spikes. While the initial trigger event was a Distributed Denial-of-Service (DDoS) attack, which activated our DDoS protection mechanisms, initial investigations suggest that an error in the implementation of our defenses amplified the impact of the attack rather than mitigating it.
How did we respond?
Customer impact began at 11:45 UTC and we started investigating. Once the nature of the usage spike was understood, we implemented networking configuration changes to support our DDoS protection efforts, and performed failovers to alternate networking paths to provide relief. Our initial network configuration changes successfully mitigated majority of the impact by 14:10 UTC. Some customers reported less than 100% availability, which we began mitigating at around 18:00 UTC. We proceeded with an updated mitigation approach, first rolling this out across regions in Asia Pacific and Europe. After validating that this revised approach successfully eliminated the side effect impacts of the initial mitigation, we rolled it out to regions in the Americas. Failure rates returned to pre-incident levels by 19:43 UTC - after monitoring traffic and services to ensure that the issue was fully mitigated, we declared the incident mitigated at 20:48 UTC. Some downstream services took longer to recover, depending on how they were configured to use AFD and/or CDN.
Door Anoniem: Ik eigenlijk wel weten waarom dit kon gebeuren.
Waar is de redundant uitgevoerde oplossing?
[s]
Hoe gaan de techbedrijven het wereldwijde probleem van hun storingen structureel oplossen? XD
[/s]
Waar is de redundant uitgevoerde oplossing?
[s]
Hoe gaan de techbedrijven het wereldwijde probleem van hun storingen structureel oplossen? XD
[/s]
Zelfs met redundante oplossingen gaan er diensten kapot, niet zelden juist door redundantie!
Techbedrijven gaan niks oplossen (shit wil happen!) de klanten die kritische diensten in de cloud draaien moeten zich dat beseffen en zelf nadenken over autonomie en over een robuuste oplossing.
Door Anoniem:
Zelfs met redundante oplossingen gaan er diensten kapot, niet zelden juist door redundantie!
Techbedrijven gaan niks oplossen (shit wil happen!) de klanten die kritische diensten in de cloud draaien moeten zich dat beseffen en zelf nadenken over autonomie en over een robuuste oplossing.
Want zelf kan je wel een DDOS bescherming en wereldwijde CDN neerzetten en beheren?Door Anoniem: Ik eigenlijk wel weten waarom dit kon gebeuren.
Waar is de redundant uitgevoerde oplossing?
[s]
Hoe gaan de techbedrijven het wereldwijde probleem van hun storingen structureel oplossen? XD
[/s]
Waar is de redundant uitgevoerde oplossing?
[s]
Hoe gaan de techbedrijven het wereldwijde probleem van hun storingen structureel oplossen? XD
[/s]
Zelfs met redundante oplossingen gaan er diensten kapot, niet zelden juist door redundantie!
Techbedrijven gaan niks oplossen (shit wil happen!) de klanten die kritische diensten in de cloud draaien moeten zich dat beseffen en zelf nadenken over autonomie en over een robuuste oplossing.
Nu zou je natuurlijk AWS en Azure technieken kunnen gebruiken, icm failover mogelijkheden. Maar ook weer extra complexiteit die ook fouten kunnen veroorzaken.
Door Anoniem:
Nu zou je natuurlijk AWS en Azure technieken kunnen gebruiken, icm failover mogelijkheden. Maar ook weer extra complexiteit die ook fouten kunnen veroorzaken.
Door Anoniem:
Zelfs met redundante oplossingen gaan er diensten kapot, niet zelden juist door redundantie!
Techbedrijven gaan niks oplossen (shit wil happen!) de klanten die kritische diensten in de cloud draaien moeten zich dat beseffen en zelf nadenken over autonomie en over een robuuste oplossing.
Want zelf kan je wel een DDOS bescherming en wereldwijde CDN neerzetten en beheren?Door Anoniem: Ik eigenlijk wel weten waarom dit kon gebeuren.
Waar is de redundant uitgevoerde oplossing?
[s]
Hoe gaan de techbedrijven het wereldwijde probleem van hun storingen structureel oplossen? XD
[/s]
Waar is de redundant uitgevoerde oplossing?
[s]
Hoe gaan de techbedrijven het wereldwijde probleem van hun storingen structureel oplossen? XD
[/s]
Zelfs met redundante oplossingen gaan er diensten kapot, niet zelden juist door redundantie!
Techbedrijven gaan niks oplossen (shit wil happen!) de klanten die kritische diensten in de cloud draaien moeten zich dat beseffen en zelf nadenken over autonomie en over een robuuste oplossing.
Nu zou je natuurlijk AWS en Azure technieken kunnen gebruiken, icm failover mogelijkheden. Maar ook weer extra complexiteit die ook fouten kunnen veroorzaken.
Niet te geloven, dat met 1 DDOS Strike de dienstverlening wereldwijd is geraakt.
Door Anoniem:
Niet te geloven, dat met 1 DDOS Strike de dienstverlening wereldwijd is geraakt.
Ik kon nog gewoon werken, mijn klanten hadden er geen problemen mee, ondanks dat het meeste in of op Azure draait. Door Anoniem:
Nu zou je natuurlijk AWS en Azure technieken kunnen gebruiken, icm failover mogelijkheden. Maar ook weer extra complexiteit die ook fouten kunnen veroorzaken.
Door Anoniem:
Zelfs met redundante oplossingen gaan er diensten kapot, niet zelden juist door redundantie!
Techbedrijven gaan niks oplossen (shit wil happen!) de klanten die kritische diensten in de cloud draaien moeten zich dat beseffen en zelf nadenken over autonomie en over een robuuste oplossing.
Want zelf kan je wel een DDOS bescherming en wereldwijde CDN neerzetten en beheren?Door Anoniem: Ik eigenlijk wel weten waarom dit kon gebeuren.
Waar is de redundant uitgevoerde oplossing?
[s]
Hoe gaan de techbedrijven het wereldwijde probleem van hun storingen structureel oplossen? XD
[/s]
Waar is de redundant uitgevoerde oplossing?
[s]
Hoe gaan de techbedrijven het wereldwijde probleem van hun storingen structureel oplossen? XD
[/s]
Zelfs met redundante oplossingen gaan er diensten kapot, niet zelden juist door redundantie!
Techbedrijven gaan niks oplossen (shit wil happen!) de klanten die kritische diensten in de cloud draaien moeten zich dat beseffen en zelf nadenken over autonomie en over een robuuste oplossing.
Nu zou je natuurlijk AWS en Azure technieken kunnen gebruiken, icm failover mogelijkheden. Maar ook weer extra complexiteit die ook fouten kunnen veroorzaken.
Niet te geloven, dat met 1 DDOS Strike de dienstverlening wereldwijd is geraakt.
Maar we hebben ook verkeerde DNS configuraties gehad, of routeringen die wereldwijd impact veroorzaakte.
Reageren
Deze posting is gelocked. Reageren is niet meer mogelijk.
Cybersecurity Trainer / Full Stack Developer
Ben je toe aan een nieuwe job waarmee je het verschil maakt? Wil jij je security kennis graag delen en hands-on laten zien hoe cybersecurity in de praktijk echt werkt? Werk je net als wij graag samen met enthousiaste en gedreven collega's? Bij ons geen bureaucratie maar open communicatie en een werkomgeving gericht op samenwerking.
Junior DevOps Engineer
Certified Secure is op zoek naar een Junior DevOps Engineer. Deze functie is een stuk interessanter dan de term doet vermoeden! Om jou als potentiële nieuwe collega meteen te laten zien wat we doen hebben we speciaal voor jou een selectie gemaakt van een aantal leuke security challenges. Are you ready for a challenge?