Ik heb de hele ochtend (sinds 5.00 uur) nog nergens last van gehad met MS, Outlook of Teams.

Dus hoe wereldwijd is wereldwijd?

Misschien dat je op een brakke server staat?

Persoonlijk had ik 0 issues tot een half uur geleden. Dus pas rond 9u had onze omgeving last van deze WERELDWIJDE storing. De eerste prio 1 melding is hier ook van 8:52. Ik heb nog steeds geen issues want ik ben ingelogd en alle diensten die ik gebruik werken.

Dus of je opmerking over 100 minuten etc. klopt kan ik zelf niet inschatten. Maar goed je zal bij elk groot bedrijf zien dat communiceren met de buitenwereld heel zorgvuldig (en dus vaak laat) gedaan wordt.

En als er bij zo'n gigantisch wereldwijd bedrijf als Microsoft echt iets stuk gaat dan merkt de wereld gelijk de impact. Ik roep hier al jaren om een exit strategie te hebben...niemand die dit prio vindt helaas.

Gebruikers van Microsoft-programma’s als Outlook en Teams kampen wereldwijd met problemen. Storingssite DownDetector meldt meer dan duizend klachten, en Microsoft zelf bevestigt de problemen via Twitter.
Wat de oorzaak is en hoelang de problemen gaan duren is nog niet bekend.

https://www.telegraaf.nl/financieel/96418032/microsoft-deels-plat-problemen-met-teams-outlook-en-xbox

Ze zijn niet voor niets de makers van het best verkochte computer virus ooit.

Het is daar natuurlijk middernacht en de storingsdude had misschien niet door dat het een wereldwijd issue was aangezien hij waarschijnlijk geen verbinding had met de wereld.

Inmiddels weer gefixed...
Ik vraag me dan toch weer af hoe zo'n organisatie denkt dat 1 global netwerk omgeving handig is...
Bij een storing op het netwerk is alles plat...

Je kunt toch beter in geografische locaties een los netwerk hebben en dat dan separaat beheren en toch nog gebruik kunnen maken van failover tussen de geolocaties...

Wanneer ik het kan bouwen (en zelf heb draaien en zelf kan onderhouden) moet MS dat zeker kunnen.

Ik ben nu veilig voor #DDOS, #BGP issues, #Datacenter outages en #DNS server issues, kost alleen een tering hoeveelheid aan transit data in geval van problemen... Maar ik kan me niet voorstellen dat MS geen eigen glasvezels heeft of ze hebben hun DC's op verkeerde plekken liggen..

Wereldwijde storing bij Microsoft-diensten als Teams en Outlook

https://nos.nl/artikel/2461150-wereldwijde-storing-bij-microsoft-diensten-als-teams-en-outlook

Volgens de NOS: Microsoft zegt onderzoek te doen naar een netwerkprobleem. Inmiddels is er een update teruggedraaid, die de boosdoener zou zijn van de storing. Rond 11.00 uur liet Microsoft weten dat "sommige klanten" die vanochtend last hadden van de storing, nu weer gebruik kunnen maken van de diensten. Of het probleem daarmee volledig is opgelost, is onduidelijk.

Okee, een update.

Jij draait ook Enterprise IT?

Want je oplossing klinkt redelijk als een klaverblad oplossing, je adviseert iets, zonder dat je enige idee hebt wat de requirements zijn.

Maar je kunt altijd solliciteren bij Microsoft als Enterprise Architect.

Je hebt ook miljoenen gebruikers? En dezelfde services als Microsoft? Zo te zien draai je in ieder geval je eigen #twitter. top.
#bestestuurlui

Nee dat ben je niet. Je kunt niemand hier wijsmaken dat je een grotere capaciteit aan DDoS scrubbing hebt dan een wereldpartij als Microsoft. BGP/OSPF issues kan elke ISP overkomen niet iets dat je echt in de hand hebt als bedrijf tenzij je natuurlijk zelf de fout begaat bij core routing updates etc.

Wij hebben ons eigen serverpark middels colocation maar ik hoef echt niet in ons bedrijf te beweren dat we stabieler en veiliger kunnen werken dan Microsoft, Amazon of Equinix. Dan zou ik glashard liegen en geef ik ze geen enkel ongelijk dat bij het eerste beste grote storing (die ieder wel eens in zijn cariere mee gaat maken) eruit vlieg.

En als ik de rekening zou presenteren van 24/7 DDOS scrubbing center afname wat per uur wordt berekend en een standby bedrag heeft los van afwikkeling wordt ik ook teruggefloten dat het te duur zou zijn. Nog maar niet te hebben over eigen installaties waar niemand hier kan bewijzen dat hun oplossing schaalbaar is naar gebruikers aantal gelijk aan Microsoft. De meeste infrastructuurs zouden na 1 seconde al eruit klappen omdat het niet eens de opstartpiek aankan en bezwijkt.

Daarnaast dat er wereldwijde storing is wil niet zeggen dat het wereldwijd eruit ligt enkel dat bepaalde clusters niet bereikbaar zijn geologisch verspreid en dat kan per moment opname als eindafnemer verschillen afhankelijk van of je specifieke nodes afneemt of middels loadbalancing overgezet automatisch wordt.

En 100 minuten is absoluut niet slecht voor detectie als we het hebben over duizenden clusters verspreid over de wereld want je hebt te maken met meerdere NOC's die eerst zelf moeten verifieren dat er iets aan de hand is geen false positive en dat ze het zelf niet kunnen fixen zonder naar hoger liggend management te gaan. Bij sommige providers hier in nederland mag je blij wezen als ze al binnen 24 uur een storing weten te verhelpen omdat er gigantisch te kort is aan engineers.

Ik ben geen fan van Microsoft als het om de meeste zaken gaat maar ik zou liegen als ik ontken dat ze qua afhandeling van storingen kennis hadden.

Ik heb ook sinds vanochtend vroeg zowel via mijn pc als via mijn mobiel zitten e-mailen met mijn Hotmail-accounts en nergens last van gehad.

Je verwart hier "detectie" met "reparatie".
Niemand verwacht dat ze iets binnen 100 minuten oplossen als het een vervelend probleem blijkt te zijn.
Maar iedereen kan in redelijkheid verwachten dat een systeem status binnen 100 minuten, ja wel binnen 10 minuten, verandert van "nee hoor niks aan de hand alles werkt perfect" naar "er zijn indicaties dat er wellicht wat fout is, we onderzoeken het".

Klopt het ligt altijd aan de beheerder nooit aan hun gedellijke software.

Microsoft weet het blijkbaar zelf ook niet goed.

Dat beweer ik wel met een eigen diesel generator en ICTRoom. Wij zijn namelijk met alles op Linux gestandaardiseerd en gebruiken 0 Microsoft software. Netwerkproblemen kennen wij ook niet omdat alles redundant is uitgevoerd en regelmatig wordt getest. Mocht het een keer fout gaan wordt ik niet zo maar ontslagen want de (ex IBM) directie is overtuigd.

Alsof Linux gebaseerde besturingsystemen niet kunnen vastlopen zelfs in redundancy mindere kans vaak wel maar raadt eens waar microsoft op draait voor hun cloud diensten.
https://www.wired.com/2015/09/microsoft-using-linux-run-cloud/

Voor sommige mischien was dat misschien nog een verassing voor mensen die al langer in het vak zaten niks bijzonders gezien Microsoft Linux projecten sponsored sinds de begin dagen en ook eigen distro's heeft voor intern gebruik.

En wat heeft een Diesel generator te maken met een netwerk storing dat op meerdere locaties tegelijk plaatsvind. Elk DC heeft dieselgeneratoren vaak in paren een zogenaamde N+2 opstelling. Kan trouwens nog steeds misgaan zie ellende 2015 amsterdam waarbij tijdens onderhoud van 1 paar generators problemen ontstond met nummer 2 bij bijvoorbeeld TransIP https://www.agconnect.nl/artikel/meeste-datacenters-geen-last-van-stroomstoring

Maar hebt niet eens te maken met een distributed network infrastructure op globale schaal dus hoe wil je dat vergelijken met de situatie waar Microsoft in heeft verkeerd.

En wat is een ICTroom Je hebt Network Operation Centers NOC's en Security Operation Centers SOC's Niemand in de industrie gebruikt de term ICTroom. Ik draai al meer dan 20 jaar mee en nog nooit heeft iemand ICTroom gezegd. En google vind als enige een failiet bedrijf op die term.

Heb ervaren dat als deze clouddienst het niet doet mijn win10 menu ook niet meer werkt.
Het frappante is dat er collega's zijn die dit nog goed praten ook (want MS is blijkbaar heilig)
Ongelooflijk. Scheiding tussen OS en applicatie is zelfs voor bepaalde ICT specialisten niet te begrijpen.

Alles on premise en niet afhankelijk van Microsoft is al genoeg. Daar hoef je geen systemen voor te vergelijken. Met eigen (on premise) ICT Room weet iedereen wat wordt bedoeld.

Het is altijd een compromis. Beide oplossingen hebben voor- en nadelen.

Ik zit alweer een tijdje in de IT (ICT is marketing taal), 25+ jaar, en ik heb nog nooit van ICT Room gehoord , tot vandaag.

Als ik dit soort claims hoor, is het enige wat ik kan doen erg lachen. Je kunt dit soort claims gewoon niet serieus nemen en als dit bij aangegeven zou worden, zou ik ernstig mijn twijfels hebben over de kennis en kunde van de persoon die dit soort claims maakt.

Leuke claim, maar bij een dual of triple datacenter complex begint dit wel heel lastig te worden om te implementeren.
Maar je hebt ook contracten afgesloten om binnen x uur eventueel diesel te krijgen bij een grote storing?
Maar je hebt 1 onprem server ruimte? Of verdeelt over meerdere locaties? Die natuurlijk ver genoeg van elkaar afligging? Eventueel verdeelt over meerdere continenten? Natuurlijk waarbij je IP volledig over alle locaties beschikbaar is, zowel LAN als Internet?
Maar 1 diesel generator is trouwens niets.... Best wel een risico.

Zoals al door meerdere gemeld, een term die ik letterlijk nog nooit gehoord heb. MER, SER of eventueel server ruimte bedoel je waarschijnlijk?

Zegt helemaal letterlijk niets. Azure netwerk draait trouwens ook op Linux, en waar zat nu precies het probleem van Microsoft?
Daarnaast is het OS hierbij vaak niet van belang, de meeste fouten komen toch echt door beheerders of fouten in de procedures.

Ook zo'n claim die niets zegt. Ik heb heel wat ellende gehad door bugs, foute configuratie of gewoon onverwachte features op netwerk gebied. Of gewoon een (core) switch die in de stress schoot en gewoon een rest nodig had.

Als je dit als argument moet gebruiken, dan heb ik nog meer mijn twijfels over iemand capaciteiten.

Dus?
Wil je nu even mooi pronken met ex IBM? Hij kan wel op de administratie gewerkt hebben, of de ServiceDesk.

Je hele post komt voornamelijk over van iemand in te dure pakken die even een mooie praatje komt houden.

Nee, absoluut niet. Beide hebben voor en nadelen. In Azure kan ik met een muisklik meerdere servers over meerdere datacenters draaien, zonder enige moeite. Als ik dit zelf zou willen neerzetten, begint het wel heel erg complex te worden.
Dat je Microsoft gebruikt, tja.... Gelukkig heeft AWS of Google Cloud of een ander DataCenter "nooit" problemen.......

Ik heb trouwens ook de nodige MERS, SERS en server ruimtes grote issues zien krijgen. Ondanks "generatoren" en dat soort mooie verkoop plaatjes van managers.

Wel toevallig dat het probleem van Microsoft fout ging op het netwerk gedeelte, wat toevallig op Linux draait.
Daarnaast gaat het om een dienst, niet om een OS.

gezien de reacties op je post, zou ik daar toch mijn twijfels hebben. Misschien overschat jij jezelf een beetje, gezien de reacties op je posts?

Vandaag lag INTUNE er weer de halve dag uit. Prutsers zijn het.

Goed punt. Kleine aanvulling van mijn kant:
https://github.com/microsoft/CBL-Mariner
Common Base Linux "Mariner".
Daar gaan we meer van horen in de nabije toekomst denk ik. De huidige CEO Satya Nadella is zakelijker ingesteld dan de voormalige CEO "bully" Steve Ballmer ("Linux is a cancer").
https://www.zdnet.com/article/ballmer-i-may-have-called-linux-a-cancer-but-now-i-love-it/

Hadden we gisteren geen last van. Misschien klant/instance gebonden?

Ongewtijfeld. Maar wat schiet je er mee op, als je 3 man rond hebt lopen om nieuwe machines te installeren?
Gelukkig konden ze ze vast uitpakken en registreren in de CMDB.
Intune heeft best vaak problemen. En er zitten problemen en tekortkomingen in die ze al jaren kennen maar gewoon niet oplossen. Het is het bekende "gaan we meer geld verdienen als we hier aan werken? nee? doen we het niet!".

Een van de nadelen van closed source. Te weinig mensen die er aan werken.

Het heeft niet zo zeer te maken met "closed source" maar meer met het winstgedreven ontwikkelmodel.
Microsoft weet dat de beslissing om producten als INTUNE te gaan gebruiken genomen wordt op een organisatienivo
waar men er zelf niet mee hoeft te werken. De beslissers worden omgeluld door verkopers en advizeurs, die er zelf
ook nooit mee gewerkt hebben. Men verkoopt geen licentie meer of minder afhankelijk van de kwaliteit van het
product, dus waarom zouden ze er dan geld in steken om die te verbeteren?
Daarom is het ook altijd nodig om een zeker "eergevoel" te hebben, de drive om het product zo goed mogelijk te maken.
Die is er niet bij Microsoft. Het gaat er alleen om het geld.

Eens. Intune is verre van een ideaal product. Maar dit is een eigenschap van cloud. Ik heb ook SCCM servers plat gezien, terwijl er laptops ingespoeld moesten worden.
Of een WAN storing op dat moment.

Onzin.

microsoft heeft een update gegeven...
een snelle blik lijkt het erop dat hun sdlan een foute bgp update kreeg door een tiepvout van een beheerder...
vraag die bij mij naar boven komt is wel hoe dit "handmatig" werd uitgevoerd ipv geautomatiseerd en waarom dit niet in testen naar boven kwam en waarom het bijna 6 uur duurde voordat het gefixed was.

https://status.azure.com/en-gb/status/history/

Valt nog mee dat ze het konden oplossen zonder het lame excuus van "doordat we onze BGP in de war hadden geholpen konden we er zelf ook niet meer in om het te fixen" waar de concurrent onlangs mee kwam...
Wellicht hebben zij wel OOB management.

De reactie gelezen maak ik er zelf uit op dat een senior engineer ergens de protocollen niet 100% gevolgd heeft.
Of dat betekend dat deze het command niet uberhaubt handmatig mocht uitvoeren of een simulatie van change request heeft overgeslagen zal nooit naar buiten gebracht worden.

Het kan ook zijn dat misschien een automatische aanpassing vast is gelopen en dat het bij troubleshooting is misgegaan of iemand niet wou wachten op een scheduled change vanuit bijvoorbeeld de Generalized TTL Security Mechanisms (GTSM). Al acht ik dat minder klein omdat ze dan er eerder een reactie over hadden gegeven.

Mogelijk nu een algehele lockdown gaande van rechten om herhaling te voorkomen en wordt er dus nu een audit gedraaid op alle aangesloten infra om de Best Current Practices (BCP's) te waarborgen alsmede een update qua aansprakelijheid verspreid als personeels training.

Dat gezegd hebbende kan ik wel zeer goed begrijpen waarom sommige commands handmatig gedaan worden al moet de controle altijd 4 eyes zijn worden vastgelegd en waar mogelijk gesimuleerd. BGP updates zijn echter altijd vervloekt en de nachtmerrie van elke engineer.


Kan me nog een situatie herrinneren waarbij ze de autorisatie van biometrische informatie hadden geautomatiseerd voor toegangsluizen zonder tussenkomst van een supervisor.

Idee erachter zorgen dat er min mogelijk delay zat tussen het HR bestand en de lokale lijsten. Toen bleek er een regel ergens verkeerd te staan niet goed afgesloten bij een autoupdate waardoor alle registratie records niet herkend werden en bij de volgende scheduled task welke om de 8 uur draaide werden alle geautoriseerd personeel invalid gezien want bestand was niet leesbaar dus conclussie script was 0 valid records.

Ze hebben de stroom van de sluizen moeten halen en een engineer moeten invliegen om via firmware de boel te resetten. Toen maar even paar dagen gelopen via bewaakte service ingang voor hardware leveringen en de nood uitgang.

Dus tja alles automatiseren is ook niet zonder risico's soms moet je een afweging maken wat minste fouten geeft maar het zal altijd ooit eens misgaan daar ontkom je gewoon niet aan. Je hoopt alleen dat je voorganger of vervanger dat geluk mag hebben in plaats van jou.

Tja dat kun je kwalificeren als prutswerk, eventueel met het excuus dat het importerende systeem nou eenmaal prutswerk is.

Als ik zo'n koppeling maak waarbij systeem 1 een bestand exporteert en systeem 2 de actie "alles wissen en dan dat bestand inlezen" uitvoert dan zorg ik er ALTIJD voor dat er een check is op het aantal geexporteerde records VOOR dat ik de import doe. "als er minder dan 50% van het normale aantal records is dan skip de import en stuur een alert" ofzo.
Probleem is er natuurlijk als systeem 1 een bestand klaar zet en systeem 2 zo dom is dat het alleen maar klaarstaande bestanden kan importeren (met al of niet een delete voor de import), zonder mogelijkheden van scripting vooraf. Dat kom je helaas nogal eens tegen met al die hippe koppelingen van tegenwoordig (gemaakt door ontwikkelaars die scripting moeilijk of vies vinden).