Sja, de omvormers (zonnepanelen) draaien op volle toeren hahaha! Wij hebben daar al 20 jaar last van. Maar nu de overheid er zelf last van heeft, beginnen ze te mekkeren. Grappig. Zou er dan nu wat aan gedaan gaan worden? EINDELIJK? Nu het allemaal veel te laat is?

Greetings, PE5I

Het lijkt wel of men het er om doet om zo snel mogelijk wat nieuws te krijgen...

Goh iets wat we als zendamateurs al jaren roepen, het eerste wat uitvalt zijn fysieke netwerken, draadloze communicatie is dan van belang.

Verbaast me wel dat de huidige voertuigen nog voorzien zijn van mobilofoons... betekent dit dat het oude netwerk
gewoon nog in de lucht is of kan worden gezet?
Ik had eerder verwacht dat men zou uitwijken naar mobieltjes, bijvoorbeeld met een push-to-talk app.

Maar op het moment van de storing (23:50) schijnt de zon niet meer. Wel heel makkelijk om zonnepanelen de schuld te geven.

's Nachts?

Natuurlijk - storing midden in de NACHT heeft vast te maken omvormers op ZONNEpanelen.
En landelijke storing is ook een raar gevolg van 'omvormer stoort op nabije zender' .

Ik dacht dat zendamateurs zichzelf graag zagen als mensen met wat technisch inzicht en logica ...

Het zal best dat er wat te vinden is van radiostoring van omvormers, maar deze storing kun je daar m.i. echt niet aan koppelen.

Wie/wat is wij?

Het is wel toeval dat er een landelijke storig is van C2000 en dat zou dan gecorreleerd zijn aan zonnepanelen omvormers. Alsof die omvormers eergisteren niet werkten.

Ik denk eerder, als iets overal tegelijk uitvalt, dan is het waarschijnlijk een verkeer uitgevoerde software patch (niet getest?). Zoalsn ING 10 jaar geleden nog wel eens durfde te bekennen toen half NL qua pinnen er uit lag. Nu doen ze dat niet meer.

Tegen de tijd dat C2000 opgevolgd wordt is de millennium bug (Y2K) er wel uitgehaald ...

Het onderliggende netwerk is van Defensie en is al veel ouder dan C2K ...

Daar heb je om dat tijdstip weinig last van. Het zijn trouwens niet de omvormers maar de optimizers waar je last van hebt.

om het C2000 plat te leggen heb je echt niet veel voor nodig...

Tis wel kwalijk dat dit nu al voor een 2e keer voorkomt.

Heeft iemand hier ook wat inside kennis? Wat is nou de impact als zon systeem niet draait.
Betekend dat dat hulpdiensten niet aangestuurd kunnen worden in zon periode van storing? En houd dat dat in dat er zelfs doden kunnen vallen omdat er niet geholpen kon worden?

Dan wordt het eigenlijk alleen maar kwalijker, en waar licht de verantwoordelijkheid dan?

Is net als met die trein storing van afgelopen week. Het beste wat je nog kunt horen is "er was een onderdeel defect"
maar wat dat precies voor onderdeel is dat gaan ze niet zeggen, want als ze zeggen "het was een switch" (of router
ofzo) dan lopen hier de mensen elkaar omver die weten dat je dit had kunnen voorkomen met een redundante oplossing.
En het is natuurlijk niet de bedoeling dat men zichzelf als een stel prutsers kwalificeert.

Aan de andere kant wel goed dat zelfbedachte in-house oplossingen net zo goed plat kunnen gaan als dat men stelt
van externe oplossingen zoals het mobiele netwerk. Dan hoeft men die bij de volgende ronde niet meteen af te
serveren als "maar dat kan fout gaan".

Weer wat geleerd. TnX!

Ik zou het hele artikel voor je kunnen quoten, maar scroll even naar boven en lees het opnieuw.??

#obserwator

Die beschrijving in de volkskrant had wat meer details.

Er was een SFP defect - alleen op een zodanige manier dat de link niet down ging , en de (aanwezige) redundantie was gebouwd op het idee dat een lijn down gaat als er een (lijn)storing is.

Dat is inderdaad technisch oplosbaar - allerlei protocollen mogelijk die verkeer sturen om end-to-end (of next hop) te zien of er wel tweeweg communicatie mogelijk is. (link aggegratie , ook met 1 link , bfd, stp , ospf , afhankelijk van het gekozen design) .

Er staan ook wat beschrijvingen bij die veel moeilijker oplosbaar zijn : de keuze om 'om te zwaaien' naar een andere verkeerspost duurt ca 4 uur, en gedurende die tijd is men blind . (en ik meen dat die keuze ook niet snel halverwege te stoppen is - oh nee, laat maar) .
Heel moeilijk dus wanneer je bij een storing besluit "dit duurt te lang om op te lossen, we gaan omzwaaien" .
Geen inzicht waarom het zo lang duurt - maar dat zal in een complexe omgeving niet snel om te bouwen zijn naar 'rapid failover' .

Wel iets dat verder zorgelijk is : omschrijving dat _alles_ bij elkaar liep te zoeken - netwerk engineers, systeem specialisten, database specialisten, applicatie specialisten etc .

Ik maak eruit op dat er heel veel silo's zijn - en blijkbaar _niemand_ die uit de serie van alarmen van allerlei systemen snel kon zien : de oorzaak is geen verkeer van A naar B dat via _dit pad_ door het netwerk loopt.
Als je dat eenmaal weet, is het vinden van het stuk netwerk waar het misloopt snel te doen .
(nog sneller wanneer je dat pad 'handmatig stuk maakt' zodat de redundantie wel gaat werken en verkeer het andere pad neemt . Dan kun je ondertussen zoeken naar de defecte link in het normale pad)
Zo'n organisatie met heel veel eilandjes die allemaal een klein stukje olifant zien , maar niemand die de samenhang overziet - dat is niet makkelijk te veranderen.

C2000 was toch opgezet door de vvd...ivo opstellen minister van veiligheid????.weer een miskleun van vvd met rutte
Die het door duwden nu nog steeds anno 2023

C2000: het voorbeeld van hoe het niet moet!!!

Het betrof dit ene defecte hardware-onderdeeltje in het systeem voor de bediening van seinen en wissels [foto]

https://www.volkskrant.nl/nieuws-achtergrond/door-dit-kleine-koppelstukje-stonden-zondag-alle-treinen-stil~b3a471c9/


Volkskrant interview met ICT-directeur Arjen Boersma in het verkeersleidingscentrum van ProRail in Amsterdam.

Aha dat is interessant! Inderdaad snap ik wel dat het overstappen naar een backup verkeerspost een complex verhaal
is wat je niet snel doet en terugdraait, maar (net als jij denk ik) snap ik niet goed waarom men niet heel wat sneller
de oorzaak van het probleem wist op te sporen en die oorzaak te verhelpen, waardoor men op de originele locatie aan
het werk kon blijven. Ik weet niet in hoeverre men bij prorail op zondagavond IT technici op locatie heeft die meteen
de boel kunnen checken en zaken als een SFP kunnen verwisselen, dat zou evt nog kunnen betekenen dat er iemand
gebeld moet worden en in de auto moet stappen (niet in de trein, hopelijk!).
Maar zonder dat moet je zo iets toch wel in een half uurtje kunnen oplossen lijkt me. Desnoods trek je even ergens
een SFP uit die niet zo belangrijk is, als je er geen extra hebt liggen.

Maar wat je al zegt, met een van die andere oplossingen zou je dit hele probleem niet hebben, zij het dat je dan wel
goed moet monitoren want anders kan het zijn dat er een SFP stuk gaat, de redundantie alles opvangt, en dan veel later
een tweede stuk gaat (productiefoutje?) waarna de boel alsnog plat is. Het lijkt me dan ook verstandig alle links te
checken of er wel verkeer door komt ook als ze "up" aangeven.

Zou wel grappig zijn als de C2000 storing dezelfde oorzaak heeft. Dan gaan we nog wat lezen over SFP's van een
bepaald merk...

Elke grote organisatie heeft met Cilinders-of-Excellence te maken.
Meestal hebben die Cilinders-of-Excellence de interne zaken geoptimaliseerd.
Dan is het gemakkelijk om te zeggen: "In mijn cilinder werkt alles naar behoren".

De cilinders-of-excellence zijn ook nog eens genest (één of meer cylinders in een 'bovenliggende cillinder')
Als die cilinders niet alleen technisch, maar ook organisatorisch zijn, dan wordt de uitdaging groter (want: wie is dan verantwoordelijk).
Als die cilinders ook nog eens bij gescheiden bedrijven ligt, dan wordt het alweer moeilijk (dan speelt ook: wie is aansprakelijk?) en dan wordt nog wel eens de kaarten tegen de borst gehouden.

Hoe ontstaat dit?
Eigenlijk is dit een gevolg van de korte termijn Angelsaksische manier van denken.
Kostenbesparing zelf nemen en lasten bij een ander leggen. Ook een gevolg van Out-of-scope creep.
En ook: Projectkwaliteit ten koste van Productkwaliteit (in de gehele keten; maar daar gaat een project niet over ;-).

Kijk maar naar het energienet.
Aanvankelijk was er redelijk veel redundantie in de Bommelerwaard. Die redundantie is weggehaald, want zou teveel kosten.
Toen vloog een helikopter tegen één draad. En de Bommelerwaard zat zonder stroom. Kosten (juist ook gevolgschade) zijn verhaald op Defensie terwijl niet Defensie de redundantie heeft weggehaald.
In mijn ogen zou het eerlijker zijn geweest als
- de reparatiekosten betaald zou worden door Defensie
- De gevolgschade betaald zou worden door de netbeheerder (die de redundantie heeft weggehaald).

Leve de wereld van afhankelijkheden.

Tegen de tijd *dat* je weet dat er een SFP kapot is - (terwijl het interface wel gewoon up is, blijkbaar) is het wisselen simpel.
Het klopt wel dat 'normale' monitoring zo'n type defect niet ziet , die kijkt primair naar 'interface down' .
Daarom gebruik je al die keepalive protocollen om z'n type onderbreking zichtbaar te maken .


Monitoring op verkeersvolume kan nuttig zijn, maar heeft het risico op vals positief - je backup pad voert normaal gesproken GEEN verkeer .
(zelfde uitdaging hebben firewall beheerders met 'idle' rules - sommige staan er zodat de backup kan werken . Die moet je niet blindelings 'opschonen want niet gebruikt' ).

Afgezien van de technische verbeter opties voor _dit type fout_ - mensen die het totaalplaatje snappen, en uit symptoom/logs van systemen en applicaties kunnen herleiden *dat* de verbinding van X naar Y niet meer werkt , die ontbraken er bij prorail, zo lijkt het.

Vanaf daar is het zoeken naar de defecte schakel in dat pad van X naar Y gewoon redelijk routine .


Ik kwam eens een verhaal tegen van SFPs met een software bug - na 248 dagen uptime werden waarden in het verkeerde veld geschreven , en klapperde de SFPs .
Met strakke maintenance windows hebben nogal veel SFPs op een locatie dezelfde uptime . Oeps, daar gaat je redundantie .
(2^32 ticks ...) . Ook succes met lab test/reproducatie ...