image

Politiekorps Dallas verliest terabytes aan politiegegevens tijdens datamigratie

dinsdag 17 augustus 2021, 15:08 door Redactie, 9 reacties

Het politiekorps van de Amerikaanse stad Dallas is tijdens een datamigratie terabytes aan politiegegevens verloren, waaronder data die in verschillende strafzaken werd gebruikt. Dat heeft de procureur-generaal van Dallas County bekendgemaakt (pdf). De datamigratie vond eerder dit jaar plaats. Pas in augustus werd de procureur-generaal ingelicht dat er bij deze migratie gegevens verloren zijn gegaan.

In totaal werd er 22 terabyte aan politiedata verwijderd, waarvan er veertien terabyte kon worden hersteld. Zo'n acht terabyte aan gegevens is nog altijd weg en zal zo nu wordt aangenomen niet meer te herstellen zijn. Het ging om afbeeldingen, videobeelden, audio en notities die naar een gedeelde map waren geplaatst om vervolgens in de cloud te worden opgeslagen.

Het verwijderen van de data deed zich voor toen een it-medewerker van de stad bezig was met het migreren van data naar een server en zich daarbij niet aan de vastgestelde procedures hield, wat tot het verwijderen van de data leidde, aldus de stad. Dankzij metadata, zoals bestandsnamen, weet de stad welke gegevens verloren zijn gegaan, zo laat NBC weten.

Er wordt nu onderzocht hoeveel strafzaken door het dataverlies zijn getroffen. The Dallas Morning News meldt dat een verdachte in een moordzaak vanwege de verwijderde gegevens zijn zaak in vrijheid mag afwachten. Het is op dit moment onbekend of de data van deze verdachte ook verloren is gegaan. Wel was de openbaar aanklager afgelopen donderdag niet klaar voor de rechtszaak.

De stad heeft inmiddels verschillende maatregelen doorgevoerd om herhaling te voorkomen. Zo is er nu een proces geïmplementeerd dat erbij de migratie van data voortaan twee personen aanwezig moeten zijn. Daarnaast is de configuratie van het opslagsysteem aangepast zodat verwijderde bestanden pas na twee weken permanent worden verwijderd.

Reacties (9)
17-08-2021, 15:21 door Anoniem
Regel 1 bij een migratie:

maak een backup...

zo moeilijk kan dat toch niet zijn?
17-08-2021, 15:35 door Briolet
Zo is er nu een proces geïmplementeerd dat erbij de migratie van data voortaan twee personen aanwezig moeten zijn.

Lijkt me handiger om te beginnen met het maken van een backup i.p.v. er een tweede persoon bij te halen. Met twee personen kun je nog steeds dingen zoek maken. Als je een echte backup hebt, kun je een mislukte migratie gewoon opnieuw doen.

En zo'n backup van vóór de migratie bewaar je natuurlijk extra lang.
17-08-2021, 15:41 door Anoniem
Door Briolet:
Zo is er nu een proces geïmplementeerd dat erbij de migratie van data voortaan twee personen aanwezig moeten zijn.

Lijkt me handiger om te beginnen met het maken van een backup i.p.v. er een tweede persoon bij te halen. Met twee personen kun je nog steeds dingen zoek maken. Als je een echte backup hebt, kun je een mislukte migratie gewoon opnieuw doen.

En zo'n backup van vóór de migratie bewaar je natuurlijk extra lang.

Zelfs al heb je een backup dan nog kan het lastig zijn want als je dit soort migraties uitvoert dan kan het zijn dat je
het oude systeem niet zomaar weer even kunt optuigen. Zeker niet als daar 22TB aan data in zit.
Het hangt van de situatie af maar doe je bijvoorbeeld een migratie naar een nieuw systeem en komt men er pas een tijd
later achter dat er daarbij een hoop niet is meegekomen dan moet je nog maar hopen dat je oude servers waar je die
oude data op kunt restoren er nog zijn.
17-08-2021, 15:58 door MathFox
Door Briolet:Lijkt me handiger om te beginnen met het maken van een backup
Op wat voor hardware maak je die multi-terabyte back-up? Hoe lang duurt het om al die data uit "de cloud" te halen en op je back-up medium te krijgen?
(Of maak je een cloud-backup in een bucket die voor de hele wereld te lezen is?)
17-08-2021, 16:04 door linuxpro
Hahahahahahahahahahahahahahahahahahahahaha
17-08-2021, 16:59 door Anoniem
Wat doet die hele migratie er nou toe?

Zelfs al had die medewerker de data bewust weggegooid - dan ga je toch terug naar de backup?

Als het echt zo gegaan is als in de (uiterst beknopte) memo staat, dan is de belangrijkste vaststelling dus dat men kennelijk nooit backups heeft gemaakt.

Daar is vast een stuk wet- en regelgeving over.
17-08-2021, 22:42 door Briolet
Door MathFox:
Door Briolet:Lijkt me handiger om te beginnen met het maken van een backup
Op wat voor hardware maak je die multi-terabyte back-up? Hoe lang duurt het om al die data uit "de cloud" te halen en op je back-up medium te krijgen?
(Of maak je een cloud-backup in een bucket die voor de hele wereld te lezen is?)

Het gaat hier maar om 22TB. Een simpel nas systeempje met 2 à 3 16 TB schrijven kan dat al aan. Zo'n migratie komt niet onverwacht, dus dan maak je tijd voor zo'n backup.
Verder moet die backup er al zijn, maar voor zo'n grote migratie zou ik zorgen voor een aparte backup die je lang aanhoud voor het geval je er maanden of jaren later achter komt dat er toch dingen niet goed omgezet zijn.

Zelfs al heb je een backup dan nog kan het lastig zijn want als je dit soort migraties uitvoert dan kan het zijn dat je
het oude systeem niet zomaar weer even kunt optuigen. Zeker niet als daar 22TB aan data in zit.

Klopt, Dat kan inderdaad lastig worden als je al met andere hardware zit. Maar lastig worden is heel wat anders dan het compleet verliezen van data, wat hier blijkbaar gebeurd is.
18-08-2021, 08:46 door Anoniem
Door Briolet:
Het gaat hier maar om 22TB. Een simpel nas systeempje met 2 à 3 16 TB schrijven kan dat al aan.[\quote]

Het ging om 22TB *verdwenen* data, waarvan 14 hersteld kon worden (uit een backup?). Het totaal aan gemigreerde data weten we niet. Dat kan rustig 150TB, of 3PB geweest zijn. Dan wordt het 'even back-uppen' toch net even een ander verhaal.
18-08-2021, 11:26 door Anoniem
Door Briolet:
Door MathFox:
Zelfs al heb je een backup dan nog kan het lastig zijn want als je dit soort migraties uitvoert dan kan het zijn dat je
het oude systeem niet zomaar weer even kunt optuigen. Zeker niet als daar 22TB aan data in zit.

Klopt, Dat kan inderdaad lastig worden als je al met andere hardware zit. Maar lastig worden is heel wat anders dan het compleet verliezen van data, wat hier blijkbaar gebeurd is.

Stel je hebt een bestaand systeem met vele TB aan data. Je gaat de hele boel, die in een grote relationele database
zit met allerlei onderlinge koppelingen, en wellicht nog links naar externe bestanden, migreren naar een nieuwe omgeving
waar alles ook weer onderling gekoppeld is.
Een van de zaken die je nu eindelijk eens gaat regelen is al je ISO8859-1 teksten omzetten naar UTF-8. Dus je hebt een
mooie conversie gemaakt van alle data.
Pas als het systeem een paar weken draait kom je er achter dat je foto's en filmpjes, of een bepaald gedeelte daarvan wat
op een andere manier was opgeslagen/gekoppeld omdat het ooit uit een ander systeem kwam, per ongeluk ook door die
ISO8859-1 naar UTF-8 converter gehaald is en daarmee onherstelbaar beschadigd.
Intussen is er in het nieuwe systeem ook al weer gewerkt.

Hoe ga je dit nu "repareren met je backup"? Je kunt je conversie niet opnieuw doen.
Dat wordt een heel gedoe.
Reageren

Deze posting is gelocked. Reageren is niet meer mogelijk.