Het viel niemand op dat alle patiënten dezelfde keuze maakten? Ook als het eerst wel werkte en later omviel is het een beetje vreemd dat het pas 150.000 patiënten later werd vastgesteld. En om te vermijden dat je ten prooi valt aan problemen die door wijzigingen zijn ontstaan gebruik je normaliter toch unittests?

https://nl.wikipedia.org/wiki/Unittesten

Bij het ontwerp is zeker gekozen voor een OPT-OUT constructie ipv een OPT-IN. (aangezien het niet doorgeven van een weigering, betekende dat de gegevens gebruikt konden worden)

Wat kan daar nou toch mee fout gaan :-)


En dan "de beslissing met terugwerkende kracht respecteren". Dat wordt pas een echte uitdaging.
Hoeveel misbruik (ik noem het bewust geen gebruik) is er ondertussen al gemaakt van deze data?

Too little, too late. En als burger ben je met je privacy weer eens nergens.

Of beter nog, QuickCheck - https://en.wikipedia.org/wiki/QuickCheck


Staat er ook expliciet bij in die gelinkte toelichting: [1] Where individuals did not want NHS Digital to share confidential patient information that they had collected from across the health and care service for purposes other than the individuals care, they could register this preference, known as a Type 2 opt-out.

Hoeft niet he. Kan best zijn dat de helft nog oude software, die wel werkte, gebruikte.
En nu met de GDPR iedereen verplicht moest updaten naar de nieuwste software en het aan het licht kwam.

Oh? Dus hun updatebeleid was ook al niet in orde?


En toen ineens wel updaten?

Even verder er in …...
Het gaat om software van http://www.tpp-uk.com/products Het NHS levert de software niet, die verzamelen kennelijk de records in een centrale database. Dat doorgeven naar het NHS wordt van de commerciële verwacht. (TPP als een van de velen. Een softwarefout kan ongemerkt in de interface/koppeling geslopen zijn. Die koppeling is het lastigste want je kunt geen unit-test doen met de productie database aan de NHS kant. De gevoeligheid voor fouten is al herkend.

Het gaat niet via die commerciële software met een aparte koppeling, maar de patient kan het rechtstreeks bij de NHS aangeven. Geen software update maar een ander proces.

Anngezien TPP en de lokale PAS software wel de gewenste gegevens kan tonen zonder deze doorgegeven te hebben zul je daar niets zien. Degene die het meld is het NHS. Die moet een onderzoek gestart zijn over de binnenkomende data (big data onderzoek). Dat vreemde gedrag moet opgevallen zijn waarna het aan de rol gebracht werd. Hadden ze eerder moeten doen, maar ja dan gaat iedereen weer zeuren dat er naar de data gekeken wordt (privacy argument).


Onderzoeker die data hebben aangevraagd bij het NHS zij nu de klos als het goed gaat. Na de aanpassingen krijgen die de instructie hun big data onderzoeken bij te werken met de nieuwe vrijgegeven situatie. Je zult maar een goed onderzoek hebben dat eerste statistisch relevant was en er nu onder zakt wegens te weinig data.

Doe dat nou niet! Zo dadelijk scheurt er nog iets uit.


Er staat nergens dat het om 'big data' gaat. De data worden waarschijnlijk gewoon gebruikt voor epidemiologisch onderzoek. Het kan om grote hoeveelheden data gaan. Dat maakt het echter nog geen 'big data'.

https://en.wikipedia.org/wiki/The_Phoenix_Partnership Alrijd wat verder in de open data kijken.
"ince then, SystmOne has been developed for use by healthcare professionals in primary, secondary and social care across the UK, covering over 6,000 NHS organisations, more than 2,600 GP practices and 142 prisons.[1] TPP hit their first 1 million patient records in 2003. SystmOne went on to become the only patient-record system used by GPs in Bradford, and is a key part of the Born in Bradford research scheme."

Genoeg wat omvang betreft en met alle veranderingen in regelgeving en de veelheid aan andersoortige data.
Epidemiologisch onderzoek is niet zo op de marketing en sociale coole plaatjes gericht. Het is wel degelijk statistisch met de analyses clustering en modelering die nu "cool" zijn om te doen onder de noemer "big data".
Hier gaat het om onterecht doorgeven records van 150.000 personen, dat zal een klein deel zijn voor het epidemiologisch onderzoek een paar miljoen met een honderden variabelen zou er zo achter zitten.
Een Cern aanpak valt bijvoorbeeld compleet buiten de wereld wat de commercie als "big data" aanbiedt .
In de huidige verkoop wordt alles wat een statistiekje, een telling oplevert al snel "big data" en data analyse genoemd.
Zoek maar eens op de combinatie de hits die je krijgt tonen de grote overlap.

Wat in ieder geval helder moet zijn dat de eerdere veronderstellingen de situatie niet verder bekeken hebben en van een desktop hobby aanpak zijn. Het hele enterprise gebeuren met datakoppelingen is geen recht aangedaan:
- het "unit testen" had kunnen voorkomen … nou nee datakoppelingen zijn weerbarstige dingen met testen en uitrol
Uit de wiki link van unittesten:
"Beperkingen Een unittest is beperkt tot de unit zelf. Dit betekent dat niet goed getest is hoe goed het systeem werkt wanneer de units geïntegreerd met elkaar zijn. Andere manieren van testen zullen deze tekortkoming van unittesten moeten compenseren. Daarbij geldt, net als bij iedere manier van testen, dat het nooit mogelijk is om voor alle mogelijk scenario's testcases op te stellen en hierop te testen."

- het iemand had moeten opvallen … hoe dan als er alles lokaal goed uit ziet en niemand bij die andere data kijkt.


Dit is gewoon lastig omdat er meerdere partijen betrokken zijn
1/ software leverancier TPP
2/ dataverwerker GP en software gebruiker
3/ Centrale data en toezicht NHS

Nog steeds engels maar beter begrijpbare taal. https://www.bbc.com/news/technology-44682369

Ook daar staat niets over big data.


Geweldig maar werderom niets over big data.


Ho! Wacht even! Nu doe je me aan de pointy haired boss denken! Weet jij, karma4, eigenlijk wel wat big data inhoudt?


Geweldig maar pure speculatie dat er daarbij big data in het spel zijn.


Hoeft niet, ik heb er boeken over gelezen.


Oh? En dan testen we de samenhang maar helemaal niet? En met moderne middelen kan je wel degelijk - vaak - de beoogde effecten van een unittest voorbij de grenzen van die unit testen (indien de unit daarvoor afhankelijkheden heeft naar andere units). Als je dat dan automated integration tests wilt noemen, oké. Bijvoorbeeld met Selenium.

https://www.seleniumhq.org/


Lastig is geen excuus voor achterwege laten. Desnoods zet je een common-sense handmatige stap in de richtlijnen bij wijzigingen aan de software. In een staging omgeving kan je dat voor uitrollen testen en na uitrollen verifiëren.


Geweldig maar ook daar wederom niets over big data.

Dit systeem voldoet in elk geval niet aan de AVG/GDPR regelgeving,immers: ".....een programmeerfout waardoor de keuze van de patiënt niet werd doorgegeven......" had nooit mogen leiden tot onrechtmatig gebruik van deze gegevens.

AVG/GDPR vereist Privacy by default wat niets anders is dan maximale privacy met de standaardinstelling. Als het niet doorgegeven is, mag het niet gebruikt worden. Hier wat achtergrondinfo over Privacy by default: https://www.nederlandict.nl/news/avg-uitgelegd-deel-3-privacy-by-design-privacy-by-default/

Het is duidelijk je achtergrond is van horen zeggen en wat napraten.
Niet vanuit het werkveld wat er gebeurt en met de voeten in de modder..
Een hit voor jou: https://www.nwo.nl/actueel/nieuws/2017/ew/grote-big-data-kansen-voor-zorg-en-welzijn-in-nederland.html voor Uk b.v. https://www.conted.ox.ac.uk/courses/big-data-epidemiology

Je herkend de zaak aan hoe het er uit ziet hoe het zich gedraagt hoe het zich uit. Daarvoor hoeft er geen ondertiteling bij.
Alleen voor de leermodus (modelleringsfase) heb je de ondertitels / guided results nodig bij de supervised aanpak.

Dilbert wel Wally is een ongevaarlijke saboteur de gevaarlijke komen maar kort voor. Nog al oninteressante figuren voor de lange termijn.

Als je in het werkveld big data thuis zou zijn, zou je weten dat de eerste fase het begrijpen van de gegevens is.
Aan het verhaal kun je herleiden dat dit op de data verzameld bij het NHS gebeurd is. Tevens omdat het al langer speelde dat het met een recent data vraag bij een onderzoek gebeurd moet zijn.
De procedures om data te mogen gebruiken naar NHS zijn nogal strikt. Veel administratieve stappen met onderbouwing. Dat heb ik dan weer van horen zeggen uit gesprekken met onderzoekers. Ooit wat eigen ervaringen daarmee met directe betrokkenheid.

Ik adviseer eerst om de achtergronden goed te hebben voordat er met een pakketje als de oplossing ingezet wordt.
https://www.istqb.org/ Te vaak gezien dat het pakketje inrollen projectmatig als een success afgevinkt werd maar dat waar het werkelijke om ging niet eens kon. Juist omdat de vraag wat het probleem is en de achtergronden missen.

Even kijken selenium "Selenium automates browsers. That's it! What you do with that power is entirely up to you."
Beperkt zich tot browsersinterfaces. Waar we het hier over hebben is niet een browserinterface bij ttp maar iets wat op de achtergrond wordt doorgegeven. De nieuwe procedure van NHS werkt zo te zien directer naar hun eigen data met wel een browser. Ik moet er niet aan denken dat die NHS database aan het internet in de cloud hangt. Daar moeten een aantal scheidingen bij. De betrokken procedures simulaties blijven in ieder geval binnen het NHS.

Een stage omgeving is ongeschikt voor externe data koppelingen het komt niet verder dan het eigen doosje.
De gangbare systemen staan intussen bol van de datakoppelingen en interfaces. SOA in dubbele betekenis, voor een ICT Service Oriented Architecture maar je kunt het ook als een aandoening opvatten.

Ga dan eens verder met projectbudgetten deadlines time-to market. Een ervaren iemand in de ICT weet dan dat het testen en de veiligheid onder druk gaan. "Customer Journey" ofwel in sprints elke paar weken een feestje van opleveringen vieren. Ik zeg niet dat het een bewuste keus is om niet te testen.
Je moet de mogelijkheden en beperkingen in het geheel zien. Alles tot in perfectie zien te krijgen heeft een onmogelijke doorlooptijd. Dan moet je een stap durven maken.

In dit verhaal is het wonderlijke dat er zo te zien een ontwerpkeus het echte euvel is.
Waarom moet er een moeilijke datakoppeling gebouwd worden voor een gegeven dat intern voor de NHS bij gebruik voor onderzoek van belang is. Eenvoud en versimpeling maakt iets minder kwetsbaar.

Zo'n fout is dit ontstaat soms door aanpassingen om een staging test te laten slagen met code of instelingen die niet uitgerold mogen worden. Interface bestand klaarzetten met een flag om niet te versturen maar wel automatisch als geslaagd verzonden afvinken. Andersom is ook prachtig gegevens werkelijk naar buiten sturen met een productie verbinding (hard gecodeerde optie).

Armzalige sukkel. Je moest eens weten (maar ik ga je desondanks niet vertellen wat ik doe). Ik kan je wel verklappen dat ik weinig met testen te maken heb gehad. Dat gebeurt door het testteam.


Dat er grote kansen zijn voor big data in zorg en welzijn geloof ik best. Dat wil echter nog niet zeggen dat er op de plek waar we het hier over hebben big data in het spel zijn. Dat is pure, nergens op gebaseerde, blinde speculatie. En dat laatste is echt jouw ding.


'Je herkend de zaak aan hoe het er uit ziet...' Inderdaad. Dus kan ik iemand die niet eens de meest basale spellingsregels beheerst nog serieus nemen.


Kom eerst maar eens met documentatie waaruit blijkt hoe het daar werkelijk in elkaar steekt.

Waar stond dat dit zo implemented is/was?

Ah je kiepert het over de muur en dan is het andermans probleem in plaats dat je het als gezamenlijk doel ziet.
Uitstekend voor de te verwachten faals blunders etc waar de ICT projecten gewoonlijk onder leiden.

Als je iets niet kent dan ben je niet in staat het te herkennen. Je geeft prijs wat jij beheerst, dat is zeker geen ict en big data.
Onderwerp: ICT big data en je vind dat ik een snelle reacties forum Neerlandicus moet zijn? Dat is een ander vakgebied
Daarmee geef je aan dat zelf niet met ICT security big data bezig bent en daar toch een woordje over wil doen.

Je hebt als flink wat documentatie gehad. Daarmee zijn jouw eerste veronderstellingen onderuit gehaald als onzin,
Onderbouw maar eens:
- wie verzameld de data voor vragen te gebruiken door onderzoekers … NHS
- wie moet weten welke data van welke personen door de onderzoekers gebruikt mogen worden … NHS
- wie is er gekomen met de aantallen over ontbrekende toestemmingen … NHS
Onderzoek via het NHS
https://www.hra.nhs.uk/about-us/committees-and-services/res-and-recs/
https://www.hra.nhs.uk/approvals-amendments/what-approvals-do-i-need/
https://www.hra.nhs.uk/planning-and-improving-research/policies-standards-legislation/research-tissue-banks-and-research-databases/

Het vervangen van de datakoppeling naar een directe webservice:
https://digital.nhs.uk/services/national-data-opt-out-programme
"The national data opt-out will replace the previous ‘type 2’ opt-out, which required NHS Digital to refrain from sharing a patient’s confidential patient information for purposes beyond their direct care. Any person with an existing type 2 opt-out will have it automatically converted to a national data opt-out from 25 May 2018 and will shortly receive a letter giving them more information and a leaflet explaining the new national data opt-out. We will continue to collect and convert type 2 opt-outs during the beta phase.


https://digital.nhs.uk/news-and-events/latest-news/statement-on-type-2-opt-out-error
https://digital.nhs.uk/services/gp-systems-of-choice/tpp-type-2-issue/content
Het hele verhaal dat data niet verstuurd is staat er

The national data opt-out choice can be viewed or changed at any time by using the online service at www.nhs.uk/your-nhs-data-matters."

Ieder zijn vak en bij grotere bedrijven heb je gespecialiseerde afdelingen voor testen. Niet dat jij dat kan weten want het is niet jouw omgeving natuurlijk.


Nou, ik dacht dat jij dat prijs aan het geven bent. Met je suggesties over 'big data' waar die helemaal niet aan de orde zijn. Je geeft aan dat je eigenlijk helemaal niet hebt begrepen wat 'big data' nou eigenlijk inhoudt. Dan zal je ict ook wel niet begrijpen.


Testen is ook een ander vakgebied en bij grotere bedrijven wordt dat vaak gescheiden. Je hebt blijkbaar geen ervaring met grotere bedrijven. Dat verbaast me niets. En ik verwacht niet dat je het niveau van een neerlandicus hebt maar ook niet dat je het niveau van een kleuter hebt. Je bent toch volwassen? Indien niet dan verklaart dat veel.


Ik ben niet geïnteresseerd in jouw speculatieve onzin. Geef mij een link waar expliciet en duidelijk staat dat men in dit specifieke voorbeeld met big data technologieën werkt of houd erover op.

Ah je kiepert het over de muur en dan is het andermans probleem in plaats dat je het als gezamenlijk doel ziet.
Uitstekend voor de te verwachten faals blunders etc waar de ICT projecten gewoonlijk onder leiden. [/quote]
Ieder zijn vak en bij grotere bedrijven heb je gespecialiseerde afdelingen voor testen. Niet dat jij dat kan weten want het is niet jouw omgeving natuurlijk. [/quote]Ik ben enkele groot gewend. Vandaar het commentaar op het gewone falen zoals jij toont.
Wat me verder opvalt de eerste reacties komen zeker niet met een onderbouwing en achtergrond van Enterprise (groot) eerder van een thuishobbyist aanpak. Nadat ik dat onderbouwd met links hoe groot Enterprise werkt gaat het over in de persoonlijke aanval. Ook dat herken ik en de personen die dat hanteren vind ik nogal sneu.
Heb je door dat je aantoont waar de ICT faal gewwonlijk aan te wijten is? Inderdaad de PHB als Foss houding.


Als je grotere bedrijven / organisaties zou kennen dan zou je weten dat de trend van de laatste jaren agile devops, customer journey is. Het testen als aparte afdeling is opgeheven en valt binnen het scrumteam.
Je valt telkens vreselijk door de mand en vertoont de puberale reactie dat het niet zo zou zijn. Over volwassenheid gesproken. CCM 0 ? De links dat er bij de NHS dat met onderzoeken in "big data" aanpak wordt gewerkt heb je gekregen.

Tuurlijk knaapje! Je bent 'enkele groot gewend' ;-)


Onderbouwd noemt hij dat :-) Nu, ik kan niet tegen papieren tijgers! Daar word ik vals van.


Goed... Waar blijft mijn link waarin jouw stelling dat er hier - in dit specifieke geval - sprake zou zijn van 'big data'? Daar blijf je maar omheen draaien nietwaar? Dus wie valt er hier nu door de mand? Geef nou maar gewoon toe dat je er de ballen verstand van hebt. (Of kom eindelijk met die link.)