Nieuws
image

Onderzoeker vindt schat aan informatie in robots.txt

maandag 18 mei 2015, 17:04 door Redactie, 11 reacties

Via het bestand robots.txt kunnen websites aangeven dat zoekmachines bepaalde bestanden of directories niet mogen indexeren, maar dit kan aanvallers echter ook op interessante informatie wijzen. Het gebruik van robots.txt als verkenning voor aanvallen is al zeer lang bekend. Toch zijn er nog steeds tal van websites die allerlei interessante informatie in dit bestand laten staan, zo ontdekte een Franse onderzoeker.

Hij analyseerde bijna 60.000 websites, waarvan er 35.000 een geldig robots.txt-bestand leken te bevatten. In de tekstbestanden ontdekte hij allerlei interessante zaken, zoals een opmerking om foto's van gestalkte studenten niet te indexeren, waarbij een link naar een afbeelding was opgenomen. Ook vond hij allerlei admin- en beheerdersdirectories die verborgen moesten blijven, alsmede allerlei Word-documenten.

De onderzoeker concludeert dan ook dat het gebruik van robots.txt niet zonder gevolgen is. "In het eenvoudigste geval onthult het afgeschermde paden en de technologie die je servers gebruiken. Maar met verder onderzoek kun je content vinden die er niet hoort te staan." Beheerders moeten er dan ook niet vanuit gaan dat robots.txt alleen door robots en crawlers wordt gelezen merkt hij op.

Reacties (11)
18-05-2015, 17:52 door Anoniem
Common sense en oud nieuws, maar goed dat het nogmaals benadrukt wordt.
18-05-2015, 18:05 door Anoniem
The nineties called: They want their research back.
18-05-2015, 18:17 door Anoniem
Gaap, what else is new..... Robots.txt is al opvraagbaar sinds het begin van het www. Beetje bejaarde ontdekking dus.
18-05-2015, 18:40 door Anoniem
De pruimentijd is weer aangebroken, lijkt mij ?
18-05-2015, 18:46 door Anoniem
Tjonge jonge, onderzoeker is net uit zijn winterslaap ontwaakt?
18-05-2015, 20:05 door Anoniem
Dat je een "onderzoeker" nodig hebt om volstrekt voor de hand liggende waarheden als koeien te duiden. Kennelijk wel want het hele idee van robots.txt is volstrekt mesjokke en onveilig, en toch een de facto webstandaard.
18-05-2015, 20:40 door Anoniem
Zucht....
Alles waar je niet mag komen bevat toch mogelijk belangrijke informatie? Waarom dan wel de moeite doen om het in een robots.txt te zetten en niet de moeite nemen om de rechtenstructuur op een degelijke manier in te richten? Trouwens zet in Firefox je useragent maar eens op google bot en je komt op veel plaatsen gewoon weer door de betaalmuur... There Always is a way
19-05-2015, 07:40 door Anoniem
Aan bovenstaande Anonieme personen:

Wat voor jou al jaren duidelijk is hoeft voor anderen nog niet duidelijk te zijn. De informatie uit het artikel is voor vele webbeheerders, die mogelijk deze website bijhouden, nuttige informatie en kan zelfs helpen herinneren aan "vergeten zaken".
19-05-2015, 08:25 door Anoniem
Heel heel heel lang bekend. Maar dit soort nieuws krijg je als mensen zich onderzoeker of journalist gaan noemen maar geen interesse hebben in wat de vorige generaties al opgeschreven hebben. Het wiel opnieuw uitvinden is voor amateurs niet moeilijk.
19-05-2015, 13:42 door Anoniem
Uit het feit dat er nog steeds informatie op die manier gevonden kan worden, kun je opmaken dat het toch niet voor iedereen zo oud nieuws is, of dat veel beheerders het niet belangrijk vinden, of beide.

Informatiebeveiliging is geen kwestie van "ik heb het nu een keer gezegd en nu moeten jullie het voortaan maar weten".
Frappez, frappez toujours.

Overigens vind ik alle "jongens wat een oud nieuws" geblaat ook maar weinig informatie toevoegen. Deel dan liever iets van je oneindige kennis met de mindere goden hier.
19-05-2015, 15:19 door Vandy
Door Anoniem: The nineties called: They want their research back.
LOL!
Reageren

Deze posting is gelocked. Reageren is niet meer mogelijk.

Zoeken
search