Hulpmiddel. Veilig coderen zou het antwoord van de software industrie moeten zijn.

18% extreme naïevelingen. Ik mag hopen dat de beste mensen niet werken binnen een security functie.

Giskard is open source, en dus beter, toch?

Kunnen LLMs dat niet zelf?
Ze waren toch zo goed in coderen.

Jup! Het werkt zeer effectief en ontzettend snel!!!
De enige verdediging is een soortgelijk systeem oa. gebaseerd op LLMs.
Zelfs als men fundamenteel tegen LLM slop is, moet men toch toegeven dat het bijzonder effectief en onmenselijk is.
De stier is los. Zet je schrap mensen!
Op dit moment is mijn verdediging een offline sectie van mijn leven, online doe ik zo min mogelijk privédingen.
Houdt ook overal een hard hoofd in en trap niet in de meest overtuigende smoezen online en via de telefoon, een LLM kan zich voordoen als een bekende met dezelfde stem en qua computer os dat ding ongelofelijk kwetsbaar tenzij men drastische opsec maatregelen treft alsof ze Edward Snowden zijn.
De bar ligt nu een stuk hoger en dit geraakt in een stroomversnelling nu er meer en meer gebruik van LLMs word gemaakt.
Black hats zijn nog aan het ontdekken en perfectioneren, maar zodra dat klaar is, is het klaar met ons digitale leven tenzij we soortgelijke tegenmaatregelen treffen.
Petje af voor ieder die deze gehele rant heeft gelezen...

Heb LLM vulnerability scanners gebruikt minder bekende vulnerabilities gewoon negeerde ook al waren deze potentieel veel gevaarlijker dan de bekende....
LLM's kijken alleen naar gegevens uit het verleden die ergens gepubliceerd zijn en berekend dat statistisch was het meest "waarschijnlijke" volgende woord, of in dit geval code. Als LLM's dus alleen naar code kijkt die online staat en daarop baseert of code goed of fout is dan is de kans groot dat er foutieve code als veilige code wordt bestempelt. Het is zelfs zo dat als de comments die bij stukken code wordt gezet op een bepaalde manier wordt geformuleerd LLM's het automatisch als goed beschouwen of er zelfs een stuk malware in kunnen schrijven.
LLM's zijn niet slim en denken niet, alles wat ze doen wordt berekent van wat het meest waarschijnlijke volgende woord of code is.

Ja het is misschien snel, maar de vraag is eerder of die accuraat is en ook echt goed is in het vinden van vulnerabilities...
Bij ons bedrijf gebruiken we ze, maar deze moet daarna alsnog door een persoon gecheckt worden. Het lijkt goed in het negeren in bepaalde minder bekende vulnerabilities vind vulnerabilities die er niet in zitten. voor sommige stukken code die heel specifiek zijn zijn we er zelfs weer vanaf gestapt omdat die teveel vals positieven geeft... zat meer werk in het checken van de uitkomst dan het op de ouderwetse manier van vulnerability testen....

De oudere kwetsbaarhedenscanners hadden veel fout-positieven, als AI gebaseerde scanners beter scannen zijn ze heel welkom. Vanuit de programmeer hoek zie ik meer in een pedantische scanner die ook reageert op zaken die nog geen bug zijn, maar dat wel kunnen worden (fragiele code).

Helaas worden code scanners te weinig gebruikt in softwareontwikkeling en het zal nog jaren kosten voordat de "infrastructuur software" op het niveau is dat ze black hats met LLM's kunnen weerstaan. Veel "plezier" gewenst.

Valt wel mee hoor, het enige dat er gebeurd is dat het de beveiliging versterkt, ontwikkelaars gaan hierin mee en dit komt alleen maar ten goede van de algehele beveiliging die eerst op losse poten stond.

Bestaat al even; effectief en efficient hulpmiddel. Zie bijv. XBOW.

Als softwarebedrijven LLM's niet inzetten om kwetsbaarheden te ontdekken in hun software / programmeercode dan doen ethische- en onethische hackers het wel.

Met de introductie van AI komt de voorspelling van Kurzweil dat het noodzakelijk is om AI te gebruiken om kwetsbaarheden te vinden en af te dekken toch redelijk dichtbij. De techniek staat in dezen nog in de kinderschoenen, maar het concept is nu wel bewezen.

Ik denk dat het als hulpmiddel een geweldige toevoeging is. Het is gebaseerd op taalmodellen, dus in mijn ogen geen kunstmatige intelligentie.

Met die wetenschap, kun je dit in dezelfde strekking zien als patroon herkenning net zoals kankercellen zeer accuraat kunnen worden herkent door foto's door de betreffende tools te laten scannen. Dat hiermee de scanner van Antrophic dus goede resultaten daarmee haalt, dat geloof ik zeker aangezien zij, voor zover ik begrijp, de tools veel meer specifiek gebruiken en niet generiek, wat alleen om die reden al veel betere resultaten geeft.

Verbeter me als ik het verkeerd heb, maar voorbeeld/boilerplate/opzet/start/patroon-herkenning kun je dit soort tools geweldig voor gebruiken. Echter, iteraties zoals het verbeteren van bestaande code zal lastig zijn : dat gaat volgens mij alleen maar werken als die een beter voorbeeld "geleerd" heeft. Ik ga er dan wel even van uit dat de agents de broncode "gezien" hebben.

Het fuzzen/uitproberen en dergelijke, dus dingen proberen zonder de broncode zal door dit soort tools ook veel sneller kunnen, omdat je daar ook patronen voor gebruikt.

Daarnaast bestaan source code scanners al jaren, maar zeker niet elke organizatie gebruikt die. effectief werken die op dezelfde manier (voor de gebruiker), maar met toegang tot je broncode; goed geintegreerd werken die namelijk al feilloos samen met je CI/CD pipeline en zorgen bij elke nieuw event ook voor een rapport. De manier waarop een LLM agent geintegreerd moet gaan worden in een dergelijke pipeline kan anders zijn, maar mits goed geintegreert, is het zeker een welkome uitbreiding.

Het meest waarschijnlijke is dat de LLM tools een stuk goedkoper zullen zijn dan de huidige source code scanners. Dus die producten moeten zich aanpassen aan de veranderende markt, anders zijn ze heel snel buiten gebruik.

@14:33 dan kom je weer in die schoolkantine discussie of coderen een taal is, of niet, en of het het als hetzelfde voelt als het leren van een nieuwe taal.

Voor AI maakt het niet uit, voor mensen wel, beweren ze. Die mensen dus. Daar wordt aandachtig naar geluisterd, beweren ze. Die AI ontwerpers dus.

Wat zet AI daar tegenover? Even kijken in de broncode, of toch iets anders? Dat verhaal van Smit is ondertussen ook wel uitgekotst, vind je niet, om het even binnens 1e en 2e Kamer te houden. Tenzij je nog een hoefijzermodel weet dat er niet op lijkt, en heel populair is, al mogen we dat nog niet zeggen/i

Voor mensen zal het er aan liggen wat hun "talent" is. hebben ze (naast analytisch vermogen) een wiskunde knobbel of een taken knobbel.
Afhankelijk daarvan zullen ze het op hun manier benaderen en er mee weg komen.
Niets nieuws onder de zon. Dan doen mensen al generaties. Zich dingen op hun manier eigen maken.

LLMs zijn "geprogrammeerd" met regels en kansberekening.
Gebaseerd op een extreem grote bron aan teksten als voorbeeld.
Maar als daar voldoende shit in zit, gaan ze compleet nat. Er zit geen intelligentie achter.
Dat is het grote verschil met mensen. Die merken op een bepaald moment wel nattigheid.

Waar is de definitie van ""LLM Vulnerability Finders" te vinden?
Linkje graag.

Is het een tool om kwetsbaarheden in LLMs te vinden, of LLMs die gebruikt worden om kwestbaarheden in andere dingen te vinden.

Mensen hebben geen takenknobbel, tenzij je ze als een mierenvolk geregeerd door de wiskunde beziet Wat interessante natuurfilms op kan leveren, wiskundeknobbels analyseren op taakopvattingen. Mensen hebben geen talenten, ze hebben aanleg, waaronder een aangeboren aanleg voor wiskunde. Facinerend hoe zo'n geheugen werkt: iedere keer naar de bron en dan toch weer tot de conclusie komen dat het altijd hetzelfde is: GIGO. Gelukkig hebben we nu veel mensen die daar oplossingen voor hebben bedacht, gaat het toch ooit toch nog iets worden met die mensheid/s

Je zou het AI kunnen vragen, of een zoekmachine, maar de poll van deze week is weer een typische, een van het type "to be or not to be" en je afvragen wat de vraag nu eigenlijk is.

Ik bedoelde een wiskunde knobbel of een talen knobbel.

Als ze net zo goed zijn in vulnerabilities vinden als in het coden zelf hebben we voorlopig nog niet veel te vrezen. Misschien dat ze wat laaghangend fruit weten op te sporen, maar het echte werk zal nog wel even duren.

Verder mag dit toegevoegd worden aan de lijst met manieren waarop LLM's (of eigenlijk de bedrijven daarachter) het internet stuk aan het maken zijn.

Toekomst? Volgens mij is dit met Mythos nu al een ding.

Absoluut. En het werkt vrij goed. De toekomst is hier.