Atnaujinti verslo padaliniai, išbandę genAI, sunaikins įmonę prieš jiems padėdami – Computerworld
Ilgametis „Gartner“ analitikas Avivah Litan (kurio oficialus titulas šiais laikais yra „Distinguished VP Analyst“) neseniai „LinkedIn“ parašė apie tokių „genAI“ pastangų keliamus pavojus kibernetiniam saugumui. Nors jos taškai buvo skirti saugos talentams, jos aprašytos problemos yra absoliučiai didesnė IT problema.
„Įmonės dirbtinis intelektas yra stebimas daugumos saugumo operacijų, kuriose darbuotojai neturi įrankių, reikalingų dirbtinio intelekto naudojimui apsaugoti“, – rašė ji. „Tradiciniai Appsec įrankiai yra netinkami, kai kalbama apie AI objektų pažeidžiamumą. Svarbu tai, kad saugos darbuotojai dažnai nedalyvauja kuriant įmonės AI ir mažai bendrauja su duomenų mokslininkais ir AI inžinieriais. Tuo tarpu užpuolikai yra užsiėmę kenkėjiškų modelių įkėlimu į Hugging Face, kurdami naują atakos vektorių, į kurį dauguma įmonių nesivargina.
„Noma Security pranešė, kad ką tik aptiko kliento atsisiųstą modelį, kuris imitavo gerai žinomą atvirojo kodo LLM modelį. Užpuolikas pridėjo kelias kodo eilutes, kurios sukėlė persiuntimo funkciją. Visgi modelis veikė puikiai, todėl duomenų mokslininkai nieko neįtarė. Bet kiekviena modelio įvestis ir kiekviena modelio išvestis taip pat buvo siunčiami užpuolikui, kuris sugebėjo visa tai išgauti. Noma taip pat atrado tūkstančius užkrėstų duomenų mokslo sąsiuvinių. Neseniai jie rado klaviatūros registravimo priklausomybę, kuri registravo visą veiklą jų kliento Jupyter nešiojamuosiuose kompiuteriuose. Klavišų registratorius nusiuntė užfiksuotą veiklą į nežinomą vietą, vengdamas saugumo, kurio akyse nebuvo „Jupyter“ užrašų knygelių.
