Блог · Технологија и ИТ · 17.04.2025

Безбедност у доба вештачке интелигенције: нови напади и практична заштита

Безбедност у доба вештачке интелигенције: нови напади и практична заштита

Вештачка интелигенција мења економију, медицину и сајбер-безбедност. Може ојачати одбрану и снизити цену напада. Језички модели, deepfake системи и аутоматизовани алати чине познату превару личнијом, масовнијом и уверљивијом.

Forrester аналитичар Кајл Вилбур упоредио је AI са нуклеарном технологијом: довољно снажном за огромну корист и способном за велику штету када се злоупотреби. Поређење не треба да претвори алгоритам у ум. AI не разуме последице као одговорна особа, али у вештим или непажљивим рукама постаје снажан инструмент.

AI претње траже системски одговор: технологију, процес, обуку и реалну симулацију. Одбрана мора да се развија без панике и без илузије да постојећи antivirus чини организацију невидљивом.

1. Нови вектори: AI појачава нападача

Већина „нових“ вектора су старије технике ојачане AI-ем. Постају прецизније, брже, личније и јефтиније за масовну примену.

1.1. Phishing уз LLM

Phishing дуго делује јер напада људско расуђивање. Велики језички модел сада помаже нападачу да направи:

  • лажну поруку сличну нормалној корпоративној преписци;
  • лични приступ на основу OSINT-а и стварних колега;
  • хиљаде варијанти прилагођених особи, језику и улози.

Чланак наводи SlashNext, BlackBerry, Positive Technologies, Group-IB и Kaspersky извештаје за раст и проценте LLM phishing-а. Бројеве треба проверити у дефиницији изворног извештаја; добављачи различито броје поруке, инциденте и кампање. Оперативан закључак не зависи од једног процента: граматика, тон и познато име више нису поуздан знак аутентичности.

Примери

  • Лажна Sberbank или Gosuslugi порука: пријављује сумњиву пријаву и тражи позив на дати број; преварант се затим представља као безбедносна служба.
  • Злонамерна пријава за посао: HR добија уверљив CV или test file са malware-ом. Чланак пријављује раст напада на HR у 2024.
  • Deepfake позив руководиоца: messenger налог користи јавну фотографију, глас и контекст компаније да тражи новац или тајан податак.

Велика количина ствара „информациону маглу“. Одбрана не може зависити од неспретног језика; треба јој правило провере које ради и са углађеном поруком.

1.2. Deepfake и фалсификован документ

Deepfake је синтетичка или измењена слика, video или audio. Искоришћава визуелно и слушно поверење. Чланак Group-IB извештају из 2023. приписује брз раст напада и велики удео клонирања гласа. Без обзира на тачну стопу, познат глас или лице више нису доказ идентитета.

Примери укључују клониран CEO глас повезан са трансфером од ₽35 милиона, лажне банкарске позиве, покушај Zoom представљања као VTB руководилац и клониране гласове усмерене на Alfa-Bank клијенте. Наводи се и Kaspersky материјал о јавним подацима са друштвених мрежа.

Налог за плаћање и пуномоћје

Генеративни алат може направити реалан scan, налог и PDF рачун и заменити реквизите уз познат дизајн. Један логистички случај из 2024. спаја синтетички глас CFO-а и лажан рачун од ₽12 милиона откривен тек audit-ом.

Deepfake и документ праве причу у више канала: глас, порука и прилог привидно потврђују једно друго. Независна провера мора користити познат канал и раније познате податке, не још један елемент из сумњиве поруке.

1.3. Аутоматизација напада

  • Извиђање: сажимање јавних сајтова, мрежа, форума, цурења и украдених база.
  • Exploit: писање Python, Bash или PowerShell кода и прилагођавање познате технике.
  • Phishing операција: лична порука, позив и chatbot.
  • После упада: помоћ у крађи података, ransomware току и избегавању детекције.

Чланак руске бројеве и случајеве приписује Positive Technologies-у и InfoWatch-у, укључујући аутоматски „проверавајући“ chat за крађу CRM акредитива. Генерисан код не чини свакога стручњаком, али снижава напор и повећава број уверљивих покушаја.

2. Зашто напади пролазе?

  • Уверљивост: глас личи на директора, а језик на стил компаније.
  • Емоционалан притисак: „одмах пребаци новац“ сужава пажњу и гуши проверу.
  • Умор: преоптерећен запослени пропушта слаб сигнал.
  • Лажна сигурност: „имамо antivirus“ меша се са заштитом од преваре идентитета.

Чланак наводи SANS и Proofpoint проценте о људском учешћу и клику на ауторитативну поруку. „Људски фактор“ не сме постати окривљавање. Ако процес дозвољава да једна уморна особа одобри важан захтев из непровереног канала, процес је безбедносни квар.

3. Одбрана од AI претњи

3.1. Технологија

  • UEBA и NDR: анализа понашања корисника и ентитета и network detection откривају необичан образац налога, уређаја и мреже.
  • Anti-fraud и traffic analytics: трансакциона правила и понашајни модели задржавају необичан transfer или session за review.
  • Deepfake детекција: систем анализира audio и video артефакте. Чланак наводи MITRE резултате, широк распон тачности у 2024. и VisionLabs рад на face swap, reenactment, lip sync и генерисаним лицима.

Тачност зависи од компресије, квалитета и методе нападача. Detector је један сигнал, не ауторитет за одобрење плаћања.

3.2. Обука и вежба

  • изводите phishing симулацију по стварном обрасцу комуникације;
  • овлашћени red team тестира синтетички глас, video и аутоматизовани сценарио;
  • обучите независну проверу новца, акредитива, приступа и осетљивих података;
  • мерите пријављивање и поправку процеса, не само ко је кликнуо.

Чланак KnowBe4-у приписује смањење успешног phishing-а после редовне обуке. Обука помаже само уз техничку и процесну контролу.

4. Руска решења и замена увоза

  • SIEM: MaxPatrol SIEM компаније Positive Technologies за прикупљање, анализу и извештавање безбедносних догађаја.
  • EDR/XDR: Kaspersky и STAF производи са понашајном анализом и праћењем у реалном времену.
  • VPN и firewall: Continent, Dallas Lock и Security Code за заштићене канале и контролу веза.
  • Оперативни систем: Astra Linux и RED OS као домаће платформе са безбедносним могућностима.

Назив производа није завршена контрола. Организацији и даље требају добра конфигурација, власништво средства, incident response, update, квалитетан log и тестиран опоравак.

5. Нови правци

5.1. Гласовни помоћници и паметни уређаји

  • синтетички audio имитира власника и покушава поруку, трансакцију или контролу IoT-а;
  • снимљен или генерисан глас напада канцеларијски conference систем;
  • нечујна или ултразвучна команда искоришћава microphone path.

Чланак се позива на истраживање Московског државног универзитета и Skoltech-а из 2024. о ултразвучној контроли паметног звучника. Такав интерфејс треба потврду и ограничење важне радње.

5.2. IoT и индустријски AI

  • лажна телеметрија може утицати на SCADA одлуку;
  • затрован улаз за обуку може учинити да factory модел погрешно препозна стање;
  • генерисан злонамеран firmware или update може напасти повезан уређај;
  • приступ digital twin-у омогућава испробавање суптилне промене пре стварног процеса.

Предвиђање прве „AI усмерене несреће“ је сценарио, не утврђен инцидент. Корисно је за threat model јер последица може бити физичка.

5.3. LLM агент и аутономна скрипта

Агент планира кораке и позива алате. У нападу може тражити рањивост, разговарати са подршком као клијент, сакупљати информације кроз API, управљати botnet-ом или мењати phishing кампању. AutoGPT и AgentGPT у легитимном тестирању показују општи образац.

Одбрана тражи најмање привилегије, краткотрајне акредитиве, серверску ауторизацију, allowlist, rate limit и људско одобрење важне операције. Модел предлаже; детерминистичка контрола одлучује.

5.4. Тровање података

Ако нападач мења training или retrieval податак, систем може научити да пропусти malware, прихвати лажан документ или искриви препоруку. Чланак наводи Gartner прогнозу удела. Тачан број је неизвестан; контрола је конкретна:

  • бележите порекло податка и одобрен извор;
  • валидирајте промену и раздвојте дужности;
  • тестирајте модел познатим чистим случајем;
  • пратите промену дистрибуције и неочекиван исход;
  • чувајте повратну верзију скупа и индекса.

5.5. Синтетички идентитет

Генеративни систем прави уверљивог запосленог, клијента или службеника са фотографијом, документом и историјом. Такав идентитет временом гради поверење, тражи приступ, сакупља информације или потписује лажан документ. Чланак описује руски случај из 2024. са мрежом AI-генерисаних LinkedIn „запослених“.

Провера идентитета зато тражи ауторитативан регистар, liveness где је сразмеран, познат канал и праћење недоследног понашања. Један selfie или глас није довољан.

Практичан скуп контрола

Контроле треба распоредити у више независних слојева. Модел може погрешити, корисник може бити обманут, а један detector може пропустити нову технику. Комбинација идентитета, дозволе, контекста и потврде смањује вероватноћу да једна грешка одмах постане инцидент.

  • класификујте податак пре повезивања са AI системом;
  • не стављајте тајну и непотребан лични податак у prompt и log;
  • retrieved документ и веб страну третирајте као непоуздан input;
  • одвојите инструкцију од доказа и валидирајте структуриран output;
  • дајте најмању привилегију и краткотрајан credential сваком алату;
  • тражите независно одобрење плаћања, брисања, објаве и промене приступа;
  • водите инвентар AI употребе, власника, модела, класе података и дозволе;
  • тестирајте глас, индустријски AI, prompt injection и цурење;
  • пратите порекло и знак тровања података;
  • припремите ограничење, чување доказа и kill switch.

За најважније радње организација треба да тестира цео пут, не само један интерфејс. Провера обухвата захтев, одлуку о дозволи, запис догађаја, обавештење, могућност заустављања и опоравак. Вежба је успешна тек када тим уме да препозна сигнал, ограничи последицу, сачува доказ и безбедно врати услугу.

Закључак

AI phishing, deepfake и аутоматизовано извиђање су лични, масовни и релативно јефтини. Следе IoT, индустријски модел, LLM агент, poisoning и синтетички идентитет. Сама технологија не решава проблем.

Отпорна организација спаја детекцију аномалије, контролу приступа, правило провере, обуку и реалну вежбу. Дигитални идентитет, податак и радњу проверава независним доказом. AI остаје алат; заштита мора да се прилагођава како алат постаје бржи и приступачнији.

Одговорност остаје код организације: она одређује дозвољену употребу, власника ризика, рок за реакцију и доказ потребан за повратак у нормалан рад.

Најважнија је спремност на промену. Стару контролу задржите где ради, али је не мешајте са потпуним одговором на нови слој извршења.

Подели чланак

Само оно што је важно

Нови материјали на изабране теме

Послаћу кратку најаву и везу када објавим нови материјал на тему коју сте изабрали. Одјављивање је могуће једним кликом из сваке поруке.

Шта да шаљемо