Tento článok analyzuje deliacu čiaru medzi regulačným rámcom zdravotníckych pomôcok a Aktom o umelej inteligencii, reflektuje aktuálny legislatívny proces v Slovenskej republike a definuje minimálny štandard náležitej starostlivosti (due diligence) pri audite architektúr typu Retrieval-Augmented Generation (RAG).
 

I. Regulačný kontext: Od nariadenia (EÚ) 2024/1689 k slovenskej legislatívnej úprave

Základný pravidlový rámec na úrovni Európskej únie predstavuje nariadenie Európskeho parlamentu a Rady (EÚ) 2024/1689 z 13. júna 2024, ktorým sa stanovujú harmonizované pravidlá v oblasti umelej inteligencie (Akt o umelej inteligencii / EU AI Act). Toto nariadenie zavádza rizikovo orientovaný prístup s fázovanou účinnosťou jednotlivých povinností.

Na vnútroštátnej úrovni sa v podmienkach Slovenskej republiky nachádza v legislatívnom procese návrh zákona o štátnej správe v oblasti umelej inteligencie a európskej dátovej regulácie a o zmene a doplnení niektorých zákonov. Tento návrh upravuje postavenie a pôsobnosť orgánov štátnej správy, najmä Ministerstva investícií, regionálneho rozvoja a informatizácie Slovenskej republiky (MIRRI SR) ako orgánu dohľadu nad trhom a Úradu pre normalizáciu, metrológiu a skúšobníctvo Slovenskej republiky (ÚNMS SR) ako notifikujúceho orgánu.

Kľúčovým aspektom vnútroštátneho návrhu zákona je priama novelizácia zákona č. 18/2018 Z. z. o ochrane osobných údajov, konkrétne doplnenie § 78a až § 78c:

• § 78a (Posúdenie vplyvu na ochranu osobných údajov): Ukladá nasadzujúcemu subjektu využívajúcemu systém AI povinnosť predkladať informácie v rámci posúdenia vplyvu na ochranu osobných údajov (DPIA) spôsobom ustanoveným v čl. 26 a čl. 27 nariadenia (EÚ) 2024/1689.
• § 78b a § 78c (Správa údajov a regulačné prostredie): Upravujú rámec správy údajov, odhaľovania zaujatosti a účasti v regulačných experimentálnych prostrediach.

Nariadenie (EÚ) 2024/1689 v čl. 99, rovnako ako návrh slovenského zákona v § 33, stanovuje prísne sankčné mechanizmy za porušenie povinností, pričom pokuty môžu dosahovať až stanovené percentuálne podiely z celkového celosvetového ročného obratu alebo miliónové sumy v eurách.
 

II. Regulačné rozhranie: Zdravotnícka pomôcka (MDR) versus B2B AI nástroj

Prvým krokom pri posudzovaní akéhokoľvek softvéru spracúvajúceho zdravotné dáta je určiť, či podlieha osobitnej odvetvovej regulácii.

1. Nariadenie (EÚ) 2017/745 (MDR)

Podľa čl. 2 bod 1 nariadenia Európskeho parlamentu a Rady (EÚ) 2017/745 z 5. apríla 2017 o zdravotníckych pomôckach (MDR) sa softvér kvalifikuje ako zdravotnícka pomôcka (MDSW – Medical Device Software), ak má výrobcom určený špecifický zdravotnícky účel (napr. diagnóza, prevencia, monitorovanie, liečba alebo zmiernenie ochorenia). Podľa klasifikačného pravidla 11 prílohy VIII k nariadeniu (EÚ) 2017/745 podlieha softvér určený na poskytovanie informácií na diagnostické alebo terapeutické účely primárne zaradeniu do rizikovej triedy IIa, IIb alebo III, čo vyžaduje povinné posúdenie zhody notifikovanou osobou a získanie značky CE.
 

2. B2B podporný a administratívny AI systém (MDR Exempt)

Ak softvérový systém slúži výhradne na administratívne účely, triáž spisov, prepis, štruktúrovanie dát alebo komparatívnu analýzu zdravotnej dokumentácie voči právnym predpisom, štandardným diagnosticko-terapeutickým postupom (ŠDTP) či judikátom, nepovažuje sa za zdravotnícku pomôcku v zmysle MDR. Takýto systém spadá pod všeobecnú úpravu nariadenia (EÚ) 2024/1689 a nariadenia (EÚ) 2016/679 (GDPR).
 

3. Zásada Human-in-the-Loop a deľba kompetencií

Aby softvérový nástroj nespadol pod striktný režim MDR, musí zachovávať architektúru Human-in-the-Loop (HITL). Výstup algoritmu predstavuje výhradne podklad pre odborné rozhodnutie kvalifikovaného profesionála (lekára, advokáta, DPO). Právna a indikačná zodpovednosť za lege artis postup zostáva nedotknutá a leží na fyzickej osobe.

V aplikačnej praxi však vzniká špecifické posúdenie limity zodpovednosti. Technický dodávateľ softvéru zvyčajne deklaruje zmluvnú zodpovednosť len za funkčnosť zdrojového kódu a systémovú dostupnosť, avšak odmieta ručenie za medicínsko-odbornú presnosť generovaných výstupov. Právny zástupca alebo DPO zasa disponuje právnou kompetenciou, no spravidla nemá odborné predpoklady na posúdenie klinickej validácie a miery halucinácie modelu (Medical Grounding Risk). Bez overenia klinickej pravdivosti tak nasadzujúci subjekt preberá plnú zodpovednosť za škody spôsobené prípadným nesprávnym výstupom algoritmu.
 

III. Klasifikácia rizikovosti podľa EU AI Act: High-Risk a výnimka podľa čl. 6 ods. 3

Nariadenie (EÚ) 2024/1689 kategorizuje systémy AI podľa úrovne rizika:

1. Zakázané praktiky (čl. 5): Systémy využívajúce subliminálne techniky, sociálne skórovanie či neoprávnené biometrické kategorizácie.
2. Vysokorizikové systémy (High-Risk – čl. 6, Príloha I a III): Zahŕňajú AI systémy vystupujúce ako bezpečnostné komponenty produktov podliehajúcich posudzovaniu zhody (vrátane MDR), alebo standalone systémy v vymedzených oblastiach (napr. kritická infraštruktúra, zamestnávanie, prístup k esenciálnym službám).
    

Uplatnenie výnimky podľa čl. 6 ods. 3

Standalone AI systém spracúvajúci zdravotné alebo právne dáta sa nemusí považovať za vysokorizikový, ak nepredstavuje významné riziko poškodenia zdravia, bezpečnosti alebo základných práv a spĺňa niektorú z podmienok čl. 6 ods. 3 nariadenia (EÚ) 2024/1689 (napr. vykonáva len úzku prípravnú alebo procedurálnu úlohu či zlepšuje výsledok predchádzajúcej ľudskej činnosti). Podľa čl. 6 ods. 3 posledný pododsek však platí striktné pravidlo: ak systém AI vykonáva profilovanie fyzických osôb, považuje sa za vysokorizikový vždy.
 

Povinnosti nasadzujúceho subjektu (Deployer podľa čl. 26)

Subjekty nasadzujúce AI systémy (vrátane zdravotníckych zariadení a právnických osôb) musia podľa čl. 26 nariadenia (EÚ) 2024/1689:

• Prijatím vhodných technických a organizačných opatrení zabezpečiť používanie systému v súlade s návodom na použitie.
• Zveriť ľudský dohľad osobám s potrebnou odbornosťou a právomocami.
• Zabezpečiť reprezentatívnosť vstupných dát a monitorovať prevádzku systému.

Pre DPO a právnych garantov z toho vyplýva, že ak schvália nasadenie AI systému bez preukázania funkčného ľudského dohľadu a validácie odborného groundingu, vystavujú sa riziku, že kontrolný orgán vyhodnotí posúdenie vplyvu (DPIA/AISIA) ako formálne a nedostatočné.

IV. GDPR Zero-Trust, PII a spracúvanie osobitných kategórií údajov

Spracúvanie údajov o zdraví predstavuje spracúvanie osobitnej kategórie osobných údajov podľa čl. 9 nariadenia (EÚ) 2016/679 (GDPR) a § 16 zákona č. 18/2018 Z. z.

1. Architektúra Zero-Trust a PII

Pri využívaní pokročilých LLM a RAG architektúr je nevyhnutné uplatňovať princíp Zero-Trust a anonymizáciu/pseudonymizáciu osobných identifikačných údajov (PII – Personally Identifiable Information) priamo pri zdroji (na lokálnej infraštruktúre pred odoslaním do modelu).

2. Rozdiel medzi verejným AI rozhraním a Enterprise RAG

Použitie štandardných verejne prístupných AI rozhraní v zdravotníctve a právnej praxi zakladá riziko neoprávneného prenosu údajov tretej strane na účely trénovania modelov. V súlade s čl. 28 GDPR a čl. 50 nariadenia (EÚ) 2024/1689 musia byť nasadené výhradne podnikové (Enterprise) RAG rozhrania so zabezpečením Data Loss Prevention (DLP), pri ktorých je zmluvne a technicky garantované, že vstupné a výstupné dáta zostávajú izolované a neslúžia na sekundárne učenie modelov poskytovateľa.

3. Povinnosti transparentnosti (čl. 50)

Nasadzujúce subjekty musia zabezpečiť, aby fyzické osoby boli informované o tom, že interagujú so systémom AI alebo že výstupy (napr. syntetické správy či texty) boli vygenerované alebo manipulované AI, pokiaľ to nie je zrejmé z kontextu.

V. Štandard náležitej starostlivosti: Auditný checklist pre advokátske kancelárie a DPO

Pri realizácii právnych auditov a posudzovaní bezpečnosti AI softvéru u klientov sa odporúča postupovať podľa nasledujúceho päťbodového overovacieho zoznamu:

VI. Záver

Regulácia umelej inteligencie v zdravotníckom a právnom sektore prekračuje rámec čisto IT bezpečnosti. Zatiaľ čo technické normy (ako ISO/IEC 42001) upravujú riadenie procesov a systémov AI, právna a medicínska zodpovednosť vyžaduje overenie vecného obsahu výstupov. Advokátske kancelárie a DPO by pri náležitej starostlivosti mali trvať na tom, aby auditné protokoly AI systémov spájali technologické záruky Zero-Trust s odbornou garanciou lege artis presnosti. Len takýto ucelený prístup dokáže efektívne chrániť nasadzujúci subjekt pred regulačnými sankciami a zodpovednostnými nárokmi.

MUDr. Miloš Malejčík
všeobecný lekár pre dospelých s 15-ročnou praxou a Clinical AI Architect. Pôsobí ako odborný garant pre HealthTech a IT spoločnosti v oblasti medicínskeho groundingu, EU AI Act compliance a GDPR Zero-Trust architektúr. Je držiteľom certifikácií v oblasti AI Governance (BSI ISO 42001) a členom Google Cloud Partner Advantage.

Doktor narovinu s.r.o. 

E-mail: malejcik@doktornarovinu.sk