Pan all AI gael ei dwyllo: Deall risgiau chwistrellu promptiau

Gall systemau deallusrwydd artiffisial grynhoi dogfennau, ysgrifennu cod a rhoi atebion i gwestiynau cymhleth. Ond beth sy’n digwydd pan fydd y wybodaeth a roddir iddynt wedi’i chynllunio i’w camarwain? Mae chwistrellu promptiau yn risg seiberddiogelwch sy’n dod i’r amlwg, lle mae ymosodwyr yn trin ymddygiad AI drwy gyfarwyddiadau cudd. Mae deall hyn yn hanfodol i athrawon a dysgwyr sy’n defnyddio offer AI.

Math newydd o risg seiberddiogelwch

Mae deallusrwydd artiffisial yn dod yn rhan gyfarwydd o fywyd mewn ystafelloedd dosbarth a gweithleoedd. O sgwrsfeiriau i gynorthwywyr codio, gall y systemau hyn brosesu gwybodaeth a chreu allbynnau defnyddiol mewn eiliadau. Yn gynyddol, mae dysgwyr yn defnyddio AI i gefnogi ymchwil, drafftio gwaith a hyd yn oed adeiladu meddalwedd.

Fel gyda phob technoleg newydd, mae risgiau newydd yn dod i’r amlwg. Un o’r rhai pwysicaf yw chwistrellu promptiau, sef techneg sy’n galluogi ymosodwyr i drin sut mae systemau AI yn ymddwyn. Yn wahanol i ymosodiadau seiber traddodiadol, nid yw hyn yn golygu torri i mewn i system. Yn hytrach, mae’n gweithio drwy dwyllo’r AI i wneud rhywbeth na ddylai ei wneud.

Nid yw chwistrellu promptiau yn hacio’r system. Mae’n perswadio’r system i dorri ei rheolau ei hun.

Sut mae chwistrellu promptiau yn gweithio

Wrth wraidd y broblem mae’r ffordd mae systemau AI yn prosesu gwybodaeth. Maent wedi’u cynllunio i ddilyn cyfarwyddiadau, a elwir yn aml yn promptiau, a all ddod gan ddatblygwyr, defnyddwyr neu ffynonellau allanol fel dogfennau a gwefannau. Mewn llawer o achosion, nid yw’r systemau hyn yn gwahaniaethu’n glir rhwng cyfarwyddiadau dibynadwy a chynnwys annibynadwy.

Mae hyn yn creu cyfle i ymosodwyr. Er enghraifft, gallai dysgwr ofyn i offeryn AI grynhoi dogfen. Gallai’r ddogfen honno gynnwys cyfarwyddyd cudd sy’n dweud wrth yr AI i anwybyddu ei reolau blaenorol a datgelu gwybodaeth sensitif. Tra byddai person yn debygol o weld hyn fel rhywbeth amheus, gallai’r AI ei drin fel cyfarwyddyd arferol.

Os nad oes mesurau diogelwch digonol ar waith, gall y system gydymffurfio.

Pam ei fod yn anodd ei ganfod

Mae chwistrellu promptiau yn heriol oherwydd ei fod yn targedu ymddygiad yn hytrach na gwendid technegol yn y feddalwedd. Gellir cuddio’r ymosodiad mewn cynnwys bob dydd fel PDFs, tudalennau gwe neu storfeydd cod, gan ei wneud yn anodd ei ganfod.

Mae offer diogelwch traddodiadol wedi’u cynllunio i ganfod meddalwedd maleisus neu weithgarwch rhwydwaith anarferol. Nid ydynt wedi’u cynllunio i adnabod bwriad niweidiol sydd wedi’i ysgrifennu mewn iaith naturiol. O ganlyniad, gall chwistrellu promptiau osgoi llawer o’r amddiffynfeydd presennol.

Tystiolaeth o risg yn y byd go iawn

Nid yw chwistrellu promptiau yn bryder damcaniaethol yn unig. Mae corff cynyddol o ymchwil yn dangos bod modd trin systemau AI yn ymarferol.

Dangosodd astudiaethau cynnar, megis yr ymchwil ar wendidau modelau iaith mawr (https://arxiv.org/abs/2302.12173), y gallai systemau AI gael eu perswadio i anwybyddu eu cyfarwyddiadau gwreiddiol a dilyn cyfarwyddiadau maleisus. Roedd hyn yn dangos pa mor hawdd oedd dylanwadu ar ymddygiad mewn systemau cynharach.

Dangosodd ymchwil bellach ar ymosodiadau gwrthwynebus ar fodelau wedi’u halinio (https://arxiv.org/abs/2311.16119) y gellir defnyddio’r dechneg i echdynnu gwybodaeth sensitif, gan gynnwys cyfarwyddiadau cudd a data cyfrinachol.

Mae dadansoddiad mwy diweddar ar draws sawl model (https://arxiv.org/abs/2410.23308) yn awgrymu nad yw hyn yn achos prin. Yn yr astudiaeth honno, roedd mwy na hanner yr ymosodiadau yn llwyddo, gan ddangos bod gwendidau yn parhau.

Mewn rhai cyd-destunau, mae’r cyfraddau llwyddiant yn uwch fyth. Canfu astudiaeth yn 2025 mewn systemau iechyd (https://jamanetwork.com/journals/jamanetworkopen/fullarticle/2842987) fod dros 90 y cant o ymosodiadau chwistrellu promptiau yn llwyddo, hyd yn oed mewn sefyllfaoedd risg uchel.

Ar yr un pryd, mae’r dulliau yn newid. Mae adroddiadau ar brofion mewn offer datblygu AI (https://www.tomshardware.com/tech-industry/cyber-security/researchers-uncover-critical-ai-ide-flaws-exposing-developers-to-data-theft-and-rce) yn dangos y gall cyfarwyddiadau cudd mewn ffeiliau arwain at ddatgelu manylion sensitif neu weithredoedd nas bwriadwyd.

Gyda’i gilydd, mae’r dystiolaeth yn dangos bod hwn yn risg ymarferol ac esblygol.

Pam mae hyn yn bwysig i addysg

I addysgwyr, mae chwistrellu promptiau yn dangos newid pwysig mewn llythrennedd digidol. Yn aml, caiff seiberddiogelwch ei addysgu drwy ganolbwyntio ar gyfrineiriau, meddalwedd maleisus a gwe-rwydo. Mae’r rhain yn parhau’n bwysig, ond mae AI yn cyflwyno dimensiwn newydd lle gall cynnwys ei hun fod yn fector ymosod.

Nid yw systemau AI yn deall ystyr yn yr un ffordd â phobl. Maent yn adnabod patrymau ac yn ymateb yn unol â hynny. Gall hyn olygu eu bod yn dilyn cyfarwyddiadau niweidiol os cânt eu cyflwyno mewn ffordd gredadwy.

Wrth i ddysgwyr ddefnyddio AI yn fwy aml, mae’n bwysig eu bod yn dysgu cwestiynu’r mewnbynnau a’r allbynnau.

Lleihau’r risg yn ymarferol

Nid oes un ateb syml i leihau’r risg. Mae’n dibynnu ar ddatblygu arferion da. Dylid trin cynnwys allanol gyda gofal, yn enwedig pan gaiff ei brosesu gan AI.

Mae goruchwyliaeth ddynol yn hanfodol. Dylid adolygu allbynnau AI, yn enwedig pan fyddant yn cynnwys cod neu wybodaeth sensitif.

Mae’r diwydiant hefyd yn gweithio i wella systemau drwy wahanu cyfarwyddiadau oddi wrth ddata a chryfhau mesurau diogelwch.

Edrych ymlaen

Mae chwistrellu promptiau yn debygol o fod yn her ganolog i seiberddiogelwch yn oes AI, yn debyg i’r rôl a chwaraeodd gwe-rwydo yn oes e-bost. Fodd bynnag, mae’r sefyllfa yn newid yn gyflym.

Er bod ymchwil cynnar wedi dangos pa mor hawdd oedd trin systemau AI, mae ymchwil ddiweddar yn dangos bod y risg yn parhau ond yn dod yn fwy soffistigedig. Mewn rhai amgylchiadau, gall ymosodiadau barhau i lwyddo ar gyfraddau uchel.

Ar yr un pryd, mae cwmnïau AI wedi gwneud cynnydd. Yn hytrach na cheisio atal pob ymosodiad, mae’r ffocws bellach ar leihau’r effaith pan fyddant yn digwydd, gan gynnwys cyfyngu ar fynediad at ddata sensitif a chyflwyno gwiriadau ychwanegol.

Er nad yw’r dulliau hyn yn berffaith, maent yn dangos newid pwysig yn y ffordd mae’r risg yn cael ei rheoli.

Y newyddion da yw bod ymwybyddiaeth yn cynyddu, ac mae ymchwil a diwydiant yn ymateb yn gyflym. Ar yr un pryd, mae gan AI botensial mawr i gefnogi dysgu ac arloesi.

I addysgwyr, y nod yw defnyddio AI yn ddiogel ac yn feddylgar. Drwy helpu dysgwyr i ddeall y risgiau a meddwl yn feirniadol, gallwn sicrhau bod y dechnoleg hon yn cael ei defnyddio er budd pawb.