Pan fydd AI yn gweithredu: Deall risgiau diogelwch asiantau AI

Mae systemau deallusrwydd artiffisial yn dechrau gwneud mwy na dim ond ateb cwestiynau neu gynhyrchu cynnwys. Yn gynyddol, gallant weithredu drwy anfon negeseuon, cyrchu ffeiliau a rhyngweithio â meddalwedd. Gelwir y systemau hyn yn asiantau AI. Maent yn creu cyfleoedd newydd ond hefyd yn cyflwyno risgiau seiberddiogelwch newydd. Mae deall y risgiau hyn yn hanfodol i athrawon a dysgwyr wrth i AI ddod yn rhan o ddysgu a gwaith bob dydd.

Symudiad o feddwl i weithredu

Mae deallusrwydd artiffisial yn esblygu’n gyflym. Mae llawer eisoes yn gyfarwydd ag offer sy’n gallu cynhyrchu testun, ysgrifennu cod neu grynhoi gwybodaeth. Fodd bynnag, mae cenhedlaeth newydd o systemau yn dod i’r amlwg sy’n gallu gwneud mwy.

Gelwir y systemau hyn yn asiantau AI, ac maent wedi’u cynllunio nid yn unig i ymateb i gyfarwyddiadau ond i weithredu ar ran defnyddiwr. Gall hyn gynnwys chwilio’r we, anfon negeseuon, diweddaru dogfennau neu ryngweithio â meddalwedd arall.

Mae’r newid hwn yn arwyddocaol. Pan fydd AI yn symud o gynhyrchu syniadau i gyflawni tasgau, mae’r effaith bosibl o gamgymeriadau neu gamdriniaeth yn cynyddu.

Pan fydd AI yn symud o feddwl i weithredu, mae’r risg yn symud o allbynnau digidol i ganlyniadau yn y byd go iawn.

Beth yw asiantau AI?

Mae asiantau AI yn cyfuno modelau iaith â mynediad at offer, data a systemau. Yn hytrach na rhoi un ateb, gallant gynllunio a chyflawni cyfres o gamau i gyrraedd nod.

Er enghraifft, gall asiant AI ddarllen dogfen, defnyddio’r wybodaeth i greu neges, ac yna anfon y neges honno drwy system e-bost. Mewn achosion eraill, gall gyrchu gwasanaethau ar-lein, diweddaru ffeiliau neu gydlynu tasgau ar draws sawl llwyfan.

Mae ymchwil i systemau AI ymreolaethol yn dangos y gallant rannu tasgau cymhleth yn gamau llai a’u cyflawni gyda llai o fewnbwn dynol, fel y dangosir yn yr ymchwil hon ar fodelau sy’n defnyddio offer (https://arxiv.org/abs/2302.04761).

Mae’r gallu hwn i weithredu’n annibynnol yn gwneud asiantau AI yn bwerus, ond hefyd yn cyflwyno risgiau newydd.

Sut mae risg yn cynyddu pan fydd AI yn gallu gweithredu

Y gwahaniaeth allweddol gydag asiantau AI yw eu bod yn rhyngweithio’n uniongyrchol â systemau go iawn. Mae hyn yn creu cysylltiad clir rhwng ymddygiad AI a chanlyniadau yn y byd go iawn.

Pan fydd AI yn cynhyrchu ateb anghywir, gall yr effaith fod yn gyfyngedig. Pan fydd asiant AI yn gweithredu ar sail gwybodaeth anghywir neu wedi’i thrin, gall y canlyniadau fod yn fwy difrifol. Gall hyn gynnwys anfon gwybodaeth sensitif at y person anghywir, gwneud newidiadau nas bwriadwyd i ddogfennau neu ryngweithio â systemau allanol mewn ffordd anniogel.Mae ymchwil ar systemau AI sy’n defnyddio offer yn dangos y gall modelau gael eu dylanwadu i gyflawni gweithredoedd nad oedd y defnyddiwr wedi’u bwriadu (https://arxiv.org/abs/2308.11432). Mae hyn yn dangos sut mae gallu gweithredu yn newid natur y risg.

Y cysylltiad â chwistrellu promptiau

Mae asiantau AI yn arbennig o agored i’r math o ymosodiadau a drafodwyd yn yr erthygl flaenorol. Mae chwistrellu promptiau yn dod yn fwy peryglus pan fydd AI yn gallu gweithredu.

Pan fydd asiantau AI wedi’u cysylltu ag offer, gall ymosodiad syml arwain at weithredoedd go iawn, nid dim ond atebion anghywir.

flaenorol. Mae chwistrellu promptiau yn dod yn fwy peryglus pan fydd AI yn gallu gweithredu.

Os yw cyfarwyddiadau maleisus wedi’u cuddio mewn cynnwys ac mae asiant AI yn prosesu’r cynnwys hwnnw, gall y system eu trin fel cyfarwyddiadau dilys. Gall wedyn eu dilyn heb i’r defnyddiwr sylwi, gan gyrchu data neu gyflawni gweithredoedd.

Mae ymchwil i chwistrellu promptiau anuniongyrchol wedi dangos sut y gall cyfarwyddiadau cudd mewn tudalennau gwe neu ddogfennau ddylanwadu ar systemau AI (https://arxiv.org/abs/2302.12173). Pan fydd y systemau hyn wedi’u cysylltu ag offer, gall yr effaith ymestyn y tu hwnt i allbynnau anghywir i weithredoedd go iawn.

Tystiolaeth o systemau yn y byd go iawn

Mae tystiolaeth o ymchwil a diwydiant yn dangos bod y risgiau hyn eisoes yn dod i’r amlwg.

Mae astudiaethau ar asiantau AI sy’n rhyngweithio ag offer allanol wedi dangos y gellir eu trin i gyflawni gweithredoedd nas bwriadwyd, gan gynnwys cyrchu neu ddatgelu gwybodaeth sensitif (https://openreview.net/forum?id=UVgbFuXPaO).

Mae adroddiadau diwydiant hefyd yn tynnu sylw at achosion lle mae systemau AI wedi ymateb i gyfarwyddiadau cudd mewn cynnwys fel gwahoddiadau calendr neu ddogfennau, gan arwain at ymddygiad nas bwriadwyd (https://www.wired.com/story/google-gemini-calendar-invite-hijack-smart-home/).

Mae’r enghreifftiau hyn yn dangos nad yw’r risg yn ddamcaniaethol yn unig, ond yn real ac yn datblygu.

Pam mae hyn yn bwysig i addysg

I athrawon a dysgwyr, mae asiantau AI yn cynnig cyfleoedd ond hefyd yn dod â chyfrifoldebau.

Gall y systemau hyn gefnogi dysgu drwy helpu i drefnu gwybodaeth, rheoli tasgau ac archwilio syniadau. Gallant hefyd leihau’r amser a dreulir ar weithgareddau arferol.

Ar yr un pryd, mae angen deall y risgiau. Mae angen i ddysgwyr sylweddoli y gall systemau AI weithredu ar eu rhan, a bod y gweithredoedd hynny’n gallu cynnwys data a systemau go iawn. Mae hefyd yn bwysig deall na ellir ymddiried ym mhob cynnwys a brosesir gan AI.

I athrawon, mae hyn yn codi cwestiynau ehangach. Wrth i AI ddod yn rhan o’r ystafell ddosbarth, mae angen ystyried sut mae’r systemau hyn yn rhyngweithio â data dysgwyr, systemau ysgolion a llwyfannau allanol. Mae hyn yn gwneud asiantau AI yn fater o ddiogelwch digidol a diogelu.

Lleihau’r risg yn ymarferol

Nid yw rheoli’r risg yn golygu osgoi’r dechnoleg, ond ei defnyddio’n ofalus.

Un dull pwysig yw cyfyngu ar yr hyn y gall systemau AI ei wneud. Mae hyn yn cynnwys rheoli mynediad at ddata sensitif a sicrhau mai dim ond y caniatâd angenrheidiol sydd gan y system.

Mae goruchwyliaeth ddynol yn parhau’n hanfodol. Dylid adolygu gweithredoedd ac allbynnau AI, yn enwedig mewn cyd-destun addysgol.

Mae pwyslais cynyddol hefyd ar ddylunio systemau fel bod effaith unrhyw wall yn gyfyngedig. Mae hyn yn cynnwys gwahanu cyfarwyddiadau oddi wrth ddata a chyflwyno gwiriadau cyn gweithredu.

Edrych ymlaen

Mae asiantau AI yn debygol o ddod yn rhan gyffredin o addysg a gwaith. Wrth iddynt ddod yn fwy galluog, byddant yn cael eu hymgorffori’n ddyfnach mewn systemau bob dydd.

Mae’r dystiolaeth yn dangos, er bod y systemau hyn yn cynnig manteision sylweddol, eu bod hefyd yn cyflwyno mathau newydd o risg seiberddiogelwch. Mae’r risgiau hyn yn gysylltiedig â heriau fel chwistrellu promptiau, ond gyda chanlyniadau mwy uniongyrchol.

Ar yr un pryd, mae cynnydd yn cael ei wneud. Mae cwmnïau AI yn datblygu dulliau i gyfyngu ar yr hyn y gall asiantau ei wneud ac i leihau effaith ymosodiadau. Mae hyn yn cynnwys rheolaeth well ar ganiatâd, monitro gwell a dylunio systemau mwy diogel.

Fodd bynnag, mae’r her sylfaenol yn parhau. Mae asiantau AI yn gweithio drwy ddehongli iaith a chyd-destun, sy’n eu gwneud yn wahanol i feddalwedd draddodiadol.

I addysg, mae hyn yn gyfle. Drwy helpu dysgwyr i ddeall sut mae asiantau AI yn gweithio, a thrwy annog defnydd cyfrifol, gallwn sicrhau bod y dechnoleg hon yn cael ei defnyddio’n ddiogel ac yn effeithiol.

Pan gaiff ei defnyddio’n dda, gall asiantau AI gefnogi dysgu, creadigrwydd a chynhyrchiant. Y nod yw sicrhau bod y manteision hyn yn cael eu cefnogi gan ymwybyddiaeth a dealltwriaeth gadarn..