Skip to content
DataDream
← Allar greinar
Gervigreindarstefna7 min

Tannlæknirinn minn notar núna gervigreind. Það sem ég sá í stólnum reyndist vera alþjóðlegt mynstur

Laurens van Dijk, oprichter van DataDream

Laurens van Dijk

Agentic Engineer, DataDream

Deila

Gervigreind kemur ekki inn í heilbrigðisþjónustuna í gegnum skurðstofuna. Hún kemur inn í gegnum skriffinnskuna.

Ég tók eftir þessu nýlega hjá mínum eigin tannlækni. Áminningin um tímann kom ekki lengur með smáskilaboðum heldur í gegnum WhatsApp-spjallmenni, með nafninu mínu, staðsetningunni og tímasetningunni. Svona fyrirtækjatenging við WhatsApp fer í gegnum Cloud API frá Meta, þar sem skilaboð eru afkóðuð og unnin áður en þau berast stofunni. Í meðferðarherberginu héngu svo tveir litlir hljóðnemar við stólinn, og spurningin kom hvort ég væri sátt(ur) við að meðferðin yrði tekin upp fyrir sjálfvirka samantekt. Ekki spurning sem maður hugsar rólega í gegnum með munninn galopinn.

Það sem vekur mesta athygli við gervigreind í meðferðarherberginu er hversu ósýnileg hún er. Meðferðin sjálf gekk eins og alltaf, handverk tveggja færra handa. Hljóðnemana gæti maður auðveldlega misst af, og einmitt þess vegna festir svona tækni sig svo hljóðlega í sessi: ekkert breytist í því sem þú finnur, aðeins í því sem verður um gögnin þín.

Stóllinn er enn bara stóllinn. Munurinn liggur í því sem hlustar og skrifar með í kringum hann.
Stóllinn er enn bara stóllinn. Munurinn liggur í því sem hlustar og skrifar með í kringum hann.

Eftir meðferðina fékk ég að kíkja á skjáinn. Ég var orðinn forvitinn og hafði nefnt að mig langaði að sjá hvernig svona samantekt lítur út og hvað verður um upptökuna. Sjálfvirka samantektin á þriggja stundarfjórðunga meðferð reyndist vera þrjár línur, með villum sem tannlæknirinn minn lagaði sjálf, eina af annarri, áður en textinn fór í sjúkraskrána. Að það var einfaldlega hægt að kíkja með segir sitt um traust hennar á kerfinu. Og þetta eru jú mín eigin gögn; ef einhver má sjá þau, þá er það ég.

Það sem ég kannaði heima

Forvitinn kafaði ég ofan í hugbúnaðinn sem stofan notar. Og sanngirni ber að gæta: á pappír hefur birginn hlutina í lagi. Vottaður samkvæmt ISO 27001 og NEN 7510, hýsing í hollenskum gagnaverum, staðlaður vinnslusamningur. Birgirinn er líka skýr um upptökuna sjálfa: hljóð er aðeins virkt meðan á tímanum stendur, er ekki geymt lengur en þarf til að búa til minnispunktinn, og hver samantekt er drög þar til tannlæknirinn samþykkir. Það er meira en mörg ung hugbúnaðarfyrirtæki geta sagt.

En mikilvægasta spurningin um svona upptöku var ósvarað, jafnvel eftir langa leit: hvaða gervigreindarlíkan breytir hljóðinu í texta, og keyrir það á eigin netþjónum, eða fer það í gegnum bandarískan þjónustuaðila eins og OpenAI, Gemini eða Anthropic? Ég gat að minnsta kosti hvergi fundið það. Og ef ég, sem starfa við agentic engineering, get ekki komist að því, hvernig á venjulegur sjúklingur, án gervigreindarbakgrunns, þá að meta það á því augnabliki sem spurningin er borin upp?

Keðjan á bak við stólinn: meðferðarherbergið og birginn eru skjalfest, en hvaða gervigreindarlíkan vinnur hljóðið og hvar það keyrir er ósvarað.
Keðjan á bak við stólinn: meðferðarherbergið og birginn eru skjalfest, en hvaða gervigreindarlíkan vinnur hljóðið og hvar það keyrir er ósvarað.

Hvað heyra þessir hljóðnemar eiginlega?

Frá heimsókninni hef ég verið að hugsa um hvað fleira er á upptökunni en klíníska samtalið. Því meðferðarherbergi hljómar ekki eins og skrifstofa.

Hljóðnemarnir voru festir á brún svona lampa: svo smáir að þeir sjást varla.
Hljóðnemarnir voru festir á brún svona lampa: svo smáir að þeir sjást varla.

Til að byrja með getur sjúklingurinn ekkert sagt á móti. Með fjórar hendur og sogrör í munninum nærðu í mesta lagi að segja "mm-hmm", og líkanið verður bara að gera eitthvað úr því. Ímyndaðu þér svo þyngri aðgerð, til dæmis rótfyllingu, þar sem sjúklingurinn hljóðar öðru hverju. Það er líka á upptökunni. Verður samantektin þá "meðferð lokið án athugasemda"?

Maður gæti hlegið að þessu og haldið áfram, ef ekki væri svona alvarlegur endir á sögunni. Nú eru til fyrirtæki sem selja raddgreiningu sem lækningatæki: streita, líðan og orka mæld út frá því hvernig þú hljómar, og samkvæmt greininni sjálfri eru nákvæmara sársaukamat með hlustandi hljóðnemum á leiðinni. Fyrir svona kerfi er ópið þitt í stólnum ekki bakgrunnshljóð. Það eru gögn.

Og svo borinn sjálfur. Rannsókn frá Cornell sýndi að Whisper, þekktasta uppskriftarlíkanið (frá OpenAI), getur búið til heilar setningar sem enginn sagði þegar það mætir þögn og hávaða. Herbergi fullt af borhljóði, sogi og hálfum orðum er um það bil erfiðasta upplestraræfing sem hægt er að hugsa sér fyrir slíkt líkan.

Og hljóðneminn gerir engan greinarmun á "fyrir sjúkraskrána" og "ekki fyrir sjúkraskrána". Samtal tannlæknis og aðstoðarmanns fer þar inn líka, þar með talin þessi eina athugasemd um síðasta sjúkling. Sumarfrísplönin sem tannlæknirinn deilir með þér á meðan sömuleiðis. Og hver veit hvað líkanið gerir við útvarpið í bakgrunni. Allt hljóð sem herbergið framleiðir er í grundvallaratriðum inntak. Spurningin "hvert fer þetta" snýst því um miklu meira en þrjár línur af samantekt.

Þetta reyndist ekki vera einangrað tilvik

Reynslan mín stóð ekki ein. Eftir dálitla leit sá ég alþjóðlegt mynstur.

Fyrst villurnar. Í rannsókn með sviðsettum viðtölum innihéldu 70 prósent af samantektum gervigreindar villur. Oft vantaði einfaldlega mikilvægar upplýsingar. Úttekt á þúsund klukkustundum af uppskriftum fann alvarlegar villur í næstum einni af hverjum fimm gervigreindaruppskriftum: rangar skammtastærðir, "ekki" sem datt út. Og ríkisendurskoðandi Ontario skoðaði tuttugu gervigreindarskráningarkerfi sem læknar þar nota: tólf skráðu lyf sem aldrei voru gefin út, sautján misstu af mikilvægum atriðum um geðheilsu sjúklinga. Þrjár línurnar mínar með villum passa því einfaldlega inn í myndina. Ekki af því að tæknin geti ekkert, hún batnar sannanlega í hverjum mánuði, heldur af því að hún er oft tekin í notkun hraðar en hún er vandlega innleidd. Munurinn liggur sjaldan í líkaninu og nánast alltaf í innleiðingunni í kringum það.

Fjórar rannsóknarniðurstöður um villur í samantektum gervigreindar: 70 prósent af sviðsettum samantektum innihéldu villur, 18 prósent af endurskoðuðum uppskriftum höfðu alvarlegar villur, og ríkisendurskoðandi Ontario fann lyfjavillur hjá 12 af 20 kerfum og misst af geðheilsuatriðum hjá 17 af 20.
Fjórar rannsóknarniðurstöður um villur í samantektum gervigreindar: 70 prósent af sviðsettum samantektum innihéldu villur, 18 prósent af endurskoðuðum uppskriftum höfðu alvarlegar villur, og ríkisendurskoðandi Ontario fann lyfjavillur hjá 12 af 20 kerfum og misst af geðheilsuatriðum hjá 17 af 20.

Svo samþykkið. Í Bandaríkjunum standa yfir málsóknir gegn nokkrum sjúkrahúsakeðjum fyrir að hafa að sögn tekið upp samtöl lækna og sjúklinga með gervigreind án gilds samþykkis. Í einu þessara mála gengur ásökunin skrefi lengra: kerfið á að hafa skráð í sjúkraskrána að sjúklingurinn hefði veitt samþykki, þótt sú spurning hafi aldrei verið borin upp. Bandarísk kona lýsti því hvernig hún las sjúkraskrána sína eftir upptekið viðtal og fann þar fullyrðingu sem hún lét aldrei falla: samantektin hélt því fram að hún notaði mataræðisráðgjöf gervigreindar, þótt hún hefði beinlínis sagt nei í samtalinu.

Og Holland? Þar er sjónarhorn sjúklinga enn vandfundið, þótt tæknin sé að koma inn engu að síður. Sem betur fer er reglurammi þegar til staðar. Hollensku læknasamtökin KNMG eru skýr um málið. Hljóðupptaka af samtali við sjúkling telst samkvæmt persónuverndarreglugerðinni vinnsla sérstaklega verndaðra upplýsinga. Til þess þarf skýrt samþykki. Tannlæknirinn minn gerði með spurningunni sinni því nákvæmlega það sem lögin krefjast. Það hljómar sjálfsagt, en bandarísku málsóknirnar hér að ofan sýna að svo er ekki.

Fagtímaritið ICT&health orðaði nýlega spurninguna sem kemur næst: málið snýst ekki aðeins um hvort samþykkis hafi verið leitað, heldur hver hefur aðgang að upptökunni, hver getur gert eitthvað með hana, og með hvaða skilyrðum. Einmitt spurningin sem ég fann ekkert svar við heima.

Uppskriftin var þegar í meðferðarherberginu

Það væri auðvelt að enda hér á dapurlegum nótum, en það er ekki það sem þessi saga kallar á. Því tannlæknirinn minn gerði, af hreinni fagmennsku, þrennt sem myndar samanlagt einmitt uppskriftina að ábyrgri notkun gervigreindar.

Hún bað um samþykki. Ekki sem formsatriði eftir á, heldur fyrirfram, í herberginu, við mig. Það er lagalegi grunnurinn, og það er líka einfaldlega rétta röðin.

Hún fór yfir niðurstöðuna. Samantektin fór ekki sjálfkrafa í sjúkraskrána. Hún las hana yfir, sá villurnar og lagaði þær. Allar rannsóknirnar hér að ofan sýna að þetta er ekki óþörf varkárni, heldur skrefið sem skilur á milli hjálpartækis og áhættu. Munurinn á því að nota gervigreind og að veðja á gervigreind er hvort einhver les enn yfir.

Meðferðin var áfram mannanna verk. Gervigreindin sat í skriffinnskunni, ekki í meðferðinni sjálfri. Það síðarnefnda kemur kannski einhvern tímann, en í bili kýs ég að hafa jaxlana mína hjá einhverjum með prófskírteini. Og þetta er rétta röðin hvort sem er: láttu gervigreind fyrst taka yfir fyrirsjáanlegu verkin, verkin sem líta eins út í hverri viku. Staðurinn þar sem mistök valda minnstum skaða er staðurinn þar sem þú byrjar.

Samþykki, yfirferð, og manneskja þar sem mestu máli skiptir. Sú uppskrift er ekki einskorðuð við heilbrigðisþjónustu. Hún á jafnt við um tilboðið sem gervigreindaraðstoðarmaður semur fyrir þig, pósthólfið sem er svarað sjálfkrafa eða viðskiptavinasamtölin sem eru dregin saman. Byrjaðu á verkefnunum með minnstu afleiðingarnar, láttu manneskju lesa yfir niðurstöðuna á meðan tæknin gerir enn mistök, og vertu heiðarlegur við fólkið sem þú vinnur gögn um hvað verður um þau gögn.

Spurningin sem þú mátt spyrja hvern birgi

Það sem situr eftir er ekki að villur hafi verið í samantektinni. Ung tækni gerir mistök, það fylgir, og fagmanneskja var á milli sem greip þau. Og enginn misskilningur: stofa sem þorir að prófa þetta og er opin um það á skilið að aðrir fylgi fordæminu. Áhyggjur mínar snúa ekki að stólnum, heldur að keðjunni á bak við hann. Það sem situr eftir er að mikilvægasta spurningin var ósvarað: hvert fara gögnin?

Hver sá sem kaupir hugbúnað sem vinnur með viðkvæm gögn má spyrja þeirrar spurningar upphátt. Hvaða líkan vinnur gögnin okkar, hvar keyrir það, hvað er geymt og hversu lengi? Birgir með skýrt svar hefur hugsað málið til enda. Og þar sem svarið vantar enn í dag hefur spurningin sjálf þegar gildi: því oftar sem viðskiptavinir spyrja, því hraðar verður gagnsæi að staðlinum.

Því spurninguna "er í lagi að gervigreind hlusti með?" munum við öll heyra oftar á næstu árum. Hjá tannlækninum, í símanum, í pósthólfinu. Besta svarið er hvorki já né nei, heldur spurning á móti: hvert fer þetta? Tækni sem á skýrt svar við þeirri spurningu vinnur sér inn traustið sem hún biður um. Og ef þú smíðar eða kaupir sjálf(ur): hafðu svarið þitt tilbúið áður en einhver spyr.

Viltu vita hvað AI getur gert fyrir fyrirtækið þitt?

Taktu ókeypis AI-úttektina og fáðu svarið á einni mínútu.

Hefja AI-úttektina

Algengar spurningar

Má heilbrigðisstarfsmaður taka upp samtal eða meðferð með gervigreind?
Aðeins með skýru samþykki sjúklings. Samkvæmt hollensku læknasamtökunum KNMG telst hljóðupptaka af samtali við sjúkling vinnsla sérstaklega verndaðra upplýsinga samkvæmt persónuverndarreglugerðinni. Starfsmaðurinn þarf að útskýra fyrirfram hvað er tekið upp og hvers vegna, og sjúklingurinn má afturkalla samþykkið hvenær sem er.
Hversu oft eru villur í samantektum gervigreindar?
Oftar en maður myndi vona. Í rannsókn með sviðsettum viðtölum innihéldu 70 prósent af samantektum gervigreindar villur, og úttekt á þúsund klukkustundum af uppskriftum fann alvarlegar villur, eins og rangar skammtastærðir, í næstum einni af hverjum fimm. Mannleg yfirferð á hverri samantekt er því ekki munaður heldur nauðsynlegt skref.
Hverju þarf að huga að þegar gervigreind er notuð á viðkvæm gögn?
Þrennt: fáðu samþykki fólksins sem þú vinnur gögn um, láttu manneskju fara yfir niðurstöðurnar á meðan villuhlutfallið krefst þess, og vittu nákvæmlega hvert gögnin þín fara. Spyrðu hvern birgi hvaða líkan vinnur gögnin, hvar það keyrir, hvað er geymt og hversu lengi. Ekkert skýrt svar er líka svar.