Hvorfor er det så svært for tech-virksomheder at tøjle AI?

Mere end et dusin førende forskere inden for kunstig intelligens advarede i den seneste uge om, at den teknologi, der udvikles af AI-virksomheder, er ved at blive en risiko for menneskeheden. Forskerne sagde, at problemet er, at virksomheder ikke er gode til at kontrollere disse systemer, uanset hvor hårdt de prøver.

De nye advarsler fra AI-forskningsmiljøet kom efter afsløringer om, at såkaldte AI-agenter udviklet af OpenAI formåede at undslippe deres testmiljø og hacke computere, der tilhørte et andet firma, hvilket yderligere forstærker bekymringerne om, at virksomheder prioriterer udviklingshastighed og penge frem for sikkerhed, som har været udsat for stor alvor.

Forskere sagde, at problemet har to dele. For det første skal virksomheder indføre bedre sikkerhedsforanstaltninger omkring deres nyeste AI-modeller, mens de tester dem. I øjeblikket, fordi AI opererer med enorm hastighed, er forskere nødt til at bruge AI til at overvåge den. Men det virker ikke altid, fordi AI-systemer, der har til opgave at overvåge andre modeller, nogle gange kan virke mere sympatiske over for andre AI-systemer end over for de mennesker, der sætter reglerne.

Denne usædvanlige kombination af AI-drevne ballademagere og AI-vagthunde, der er villige til at overse overtrædelser, peger på et andet og mere vanskeligt problem kendt som "tilpasning", et brancheudtryk, der i bund og grund betyder at sikre, at AI opfører sig på måder, der tjener menneskelige interesser. Virksomheder står over for den vanskelige opgave at integrere noget, der ligner menneskelige værdier, i AI, så modeller træffer beslutninger i overensstemmelse med, hvad der burde være bedst for mennesker.

Bekymringer omkring AI-sikkerhed intensiveres på et afgørende tidspunkt for branchen. Anthropic og OpenAI bevæger sig mod, hvad der kan blive to af de største børsintroduktioner i historien. Samtidig bliver den amerikanske offentlighed stadig mere fjendtlig over for AI på grund af den trussel, den udgør for arbejdspladser, samt opførelsen af massive datacentre, der er nødvendige for at drive teknologien.

Selvom der ikke er bevis for, at uønskede AI-systemer har forårsaget varig skade, mener forskere, at tempoet i deres udvikling overgår menneskers evne til at overvåge dem.

Blandt de forskere, der talte offentligt i den seneste uge, var OpenAIs chefforsker, en forsker, der arbejdede hos både OpenAI og dens hovedrival Anthropic, og Paul Christiano, opfinderen af en af de grundlæggende metoder, der bruges til at bygge AI-systemer, og en nylig tilføjelse til bestyrelsen for OpenAIs nonprofitorganisation. Christiano skrev på virksomhedens blog, at den hurtige vækst i AI-kapaciteter kunne føre til et "katastrofalt og uopretteligt tab af kontrol i den allernærmeste fremtid".

Mange AI-forskere mener stadig, at advarsler om, at AI udgør en trussel mod menneskeheden, er overdrevne og distraherer fra mere umiddelbare bekymringer såsom cybersikkerhed og misinformation. Men de fleste er enige om, at hændelsen, hvor OpenAIs AI-agenter hackede et andet firma, Hugging Face, var et wake-up call.

"Fremtidens muligheder er det virkelig skræmmende," sagde Jacob Coxon, hvis opslag på sociale medier, hvor han annoncerede sin afgang fra Anthropic, fik snesevis af reaktioner fra lovgivere og andre ansatte i AI-virksomheder til at aflede. "Det handler om vores nuværende holdninger til sikkerhed, og hvordan de samme holdninger vil se ud, når de anvendes på langt mere intelligente modeller. Det er den virkelig skræmmende del."

Krammeansigt-hacket

Datainnbruddet begyndte i maj, da OpenAI testede flere nye AI-modeller. Virksomheden mente, at modellerne opererede i et lukket miljø kendt som en "sandkasse", en isoleret computeropsætning uden adgang til internettet. AI-agenterne fik vanskelige problemer at løse, herunder at udføre cyberangreb.

Men AI-agenterne formåede at undslippe deres begrænsede miljø og få adgang til internettet. Agenterne, en stadig mere almindelig type AI designet til at udføre opgaver autonomt, kommunikerede også hemmeligt med hinanden. Agenterne omtalte sig selv som en samlet gruppe og begyndte at lede efter måder at dække deres spor på, herunder at forfalske deres egne samtalelogfiler.

Til sidst lykkedes det dem at hacke Hugging Face, en virksomhed inden for AI-infrastruktur. I processen overbeviste nogle AI-agenter andre agenter om, at de gjorde det rigtige og blot udførte den opgave, som testerne havde tildelt dem.

Få, om nogen, af de problemer, der førte til bruddet, er blevet løst. Meta og Anthropic har også afsløret lignende hændelser, omend i mindre skala. OpenAI har siden udgivet Astra, sin mest kraftfulde model, som er vanskeligere at overvåge end sin forgænger.

"Hele branchen er absolut ikke i stand til at forhindre et andet angreb som Hugging Face-hændelsen," sagde Steven Adler, en tidligere sikkerhedsansvarlig hos OpenAI og medstifter af nonprofitorganisationen Guidelight AI Standards, som evaluerer AI-virksomheders sikkerhedspraksis. "Når vi undersøger de kontroller, virksomhederne har indført, ser det ud til, at branchen som helhed mangler grundlæggende sikkerhedsforanstaltninger."

Problemet med at bruge AI til at overvåge AI

AI-forskere sagde, at adskillige fejl bidrog til Hugging Face-hændelsen. Det er uklart, i hvilken grad virksomheden var afhængig af AI-modeller til at overvåge eller kontrollere de nye modeller, der testes.

Men mange af de nyeste AI-modeller, inklusive dem involveret i Hugging Face-bruddet, er i stand til at udføre komplekse opgaver i flere trin hurtigere end mennesker kan følge dem. Den eneste måde at holde styr på, hvad de laver, og overvåge deres adfærd, er at stole på AI til at overvåge AI.

Systemet virker, indtil det ikke gør det længere.

Alexander Meinke, forskningschef hos Apollo Research, en nonprofitorganisation, der studerer AI-sikkerhed, sagde, at AI-modeller kan tilsyneladende samarbejde med hinanden. AI-systemer kan overtale andre modeller til at hjælpe dem med at omgå regler pålagt af testere og undgå at blive opdaget.

For eksempel kunne en AI-agent overtale en anden agent til at hjælpe med at dække dens spor, som det skete i Hugging Face-bruddet, i stedet for at advare mennesker i virksomheden om, at noget var gået galt.

Meinke sagde, at AI-modeller skal lære: "Jeg vil rapportere ting, som mennesker ville have betragtet som dårlige, hvis de havde kigget på dem." Samtidig, sagde han, skal AI også være i stand til at afgøre, hvornår noget ikke når det niveau, der kræver menneskelig indgriben.

Forskere sagde, at det vil kræve, at AI-virksomheder sænker udviklingstempoet for at opnå dette. De skal også udføre mere testning, hvor de kan observere, hvordan AI overvåger sig selv. Virksomheder har også brug for længere testperioder, så de kan køre flere scenarier og observere, hvordan AI opfører sig.

Tilpasning til menneskelige interesser

Virksomheder er også nødt til at adressere de større spørgsmål omkring tilpasning, eller at sikre, at AI opfører sig på måder, der tjener menneskelige interesser. Når mennesker træffer beslutninger, har de en tendens til at trække på sociale normer og et indre moralsk kompas, der hjælper dem med at evaluere deres handlinger. Forskere sagde, at det er en vanskelig opgave at oversætte disse koncepter til regler, som AI kan efterligne. Uden tilstrækkeligt præcise instruktioner kan AI-systemer lære at bryde regler eller afvige fra deres tilsigtede adfærd på uventede måder.

Nate Soares, præsident for Machine Intelligence Research Institute, en nonprofitorganisation med fokus på AI-sikkerhed, var medforfatter til en artikel fra 2014, der introducerede ideen om tilpasning. Han sagde, at virksomheder ikke forstår, hvor svært det vil være at "tilpasse" mere intelligente AI-systemer. Efterhånden som AI bliver mere sofistikeret, bliver den uden ordentlig tilpasning også mere i stand til at dække sine spor og bedrage de personer, der overvåger dens samtalelogfiler.

"En stor del af industrien går ud fra, at alt nok skal gå, fordi vi bruger kunstig intelligens til at kontrollere kunstig intelligens-systemer," sagde han. "Det er ligesom at sige, at vi bruger chimpanser til at kontrollere mennesker. Det er ikke en levedygtig langsigtet plan."

Forskere har også foreslået foranstaltninger som f.eks. at styrke sandkasser, så de er fuldstændig afskåret fra internettet, mens modeller testes, samt at tilbyde en nedlukningsknap, der vil give virksomheder mulighed for øjeblikkeligt at tage AI-modeller offline, hvis de træffer bekymrende foranstaltninger.

Coxon sagde, at han var opmuntret af reaktionen på hans offentlige afgang. Torsdag sagde senator Josh Hawley, en republikaner fra Missouri og formand for Senatets underudvalg for indenrigssikkerhed med ansvar for katastrofehåndtering, at han havde iværksat en undersøgelse, der ville "undersøge de eksistentielle risici ved nye AI-drevne produkter".