Turingtesterna och varusamhället

Det blev lite uppståndelse i dagspressen om att en dator “klarat Turingtestet“. Genast följd av en andra uppståndelsebölja där de något mer insatta journalisterna förklarade att detta inte stämmer. Ett välbekant, välkoordinerat mönster som liknar en uppgörelse mellan dagspress och fackpress om att dela lika på den totala klickmängden.

Nyheten grundade sig i detta: en mjukvara för textkonversation fick chatta i fem minuter med ett antal brittiska domare. En betydande minoritet – var tredje domare – övertygades om att mjukvaran var en 13-årig pojke från Ukraina. Det fanns alltså på förhand en tydlig rollfördelning som inbegrep ett betydande avstånd i fråga om språk, kultur och ålder. Bevisningen är inte så värst stabil. Men… vad var det som skulle bevisas?

Som brukligt i dagens medielogik, dröjer det inte mer än ett par dygn innan vi serverats en tredje våg av lite mer resonerande kommentarer. Denna morgon fanns de P1:s Kulturnytt och SvD:s understreckare. Dessa kommentarer driver i typfallet ingen tydlig tes. I stället staplas frågor som till sin karaktär är öppna, även om den journalistiska formen föreskriver att frågorna ska formuleras binärt:

Men säger det här testet, som utformades 1950 av kodknäckaren och datorpionjären Alan Turing, att datorerna verkligen börjar likna oss människor – eller är det snarare tvärtom? Att vi liksom maskinerna nu helst kommunicerar på max 140 tecken?

Nicklas Lundblads understreckare rymmer ansatser till en intressant “AI-kritik”, i det att han belyser gränserna för de situationer där artificiell intelligens studeras. I detta fall fanns alltså en tidsgräns (fem minuters konversation), en kulturell gräns (“13-årig pojke från Ukraina”) och inte minst ett begränsande medieformat (text). Lundblad fortsätter:

I förlängningen av denna invändning ligger en annan större invändning, /…/
En växande andel kognitionsvetare och filosofer anser nu att tänkandet inte kan abstraheras från kroppsligheten, och att det verkliga testet vore att undersöka om vi behandlar en robot som en människa – om vi bemöter den med en attityd till en själ, som Wittgenstein var inne på. Kanske kan det vara så att endast en kropp kan tänka.

Kanske – för att vända på steken – kan det vara så att “tänkande” och “intelligens” är begrepp som definierats av kroppar. Att det i slutändan är meningslöst att försöka definiera loss dem från de människokroppsliga neuronerna. Alan Turing insåg detta. Hans legendariska uppsats från 1950, där han presenterar ett hypotetiskt test, klargör från början att det inte handlar om maskiner som kan “tänka”, utan om att imitera tänkande.

Att påstå att en dator eller ett datorprogram i definitivt mening har “klarat Turingtestet” är meningslöst. Testet äger bara relevans inom ramarna för en given situation. Det finns alltså inte ett Turingtest utan oändligt många. Häri ligger också dess betydelse.

Nätet är fullt av filtermekanismer som är praktiska tillämpningar av Turingtester. Jag tänker alltså på spamfilter och “captchas“. Syftet med dessa är att skilja mellan mjukvara och människor. De fungerar aldrig till hundra procent och de har sporrat en fantastisk uppfinningsrikedom bland sådana som av någon anledning vill automatisera processer som inte “får” automatiseras. Likväl funkar de ganska bra. Genom att de ständigt förfinas, upprätthåller dessa tekniker en relativt hög tröskel mellan människa och maskin.

Ett företag som Google vore otänkbart utan sådana trösklar. De nöjer sig inte med att passivt se på när robotarna finner vägar runt olika Turingtester. Om de vill ha en tröskel någonstans, så skapar de helt enkelt en ny situation som tillåter en sådan tröskel. Om de inte vill ha en tröskel utan tvärtom vill släppa fram robotarna, så anpassar de situationen för detta. Genom sådana modulationer ser Google till att återskapa förutsättningarna för att sälja sina varor (reklam) och få tillgång till sina råvaror (beteendedata), till priser som låter dem ta ut en vinst. Och det gäller såklart inte bara Google.

Turingtestet är sedan länge en integreral del i varusamhället. Ett varusamhälle som knappast kommer att slås i bitar av att ett datorprogram lyckas imitera en 13-årig chattare från Ukraina.

45 kommentarer ↓

#1 Alaoglu on 10 June 2014 at 11:48 pm

Att Turing “gör klart från början” att det inte handlar om maskiner som kan tänka är väl ändå en grov feltolkning? Det är väl uppenbart att han betraktar sitt test som ett test av just förmågan att tänka; en annan “form” av den, enligt honom, hopplöst oklara frågan ifall maskiner kan tänka. (Att han väljer att föreslå en ny “form” av frågan och aktar sig för att rent ut säga att han betraktar tänkande som intelligent beteende är väl, förmodar man, för att inte öppna en Pandoras ask av anklagelser om behaviorism.)

Så till det aktuella “genombrottet”: av någon anledning fäster man mycket stor vikt vid de 5 minuter och 70% som nämns i förbifarten (uppenbarligen utan att Turing fäste någon större vikt vid dessa siffror) på s.442, men har inga betänkligheter att plötsligt införa de handikapp med avseende på språk och ålder som avhandlas ovan. Framförallt: Turings version av testet skulle utföras med en maskin och en människa och datorn tycks förutsättas klara testet när den paras mot vilken människa som helst (till exempel en “god telepatisk mottagare”(!), enligt s.453); ifall några autentiska ukrainska pojkar hade flugits in till London lyser de med sin frånvaro i rapporteringen.

Den som fortfarande är imponerad av nyheten kan ju själv konversera några minuter med “superdatorn”…

Avslutningsvis: Ett CAPTCHA har ju den ytterligare komplikationen att utfrågandet i testet skall skötas av en dator och inte en människa (CAPT skall uttydas Completely Automated Public Turing test), det vill säga en form av trappdörrsfunktion. (Det klassiska testet kräver istället bara en mänskligt beräkningsbar icke-rekursiv funktion.)

#2 Christopher Kullenberg on 11 June 2014 at 7:34 am

Utan att ha djupare insikter undrar jag ändå man om inte kan tänka så här om CAPTCHA:

Ligger inte CAPTCHA på en “perceptiv” nivå snarare än en “kognitiv”. Dvs. de konstigt skrivna bokstäverna och siffrorna är oläsbara för en dator. En människa kan däremot “fylla i” (denna förmåga som fenomenologin var besatt av) och bortse från sneda linjer och konstiga proportioner, och “förstå” vad CAPTCHA säger.

Med andra ord, den mänskliga perceptionen kan digitalisera en CAPTCHA medan en dator inte kan det (förrän någon har skrivit ett listigare program).

#3 Petter Ericson on 11 June 2014 at 10:29 am

chrisk: En CAPTCHA kan vara “kognitiv” i meningen “kräver någon form av beräkning”. En variant som dyker upp lite nu och då är att ha ett matteproblem i form av skriven text, eller en fråga som enkelt går att besvara genom att söka i publik information på hemsidan i fråga. Konventionen att ha ett OCR-problem är mest bara just det, en konvention.

Gällande Turingtestets validitet så skulle jag nog anse att en kropp inte är nödvändig för tänkande, intelligens, eller ens självmedvetande. Däremot så blir gränsdragningen väldigt svår (ännu svårare än för mänsklig kognition) om externa “sinnesintryck” sker med jämförbar hastighet och exakthet som interna beräkningar/synapser. Men för att det ska vara ett vettigt test så krävs ju a) betydligt längre tid än fem minuter b) ingen á priori restriktion på motpartens kognitiva förmåga och c) något form av dubbelblind-test, där uppgiften är att skilja mellan en människa och en dator, där alla parter är “medvetna” om testets syfte.

#4 Jonas B. on 11 June 2014 at 12:26 pm

Roligt i sammanhanget är att Google, som numera ligger bakom ReCAPTCHA, på sistone medvetet gjort testet mycket enklare.

Förutsättningen att människor skulle vara sämre än datorer på att känna igen distorderade siffror och bokstäver har alltid känts något skakig, och det visade sig nyligen att en närliggande grupp inom Google-koncernen som sysslar med OCR hade finslipat algoritmerna så pass mycket att de klarade jobbet bättre än människor. Hoppsan.

Därför gick man ut för några månader sedan i ett sällsynt lyckat PR-drag med att man gör testet lättare, och faller istället tillbaka på proprietära metoder för att skilja programmen och människorna åt (vi kan anta att det rör saker så som svarstider, svarsfrekvenser, ip-adresser och liknande).

#5 Alaoglu on 11 June 2014 at 1:07 pm

CAPTCHAs på formen suddiga och skeva bokstäver är som Petter säger bara något som råkar vara den vanligaste formen just nu, men testet skulle kunna vara alltigenom “digitalt” (om människor fanns ha en god förmåga att “se” <a href="https://en.wikipedia.org/wiki/Hamiltonian_path_problem"hamiltoncykler (i någon lämplig klass av (datorgenererbara) grafer) skulle detta (förmodligen) vara ett utmärkt CAPTCHA där inget som helst behov av “digitalisering” föreligger.)

Petter: som jag skrev i min första kommentar var ju Turings föreslagna test ett dubbelblindtest precis som du efterfrågar i c), av någon anledning tycks man numera välja att glömma den biten.

#6 Christopher Kullenberg on 11 June 2014 at 3:51 pm

Tack Petter och Alaoglu för att ni kompletterar CAPTCHA-debatten. Jag har till och med ett sådant “kognitivt” problem på min egen blogg (enkla matematikuppifter).

Anledningen till att jag ville göra denna distinktion är att jag just nu intresserar mig för “crowd-science”, och i vilken mån man inom “massobservationer” behöver människor istället för maskiner. Ta exempelvis Galaxy Zoo där man för att klassificera galaxer från bla. hubbleteleskopet behöver “människor” som tittar på bilder. Uppenbarligen kan denna perception inte delegeras till en dator. (det blir ju “forskning” som CAPCHA lite).

(En romantiker skulle kunna säga att denna form av friviligt arbete i Vetenskapens tjänst ligger utanför Varusamhället.)

#7 Kristofer on 11 June 2014 at 9:36 pm

http://vicarious.com/ hävdar att de kan klara CAPTCHA-utmaningen: http://www.forbes.com/fdc/welcome_mjx.shtml

Vad skriver du om egentligen, Rasmus? Är det om utvecklingen inom AI eller den besynnerliga låtsasnyhet som snarare tycks vara en slags digital sensor istället för en förmedlare. Är det en sensor? Går det att bygga en sådan?

#8 avadeaux on 13 June 2014 at 8:12 pm

Som vanligt en riktig och insiktsfull analys av Rasmus, men jag försöker komplettera med detta från mina kommentarer i ämnet på andra håll:

Jag har alltid tyckt att det inte är särskilt mycket rimligare att faktiskt utföra Turingtestet än vad det vore att utföra Schrödingers kattexperiment. Turings introducerar imitationsspelet som scen för sin argumentation om att datorer inte på något mätbart principiellt sätt är underlägsna människor (en argumentation som fortfarande håller nära nog oförändrad). Att tolka det som ett förslag till praktiskt mått på högtstående AI ser jag som ett missförstånd.

#9 Alaoglu on 13 June 2014 at 11:25 pm

avadeaux: “Mätbart principiellt sätt”? Att det bästa vi har nu, 60+ år efter Turings artikel, är Eugene Goostman är väl ett mått på att datorer är hopplöst underlägsna människor i just de saker Turing ville testa? Argumentationen i artikeln är väl också den exakt motsatta: “Principiella” ståndpunkter om vem/vad som är “underlägsen” ersätts av ett faktiskt test och att Turing spekulerar om vilka procentsiffror som kunde tänkas uppnås inom 50 år visar väl att han tänkte sig se testet utföras?

#10 avadeaux on 14 June 2014 at 10:26 am

Alaoglu: Jag menar att Turing inte alls ville testa någonting. Hans argumentation går ut på ungefär det som den andra datorpionjären John von Neumann en gång uttryckte som svar på en fråga från publiken: ”You insist that there is something a machine cannot do. If you tell me precisely what it is that a machine cannot do, then I can always make a machine which will do just that.” Turing må ha underskattat komplexiteten i att emulera mänskliga förmågor, men hans argument är i princip riktiga i allt, förutom att han inte vågar avfärda ESP som en möjlig mänsklig förmåga. Vad jag finner mest slående när jag läser Turings artikel i dagens perspektiv, är hur lite som hänt med synen på mänskligt tänkande på de 60+ åren. Fortfarande uppfattas intelligens av många som en unik och mystisk mänsklig egenskap, trots att datorerna finns överallt runt oss och gör sådant som på 1950-talet tveklöst skulle ha betraktats som uttryck för hög intelligens.

Vill du har mer argumentation från mig i det här ämnet finns ett par gamla blogginlägg här och här som jag fortfarande är ganska nöjd med.

#11 Alaoglu on 14 June 2014 at 7:02 pm

avadeaux: Till att börja med finner jag jämförelsen med Schrödingers (alltför) berömda katt helt missriktad: Kattexperimentet var hela tiden endast ett skämt (inte ens någon scen för argumentation) och naturligtvis helt meningslöst att utföra eftersom alla är överens om vilket utfallet blir (dock ej nödvändigtvis om hur kattens tillstånd i lådan skall representeras vid en tolkning av kvantmekaniken), von Neumanns uttalande (någon källa eller kontext verkar google inte kunna bidra med) är uppenbarligen även det ett skämt: von Neumann var (liksom Turing) väl medveten om att det finns många saker datorer bevisligen inte kan utföra.

Det är inte klart för mig hur du får ihop detta med att turingtestet skulle introduceras endast som ett tankeexperiment, speciellt inte som du i dina blogginlägg menar att “maskiner som är till förväxling lika människor” hör hemma i sagans värld; Turing å andra sidan förväntade sig uppenbarligen att just sådana maskiner skulle finnas i början av tjugohundratalet.

Att Turing betraktade frågan som genuint öppen framgår väl tydligaste av följande:

The reader will have anticipated that I have no very convincing arguments of a positive nature to support my views. If I had I should not have taken such pains to point out the fallacies in contrary views.

Även när det gäller frågan om en “mystisk egenskap” låter jag Turing tala för sig själv:

I do not wish to give the impression that I think there is no mystery about consciousness. There is, for instance, something of a paradox connected with any attempt to localise it. But I do not think these mysteries necessarily need to be solved before we can answer the question with which we are concerned in this paper.

#12 Viktualiebrodern on 16 June 2014 at 12:46 pm

Kan då något annat än en annan maskin avgöra Turingtestet?

Det är inte svårt att få människor att tro på existensen av typer och företeelser som de ogillar. Ta reda på någons fördomar och idiosynkrasier och inscenera dem, så tror inte bara de utan också alla andra med samma fördomar och idiosynkrasier att det är en verklig människa de har framför sig.

Inget upplevs så levande och gör ett så rationellt/intelligent mänskligt intryck som en fiendebild.

#13 Petter Ericson on 17 June 2014 at 9:29 am

Alaoglu: Ja, det finns oavgörbara problem. Dessa är generellt oavgörbara för vilken beräkningsmaskin som helst, inklusive människor. Det vill säga: varje specifik instans kan ha en lösning, och den kan till och med vara uppenbar och enkel att hitta igen, men det finns ingen generell algoritm som löser problemet inom garanterat ändlig tid.

För att ta ett exempel: Det är oavgörbart om en viss Turingmaskin (program, idealiserad dator) kommer sluta köra på en viss inputsträng. Detta gäller dock bara så länge du har oändligt med minne, och dessutom faktiskt oändligt med tid. Om du ger en mer specifik fråga: “Kommer det här programmet att jobba klart på den här inputen på mindre än tio miljoner tidssteg” så är det inte längre ett oavgörbart problem.

Eftersom en mänsklig hjärna är uppenbart begränsad i både tid och rymd så är det uppenbart orimligt att vi skulle kunna lösa oavgörbara problem genom någon form av “medvetande”.

Vad gäller den omtalade “paradoxen” om vars medvetandet är beläget så anser jag inte att det är mycket av en gåta: hjärnan som helhet är medvetandets organ. Skador på hjärnan påverkar medvetandet. Det finns inget specifik “punkt” i hjärnan som är “själens säte”, utan det är en emergent egenskap av neuronernas sammanhang.

Viktualiebrodern: Jag tror inte att någon maskin kan avgöra Turingtestet, just eftersom det är definierat som att härma människor “tillräckligt bra” för att lura människor. Jag skulle dock tro att när/om datakraft blir billigt i tillräckliga storlekar och mängder för att göra det troligt så kommer det att köras några hundra till några tusen chatbottar av propagandaforskare/medvetandeforskare som snurrar runt på öppna chatter och låtsas vara människor på olika sätt. Dessa kommer sen även att testa varandra. Lite genetisk programmering på det så kanske det trillar ut nåt användbart i andra ändan…

#14 Alaoglu on 17 June 2014 at 8:28 pm

Petter:

Dessa är generellt oavgörbara för vilken beräkningsmaskin som helst, inklusive människor.

Här förutsetts att det mänskliga medvetandet arbetar algoritmiskt, vilket ju är precis vad turingtestet är tänkt att undersöka.

Eftersom en mänsklig hjärna är uppenbart begränsad i både tid och rymd så är det uppenbart orimligt att vi skulle kunna lösa oavgörbara problem genom någon form av “medvetande”.

Bakom ordet “uppenbart” tycks (som så ofta) någon form av logiskt felslut föreligga: ja, om turingmaskiner förses med tid/minnes-begränsningar är (till exempel) stopproblemet inte längre oavgörbart (därmed inte sagt att det i någon mening är praktiskt avgörbart [se min kommentar om hamiltoncykler ovan]), men av detta följer ju ingenting om vad människor kan utföra med tid/minnes-begränsningar (om man inte, som ovan, redan på förhand har antagit att människor är någon form av turingmaskiner).

#15 Petter Ericson on 18 June 2014 at 3:02 pm

Alaglou: Om inte det mänskliga medvetandet arbetar (i någon mening) algoritmiskt, vad är alternativet? Risken att landa i en diskussion om materialism kontra dualism känns överhängande, men utveckla gärna om du ser någon alternativ väg (hjärnan som ett kvantorgan är väl närmast, men det är bara en skillnad i grad, inte i art).

#16 Alaoglu on 18 June 2014 at 8:44 pm

Petter: Från att det mänskliga medvetandet inte arbetar algoritmiskt följer faktiskt inte [länken dessvärre bakom en betalvägg] att det inte arbetar som ett fysikaliskt system, eventuellt är hjärnan snarare att betrakta som en analog beräkningsmaskin. (Roger Penrose har föreslagit något åt det hållet.)

#17 Petter Ericson on 19 June 2014 at 12:30 pm

Återigen är det en skillnad i grad snarare än i art (liknande kvantalternativet, men med andra former av begränsninar), men onekligen en intressant tanke. Rent allmänt har snurrar väl diskussionen lite allmänt runt frågan om huruvida perception är en nödvändighet för “medvetande” eller “kognition”, till skillnad från “beräkning”. Jag vill hävda att båda delar är nödvändiga, men:
a) att de beräkningar som trots allt är nödvändiga är sådana som går att genomföra på en (i tid och rymd begränsad) turingmaskin, samt
b) att perceptionerna inte nödvändigtvis behöver vara sådana som förmedlas av en organisk kropp (eller ens i någon mening annat än diskreta tal)

Jag har dock svårt att se hur din länkade artikel relaterar till det hela, då den så vitt jag kan se inte pratar om några faktiska fysikaliska exempel, utan “bara” konstaterar att det finns beräkningsbara differentialekvationer utan beräkningsbara lösningar. Kopplingen till fysiken verkar finnas genom att differentialekvationer ofta används för att beskriva fysikaliska förlopp, men det är väl knappast tillräckligt för att hävda att fysikaliska förlopp kan beräkna olösbara (eller ens beräkningsmässigt orimliga) problem. Vad är det jag missar?

#18 Petter Ericson on 19 June 2014 at 12:34 pm

Förutom perception och beräkning skulle jag faktiskt påstå att “återkoppling” eller “agens” är nödvändigt för ett medvetande. Utan att kunna se sin egen påverkan på vad en förnimmer har jag svårt att se hur ett medvetande skulle kunna uppstå.

#19 Alaoglu on 19 June 2014 at 3:44 pm

Varför grad och inte art? Beräkningsbart vs ej beräkningsbart låter som en artskillnad för mig…

Pour-El & Richards andra artikel behandlar lösningar till vågekvationen, en “vågdator” som alstrar lämpliga vågor (med hjälp av lasrar, säg) och sedan läser av relevanta observerbara kvantiteter skulle alltså inte vara simulerbar med hjälp av en turingmaskin (ens utan några tid/minnes-restriktioner).

#20 Petter Ericson on 19 June 2014 at 5:47 pm

Differentialekvationer kan beskriva verkligheten. Verkligheten är inte differentialekvationer. En aldrig så avancerad och precis “vågdator” kan fortfarande inte hitta de exakta lösningarna, helt enkelt eftersom mätningar av fysikaliska aldrig är exakta till längre än ett ändligt antal signifikanta siff
Eller finns det någon design eller något exempel för en faktisk, existerande maskin som löser icke beräkningsbara problem som jag inte känner till?ror. Approximativa lösningar går enkelt (nåja..) att nå genom numeriska eller statistiska metoder, vilka går att implementra på en turingmaskin.

Eller missar jag fortfarande någonting?

#21 Alaoglu on 19 June 2014 at 6:42 pm

Det finns ingen existerande maskin som gör detta, som du säger måste min (väldigt naiva) implementering ovan utföra mätningar med godtyckligt fin precision (kvanteffekter är alltså i det här fallet ett problem och inte någon tillgång). Problemet du nämner skulle man kunna hantera genom att först bestämma vilken noggrannhet man behöver (för en given beräkningsinstans) och sedan skala upp vågorna så att man undviker att slå i några kvantbarriärer, det mer fundamentala problemet är det som nämns i artiklarna: eftersom fenomenet endast uppstår för svaga lösningar är det (visar det sig) omöjligt att beräkna vilken noggrannhet som behövs i förväg.

För den som vill veta mer diskuterar Penrose detta i sina böcker (med slutsatsen att dessa lösningar inte resulterar i något genuint fysikaliskt icke-algoritmiskt fenomen).

Min poäng med referensen till Pour-El & Richards var mer blygsam: det är långt ifrån uppenbart att fysikaliska system alltid kan simuleras med hjälp av en turingmaskin, argumentet att “människor tänker med hjärnan, alltså algoritmiskt” är därmed långt ifrån övertygande. (Penrose tror det förra, inte det senare.)

Kommentera