Ihmiskunnan viimeinen koe ( tai HLE) on suurten kielimallien ja muiden tekoälyjärjestelmien arviointiin tarkoitettu testi. Sen kehittivät Center for AI Safety ja Scale AI.
Ihmiskunnan viimeinen koe koostuu 2 500 kysymyksestä. Kysymykset käsittelevät muun muassa matematiikkaa, luonnontieteitä, lääketiedettä, tietojenkäsittelytiedettä ja humanistisia tieteitä. Kysymykset ovat joko monivalintatehtäviä tai täsmävastauksen vaativia tehtäviä, minkä tarkoituksena on mahdollistaa vastausten automaattinen arviointi. Noin 14 prosenttia kysymyksistä edellyttää tekstin lisäksi kuvan tai kaavion ymmärtämistä, ja 24 prosenttia kysymyksistä on monivalintatehtäviä.
Ihmiskunnan viimeinen koe kehitettiin, koska kielimallit vastasivat liian hyvin yleisesti käytettyihin testeihin. HLE:n tavoitteena on mitata mallien suoriutumista asiantuntijatasoisissa, akateemisissa kysymyksissä, joiden vastaukset ovat yksiselitteisiä, mutta joita ei ole tarkoitus pystyä ratkaisemaan pelkällä tiedonhaulla.
Tuloksia
+ Eräiden mallien tuloksia Organisaatio Malli Tarkkuus (%) ↑ Kalibrointivirhe (%) ↓ Google DeepMind gemini-3.1-pro-preview (thinking high) 46,44 51 OpenAI gpt-5.4-pro-2026-03-05 44,32 38 Meta Muse Spark 40,56 50 Google DeepMind gemini-3-pro-preview 37,52 57 OpenAI gpt-5.4-2026-03-05 (xhigh thinking) 36,24 42 Anthropic claude-opus-4-7 36,20 47 Anthropic claude-opus-4-6-thinking-max 34,44 46 OpenAI gpt-5-pro-2025-10-06 31,64 49
Lähteet
Aiheesta muualla Humanity's Last Exam – Center for AI Safety Humanity's Last Exam – Scale AI
Luokka:Tekoäly