I informationsteori er entropi (også informationsentropi eller Shannon-entropi) en måde at betegne og give værdi til evolution og vækst i viden. Især KI-applikationer gør brug af entropi til at læse informationer. De sammenligner simpelthen systemets dele og vælger det stykke data med mindst (~0) entropi.
Entropien er givet ved en sum over alle mulige tilstande:
hvor er sandsynligheden for tilstanden .
Entropien opnås være at tage gennemsnittet af informationsmængden for hvert udfald:
For et system med forskellige udfald er entropien altså den gennemsnitlige informationsmængde, der opnås ved en måling. Jo højere entropien er, jo større usikkerhed er der omkring udfaldet.
Inden for fysikken kaldes den tilsvarende ligning for Gibbs' entropiformel.
Simpelt eksempel I det følgende gives eksempler på beregning af entropi.
Møntkast thumb|right|To bit entropi: For to ærlige møntkast er der 4 mulige udfald, og informationsentropien er to-tals-logaritmen til 4, hvilket giver 2 bit. For møntkast er entropien bit. Når en ærlig mønt bruges til at slå plat eller krone, har den 50 % - dvs. - sandsynlighed for at lande på krone og 50 % sandsynlighed for at lande på plat. Informationsmængden for hver udfald er derfor:
Den gennemsnitlige informationsmængde - entropien - for ét mønstkast er derfor også 1:
For to mønter fordobles informationsmængden ,og derfor bliver entropien 2. Der er nemlig 4 mulige udfald med to mønter, og hvert udfald har 25 % sandsynlighed, så:
Da antallet af mulige udfald fordobles med hver mønt, må antallet af mulige udfald for et arbitrært antal mønter være . Sandsynligheden per udfald er derfor:
Og derfor er entropien:
Entropien for møntkast er altså simpelthen .
Så jo flere mønter, jo højere entropi, da hvert udfald bliver mere og mere usandsynligt, og informationen omvendt bliver større og større.
Bernoulli-proces thumb|right|Entropi som funktion af sandsynligheden for udfald 1. For en Bernoulli-proces er entropien maksimal, når begge udfald er lige sandsynlige, mens entropien er nul, når kun ét af udfaldene er muligt. En Bernoulli-proces er en måling, hvor der er to mulige udfald med sandsynlighederne og
hvor er konstant. Dette er en generalisering af den ærlige mønt, hvor . Entropien er:
For er entropien 1 som før, men for - dvs. hvis udfald 1 er umuligt - bliver entropien:
Entropien ville også være 0 bit, hvis kun udfald 2 var muligt. Hvis kun ét udfald er muligt, er der ikke længere nogen usikkerhed, mens usikkerheden er størst, hvis begge udfald er lige sandsynlige (se figur).
Kildehenvisninger
Kategori:Informationsteori