Problemet med å poengsette øl

Jeg har tidligere liret av meg en tirade om nesten alt som er galt med rating-sites, og varslet at det var mer ... og her kommer det. Det er tre hovedtemaer. Ett sett med problemer gjelder unødvendige forskjeller i poengsetting som gjør det vanskelig å relatere de ulike rangeringene til hverandre. Et annet sett gjelder mangelen på konsistens og validitet. Og til slutt er det noen problemer som svever rundt det at dataene på slike sites generelt er lukket og låst.

La oss dykke ned i dem ...

Kompatible typedefinisjoner. Skalaene må knyttes til et register av øltyper, ellers er de objektive delene av skalaen verdiløse, fordi det lett blir mer subjektiv synsing enn objektiv vurdering av typeriktighet. Derfor er slike skalaer meningsløse uten en typedefinisjon, og dersom man skal kunne konvertere mellom ulike skalaer for rating, trenger man å ha kompatible typedefinisjoner - hvilket man ofte ikke har.
Håndterer ikke ekstrem-øl. Slike skalaer er egentlig ikke hensiktsmessige for ekstremøl, for de går ofte utenfor øltypen. Det er to reaksjoner på det, enten store ovasjoner og toppkarakterer fordi den er så kraftig – en slags markering av hvor øltypen burde vært; eller en bunnotering fordi den ligger utenfor øltypen og er sær. Og ofte trenger ikke ølet å være så veldig ekstremt for å falle utenfor typedefinisjonen.
Smakernes kompetanse. Det er ikke alle som er like flinke til å vurdere øl. La meg her bare trekke frem den gamle problemstillingen mellom smak og aroma, der aroma er det man kjenner med luktesansen, mens smak er bitter, salt, søtt, surt osv, som man fanger med smakssansen. Men det er en utbredt oppfatning at aroma fanges med nesa og smak med munnen. Så når man snuser på ølet beskrives det under aroma, og når man smaker på det beskrives det under smak. Dette er ikke så ekstrent feil for aroma/snusing, men under drikking trigger man både smakssans og luktesans – og følelsessansne med. Dersom ikke de som rater forstår hva som skal karaktersettes, så blir også karakterene deretter.
Øl som utvikler seg. Disse stedene har en utfordring i å takle at øl varierer seg, enten fordi bryggeren ikke klarer å reprodusere det fra gang til gang, eller fordi man ønsker å justere oppskrifter. For eksempel er det ofte årsvariasjoner på juleøl. Øl kan også bli ødelagt ved lagring, og samme ølet kan smake svært forskjellig som ferskt og vellagret. Akkurat på disse punktene er ratingstedene vanligvis relativt gode - selv om det oftest er opp til de enkelt raterne å følge etablerte, men ofte uformelle konvensjoner. Men hele grunntanken er at øl er et stabilt produkt slik at et konkret ølmerke skal smake så likt at det gir mening å se på det som ett, anmeldbart produkt.
Nye øltyper. Typeregistrene fungerer dårlig når bryggere koker ihop nye øltyper, brygger blandingsøl eller introduserer nye ingredienser. Beslektet er problemet der et øl samtidig tilhører flere «øltyper» men bare en kan velges. Problemet er også beslektet med problemene rundt ekstrem-øl, men bakgrunnen er litt annerledes.
Kulturavhengighet. Typeregistre generelt blir vanskelig, fordi variasjonenen mellom ulike land og kulturer gjør at det er som er typeriktig i ett land forskyver seg når typen eksporteres til et annet land. Det er nok å se på hvordan porter har mutert på sin ferd fra London. Et annet ekstremt eksempel er mumme. Verden er dessverre ikke så enkel som at alle øl kan dyttes inn i et to- eller trenivås hierarki av øltyper.
Subjektivitet. De fire objektive poengsummene blir nok ofte vurdert subjektivt. Ta en perfekt øl innenfor en øltype, gi den én defekt, og se hvordan den raser nedover på andre poengsummene også. Jeg har ikke tilgang til dataene, men det hadde vært interessant å sett statistisk på det hvor stor korrelasjon det er mellom de ulike poengsummene.
Manglende vekting av input. Disse ratingsiteene er litt for 'presise og demokratiske'. Det høres ikke ut som det skulle være et problem, men la meg forklare. Ikke bare teller alle stemmer likt, men det er vanskelig å la være å gi input der hvor man kanskje ikke føler man har input å komme med. Til en viss grad kan man finne metrikker for å omgå dette, men det er ikke enkelt.

Jeg skulle gjerne likt å sett algoritmen for utregning av rangering vekte ulike ratere - slik at man kan rangere raterne etter hvor dyktige de er til å match den generelle holdningen til ølene, og deretter bruke det for å rangerer ølene bedre. Men jeg er pinlig klar over at jo mer kompleks du gjør en slik algoritme, jo mer oppfinnsomme blir folk for å klatre på rankingen. Likevel, det er karma og kudos i ratingkretser å ha ratet mange øl, men kanskje man kunne lage metrikker som gav uttelling ved at man laget gode ratinger?

Man kunne hatt en poenggiving i prosent, fra 0 til 100, og så skille vekting fra poenggiving. Det vil for det første eliminere å måtte huske at ulike skalaer har forskjellig antall trinn (aroma er 1-10, mens utseende er 1-5). Dernest vil det være lettere å forholde seg til hva en karakter betyr. Da ville 70% bety det samme, uansett om det var på en poengskala 0-5 eller 1-10.

Kanskje man skulle redesignet systemene utfra at det er vanskelig å skille subjektivite meninger om ølet og en objektiv vurdering. Det ville vært mulig å karaktersette både typeriktighet og hedonisk subjektiv mening om ølet – uavhengig av hverandre. På et system som Ratebeer.com kunne man da logge det ene eller begge to, og Ratebeer ville trolig satt igjen med bedre data for å rangere ølene i forhold til hverandre.

Man kan mistenke personene bak slike sites for å vekte poengene forskjellig for å mure inne brukerne, så de ikke kan konvertere alle sine scores til en annen site. Det handler om opphavsrett. Hver av de store rating-sitene sitter på en database av øldata som er opparbeidet av brukerne, og som med en riktig mengde massering kan gi en god inntektskilde i bokform. Nå er jeg ikke så fokusert på om noen tjener penger på en datasamling der jeg har ytt en milliontedel av totalen. Faktisk er det snarere tvert om: Jeg skulle ønske at alle kunne bruke disse dataene. Jeg vil gjerne at noen bruker mine beskjedne data til å lage noe større og bedre.

Jeg har en slags kikkhullstilgang til dataene, mens det trengs full datatilgang dersom man skal bruke dataene videre, for ikke å si at det trengs opphavsmessig tillatelse. Og det tviler jeg på at er lett å få.

Jeg kunne tenkt meg en åpen site, der dataene var åpent tilgjengelige for alle - eller i det minste at den enkelte rater kunne gi hele verden lov til å bruke hans eller hennes ratingdata, enten ordrett, eller i det minste som input til statistikk. Slik som det fungerer idag er disse ratingstedene digre databaser over nyttige data, men storskala bruk av dem er reservert for nettstedet selv. Jeg kunne kort og godt tenkt meg en wikibeer.net eller openbeer.org. Det må gjerne koblet mot de ulike wikipediaartiklene om øl, øltyper og bryggerier og de formene for aggregering av slikt som finnes. Det kunne kobles mot wikimedia commons for bilder av flasker og logoer. Det må gjerne være koblet opp mot ulike språk, slik at man kan filtrere bort ratings skrevet i språk man ikke selv kan lese. Men fremfor alt må dataene være åpne og eksporterbare til andre steder og formater, inklusive til kommersiell utnytting andre steder.

Det kunne også kobles mot andre nettsteder som openbrewpubmap, som igjen er klasket på toppen av Openstreetmap. Poenget er at når aggregering av data gjøres åpent (hvilket letter importering og eksportering rent teknisk) og fritt (tillater avledet bruk rent juridisk), så er sannsynligheten større for at noen kommer og kobler sammen komponenter og deler som gir alle involverte en merverdi. Det er når hver aktør sitter og puger på sine egne data at disse forblir interessante snarere enn virkelig nyttige.