Waarom professoren een giscorrectie willen en studenten niet

Deze week was er heel wat te doen rond giscorrectie. Giscorrectie is een manier om punten te geven bij multiple choice examens. Kort gezegd komt het erop neer dat studenten punten krijgen voor correcte antwoorden, maar ook punten verliezen bij foutieve antwoorden.

UGent professor onderwijskunde Martin Valcke legde deze week in het Radio 1 programma Hautekiet uit waarom giscorrectie niet goed werkt. Dit werd opgepikt door andere media en sommige kranten (i.e. De Morgen) maakten daar dan van dat “eerlijke studenten jarenlang benadeeld werden” door het systeem. Vandaag is dan weer te lezen in De Standaard dat de onderwijsraad van de UGent de aanbeveling doet het systeem af te schaffen.

In deze blogpost wil ik kort aantonen waarom er zoiets als giscorrectie bestaat en waarom veel studenten er niet van houden. Verder beschrijf ik ook een aantal voorgestelde alternatieven.

Waarom giscorrectie?

Laten we het voorbeeld van een meerkeuze examen nemen met 20 vragen die telkens 4 antwoordmogelijkheden hebben. Voor elke vraag is er slechts 1 antwoord correct.

Het probleem met dit soort examens is dat wie voor elke vraag zou gokken (hiermee wordt bedoeld dat de student geen enkel idee heeft welke antwoordmogelijkheid correct is) toch telkens een kans van 1/4 heeft om juist te antwoorden. Stel dat met elke vraag 1 punt te verdienen is (dus maximaal kan men 20/20 halen), dan ziet de kans voor elke mogelijke uitkomst er als volgt uit.

Een gokkende student heeft dus ongeveer 20% kans om 5/20 te halen voor een examen waar hij of zij helemaal niets van kende. De kans om te slagen (10 of meer op 20) ligt iets hoger dan 1%.

Wanneer een student 5 vragen zeker weet en de overige 15 vragen gaat gokken (bvb, wanneer de student slechts 1/4 van de cursus blokt), dan ziet de kansverdeling er als volgt uit:

Merk op dat de student in dit geval al meer dan 30% kans heeft om te slagen en ongeveer 60% kans heeft om minstens een delibereerbaar resultaat te halen (8 of meer op 20).

Professoren willen natuurlijk niet dat studenten kunnen slagen zonder dat ze de leerstof voldoende beheersen en het systeem van giscorrectie probeert daar iets aan te doen.

Hoe werkt giscorrectie?

Bij giscorrectie krijgt men 1 punt voor een correct antwoord, maar verliest men een aantal punten bij een foutief antwoord. Hoeveel punten men verliest is afhankelijk van het aantal keuzemogelijkheden. Bij 4 keuzemogelijkheden zal men 1/(4-1)=1/3 punten verliezen. Bij 5 keuzemogelijkheden zal dit 1/4 zijn, enzovoort. Op deze manier is de verwachte uitkomst van een gok steeds 0.

Wat heeft dit voor gevolg voor de gokkende student? De kansen op elke mogelijke examenscore zijn weergegeven in onderstaande grafiek:

Onmiddellijk wordt duidelijk dat de kans om te slagen voor deze gokkende student enorm verkleind is. Nu heeft hij of zij meer dan 60% kans om gewoon 0 te krijgen voor dat examen. De kans om ten minste een delibereerbaar resultaat (8 of meer op 20) te halen wanneer hij of zij 5 vragen weet en de rest gokt is gedaald van meer dan 60% tot minder dan 15% (m.o. dit is niet af te lezen op bovenstaande grafiek).

Waarom vinden velen giscorrectie ‘moeilijk’?

Bij een meerkeuze examen zonder giscorrectie is het advies voor de studenten eenvoudig: weet je het antwoord, geef dan het correcte antwoord; wanneer ze het antwoord niet weten dan moeten ze gokken. Immers, er is steeds een kans van 1/4 (bij 4 keuzemogelijkheden) om toch het correcte antwoord aan te duiden.

Bij giscorrectie ligt dit anders. Hier hangt het advies voor de studenten af van het aantal antwoordmogelijkheden waartussen ze nog twijfelen. Hoe meer antwoordmogelijkheden de student kan elimineren, hoe meer het loont om te gokken tussen de overgebleven antwoordmogelijkheden. Bijvoorbeeld:

Als een student echt niet weet welk van de 4 antwoordmogelijkheden correct is, dan heeft gokken geen zin. Immers, in dat geval is er 25% kans om correct te antwoorden (en 1 punt te krijgen), maar er is 75% kans om een verkeerd antwoord te kiezen (en 1/3 punt te verliezen). De verwachte uitkomst bij gokken is 0 (d.w.z, indien je altijd zou gokken in deze situatie, is de verwachte score 0):

Als een student 1 antwoordmogelijkheid met zekerheid kan elimineren, dan veranderen de zaken. De kans om correct te gokken en 1 punt te krijgen wordt nu 1/3, terwijl de kans om verkeerd te gokken en 1/3 punt te verliezen nu 2/3 is geworden. De verwachte uitkomst in deze situatie is dan 0.11 (d.w.z., indien je altijd zou gokken in deze situatie, is de verwachte score per vraag ongeveer 0.11):

Als een student 2 antwoordmogelijkheden met zekerheid kan elimineren, dan is er nog meer reden om te gokken tussen de overblijvende opties. De verwachte waarde wordt dan immers 0.34 (d.w.z., indien je altijd zou gokken in deze situatie, is de verwachte score per vraag ongeveer 0.34):

Het goede aan giscorrectie is dus dat hoe beter een student de vraag kan oplossen (door antwoordmogelijkheden te elimineren), hoe hoger de verwachte punten hij of zij zal krijgen. Het probleem is dat veel studenten moeilijkheden hebben met bovenstaande berekeningen. Al kunnen die berekeningen eigenlijk samengevat worden als: “gok tussen de overblijvende mogelijkheden zodra je 1 optie kan elimineren”.

Controverse bij giscorrectie

Prof. dr. Martin Valcke heeft het in Schamper over de nadelen van giscorrectie. Het al dan niet bereid zijn tot gissen wordt niet enkel ingegeven door bovenstaande berekeningen, maar eveneens door persoonlijkheidskenmerken. Het meest bekende voorbeeld is wellicht dat jongens sneller gokken dan meisjes. Een andere argument tegen giscorrectie is dat het extra stress geeft aan de studenten die andere evaluatievormen niet of minder veroorzaken. Veel heeft te maken met loss-aversion, namelijk het veel meer vermijden van mogelijke verliezen eerder dan het nastreven van mogelijke winsten.

Alternatieven voor giscorrectie

In een recent artikel in Schamper worden een aantal alternatieven besproken. Eén daarvan is simpelweg meer vragen stellen met meer antwoordmogelijkheden. In de eerste grafiek van deze post werd de kansverdeling gegeven bij 20 meerkeuzevragen met 4 antwoordmogelijkheden. Hieronder zie je wat de kansverdeling is bij 80 meerkeuzevragen met 4 antwoordmogelijkheden.

Op deze grafiek is te zien dat studenten die op alle vragen gokten nog steeds meest kans hebben om ongeveer 5/20 te halen, maar nu is de spreiding rond deze verwachtte uitkomst wel veel kleiner geworden. Simpelweg toevoegen van vragen zorgt er dus (onder invloed van de wet van de grote aantallen) dat het resultaat van gokkers dichter bij 5/20 (i.e. de verwachte waarde) gaat liggen.

Wanneer we het aantal antwoordmogelijkheden gaan uitbreiden ziet de kansverdeling er nog anders uit. Hier het voorbeeld van 20 vragen met telkens 8 (i.p.v. 4) antwoordmogelijkheden waarbij 1 correct is.

In dit geval wordt de verwachte waarde wel kleiner (e.g. de meest voorkomende score van de gokkers is gedaald van 5/20 naar 2/20), maar is er nog steeds een vrij grote spreiding over de scores van de gokkers.

Het combineren van veel vragen met veel antwoordmogelijkheden geeft dan onderstaande kansverdeling (gebaseerd op 80 examenvragen met elk 8 mogelijke antwoorden waarvan er slechts 1 correct is).

Op bovenstaande grafiek zie je dat het combineren van veel vragen met veel antwoordmogelijkheden leidt tot een lage verwachte waarde met een kleine spreiding errond. De vraag blijft echter of deze aanpak praktisch haalbaar is. Vaak is het voor examinatoren niet evident om meerdere plausible antwoordmogelijkheden te geven zonder te vervallen in dubbelzinnige antwoordmogelijkheden als “niet meer dan 4 van de andere antwoordmogelijkheden zijn foutief”.

Een ander (en wat mij betreft te verkiezen) alternatief is de studenten te laten starten met een negatief puntenaantal. Deze methode wordt ook wel standard setting genoemd. Hoe sterk negatief de startpunten moeten zijn, hangt af van het aantal vragen en het aantal antwoordmogelijkheden. Bij 20 vragen met telkens 4 antwoordmogelijkheden zou dit -5 zijn (namelijk, -20/4). Studenten krijgen dan 20/(20-4)=1.25 punt voor elk correct antwoord en 0 punten voor elk verkeerd antwoord. Dit leidt tot onderstaande kansverdeling.

Merk op dat deze identiek is aan de kansverdeling bij de giscorrectie. Merk ook op dat in dit geval de studenten eveneens ‘verplicht’ worden om te gokken. Alleen hoeft men hier niet beredeneerd te gokken, want men kan er alleen bij winnen.

(toevoeging 17/10/2013)
Merk eveneens op dat het bij standard setting nodig is om 12 van de 20 vragen correct te beantwoorden om te slagen (en dus 10/20 te halen). Dit komt omdat de methode ervan uitgaat dat elke student gokt op alle vragen die hij of zij niet weet en hiervoor dus gecorrigeerd moet worden.

Wie 10 van de 20 vragen kent en de rest gokt heeft met deze methode ongeveer 76% kans om minstens 10/20 te halen. Wie 11 van de 20 vragen correct invult en de rest gokt heeft ongeveer 93% kans om minstens te slagen. Wie tenslotte 12 van de 20 vragen correct beantwoordt en de rest gokt is zeker om minstens 10/20 te halen.

Conclusie

• Het is normaal dat er een correctie gebeurt bij meerkeuzevragen. Immers, zonder deze correctie kunnen studenten die de leerstof onvoldoende beheersen te gemakkelijk slagen.
• Giscorrectie is wel eerlijk, maar vereist een zekere basiskennis over het nemen van beslissingen onder onzekerheid, zonder zich te laten beïnvloeden door loss-aversion. Niet alle studenten kunnen hier even goed mee overweg.
• Het idee dat giscorrectie studenten “verplicht om te gokken” is niet correct. Men kan wel betere punten halen door beredeneerd te gokken.
• Een student die niet wil gokken bij een examen met giscorrectie zal slagen indien hij of zij minstens de helft van de vragen correct kan beantwoorden.
• Bij de alternatieven voor giscorrectie wordt gokken mogelijk nog veel meer gestimuleerd dan bij giscorrectie. Men heeft immers geen punten te verliezen bij een verkeerde gok.
• Standard setting heeft als voordeel dat het eenvoudig uit te leggen is en tegelijk ervoor zorgt dat wie de leerstof onvoldoende beheerst weinig kans op slagen heeft.
• Standard setting heeft als nadeel dat studenten meer dan de helft van de vragen correct moeten beantwoorden om minstens de helft van de punten te behalen.
• Voor wie de leestof goed beheerst is er geen verschil tussen al dan niet giscorrectie. Het belang van ‘al dan niet giscorrectie’ wordt groter naarmate de student de leerstof minder goed kent en dus meer twijfelt.