Over Elemath

Elemath: Betrouwbare en efficiënte evaluatie van basiswiskundecompetenties

Doel Elemath

De eerste doelstelling van dit project is om de manier te verbeteren waarop basiswiskundecompententies worden geëvalueerd in wiskunde-examens. We willen examenvormen vinden die even betrouwbaar zijn (in de didactische betekenis van het woord) als de multiple choice-examens die in andere disciplines worden gehanteerd, maar beter aangepast aan het domein van de wiskunde (en statistiek). Tegelijk willen we de efficiëntie van de evaluatie verhogen, t.t.z., de tijd en inzet verminderen die nodig zijn om examens te corrigeren.

Traditionele wiskunde-examenvragen hebben vaak nog het karakter van een kettingvraag: om de opgave op te lossen dient de student een aantal opeenvolgende stappen te doorlopen waarbij de volgende stap telkens voortbouwt op het resultaat van de vorige. Om diverse redenen wordt het gebruik van dit soort vragen door didactici ten stelligste afgeraden. Wij willen daarom onderzoeken hoe dezelfde competenties bevraagd kunnen worden met kleinere, meer atomaire opgaven.

Er zijn op z’n minst twee mogelijkheden om atomaire opgave te definiëren:

Een atomaire vraag kan enerzijds gezien worden als een vraag die slechts één basiscompetentie test en dus niet meer verder kan opgedeeld worden in deelvragen. Mogelijks is deze definitie van atomaire vraag moeilijk in praktijk te brengen: denk bijvoorbeeld aan een eenvoudige vraag die test of men vergelijkingen in 1 onbekende kan oplossen: $109 = 26x + 5$. Het antwoord op deze is vraag is $\frac{109-5}{26}$ of dus 4. Het oplossen van de vergelijking naar $x$ is hier het hoofddoel, maar als we zeer ver gaan en letterlijk élke basiscompetentie willen testen, moeten we nog een aparte vraag stellen om de breuk $\frac{109-5}{26}$ verder te vereenvoudigen. Het is duidelijk dat deze manier van werken voor heel wat opleiding te ver gaat.

Een betere definitie voor atomaire vraag lijkt dan eerder een vraag die door de verbeteraar als 0-1 gequoteerd kan worden. Hiermee bedoelen we een vraag die als juist of fout kan gequoteerd worden en niet iets daar tussenin. Bij het bovenstaande voorbeeld wordt dan uitsluitend naar de eindoplossing gekeken; is het antwoord niet 4, dan is deze opgave fout opgelost. Als het vereenvoudigen van breuken als evident aanzien wordt (wat in de meeste faculteiten het geval zal zijn) wordt geen half punt gegeven voor het tussenantwoord $\frac{109-5}{26}$.

De bedoeling van atomaire vragen is om, door de hoofdvraag op te splitsen in deelvragen, nog steeds dezelfde basiscompetenties te testen. Hierbij moet gelet worden dat elke deelvraag iets anders wordt gesteld om te vermijden dat het antwoord uit de vorige atomaire vraag in de daaropvolgende opgave wordt verklapt.

(Atomaire vragen hebben het voordeel dat het antwoord erop essentieel uniek is en zwart/wit kan worden gecorrigeerd. Dergelijke vragen kunnen dus in principe ook door een computer worden verbeterd.)

Deze website bevat een heel aantal examenopgaven die in atomaire vragen werden opgedeeld. Hierbij slaan de atomaire vragen echter steeds op de hoofdvraag waardoor het antwoord op de vorige vraag gegeven wordt in de daaropvolgende vraag. Om de vragen in hun geheel bruikbaar te maken moeten kleine wijzigen aangebracht worden, echter zodanig dat nog steeds dezelfde competentie van dezelfde moeilijkheidsgraad wordt getest.

Doelgroep

Bijna elke faculteit aan de Universiteit Gent heeft één of meerdere opleidingen waar wiskunde in het curriculum is opgenomen (soms onder de naam data- analyse of statistiek), verspreid over een 60-tal lesgevers. Voor de meeste van deze vakken betekent dit project een meerwaarde. Het aantal studenten dat hierbij betrokken is loopt in de vele duizenden.

We zijn er ons van bewust dat er heel wat verschillen zijn tussen de opleidingen in wat zij als ‘basis’wiskunde beschouwen. Enerzijds zijn er opleidingen die te kampen hebben met studenten die zelfs de elementaire wiskunde uit de 1ste/2e graad van het middelbaar onderwijs niet machtig zijn, zoals werken met breuken en oplossen van lineaire vergelijkingen in één veranderlijke, maar anderzijds hebben ook de opleidingen waar de studenten doorgaans een sterke wiskundige voorkennis hebben heel specifieke noden.

Dit project zal het ganse spectrum van basiswiskundecompetenties bestrijken, van eenvoudig tot geavanceerd, van het vereenvoudigen van breuken tot basiskennis kansrekening en statistiek. Elke opleiding kan dan zelf bepalen wat er voor hen het meest relevant is.

Didactische voordelen

Betrouwbaarheid Aangezien atomaire vragen een uniek antwoord hebben, is deze vorm zeer betrouwbaar (de beoordeling is onafhankelijk van wie er corrigeert en van de context waarin dit gebeurt). Bij kettingvragen is dit veel minder het geval, zelfs wanneer men een verbetersleutel hanteert: wanneer een student een verkeerd antwoord geeft op een eerste deel van een opgave, wil men aan het vervolg van het antwoord toch nog de bedoelde deelcompetenties toetsen en dit gebeurt meestal ad hoc.

Validiteit Het feit dat een vraag atomair is, doet op zich niets aan de validiteit van het totale examen (worden wel de juiste competenties beoordeeld?). Bij kettingvragen is er echter wel een probleem met validiteit: wanneer een student een eerste deel van een vraag niet kan beantwoorden en daardoor een blanco antwoord geeft op de ganse opgave, dan worden de overblijvende competenties uit de opgave voor deze student niet getoetst.

Transparantie Door aan de student een online zelfstudietoepassing aan te bieden die gebaseerd is op dezelfde inhouden en vraagvormen als het eindexamen, krijgt de student een goed zicht op wat hij op het examen mag verwachten.

Efficiëntie Het corrigeren van een kettingvraag neemt veel tijd in beslag wanneer de student een ander dan het voorziene eindresultaat bekomt. In dat geval moet er gekeken worden op welk punt in de oefening de student een eerste fout heeft gemaakt, en moet er dan vanaf dit punt worden verder gerekend om na te gaan in hoeverre de student de andere basiscompetenties bezit die in principe door de opgave hadden moeten worden getoetst. Elk individueel geval is hier verschillend.

Bij atomaire vragen is dit niet het geval, omdat ze slechts één competentie beoordelen. Door het feit dat ze een uniek antwoord hebben, kunnen ze ook heel snel verbeterd worden.

Opmerking

Wellicht is het niet in alle gevallen mogelijk om een samengestelde vraag op te splitsen in kleine onafhankelijke onderdelen en nog steeds dezelfde competentie(s) te evalueren. Het is precies één van de doelstellingen van dit project om te zien in hoeverre dit mogelijk is. Zelfs al lukt dit slechts bij een gedeelte van de onderwerpen, dan nog kan dit een grote winst betekenen. We merken trouwens dat lesgevers (uit behoudsgezindheid?) een initiële weerstand moeten overwinnen vooraleer ze het idee van atomaire bevraging in overweging nemen.

Het is evenmin zo dat, omdat een samengestelde vraag kan opgesplitst worden in atomaire deelvragen, dit noodzakelijk ook moet gedaan worden. Als een lesgever van mening is dat de vraag in zijn geheel oplossen een extra competentie test, of als blijkt dat opsplitsen onnodig blijkt omdat de hoofdvraag als parate kennis of evident beschouwd wordt, dan kan deze vraag ook gewoon in zijn geheel gesteld worden.