Digitaal toetsen en kwaliteitsborging. Waar moet je op letten?

Scholen herkennen de voordelen van het gebruik van een digitaal toetsservicesysteem. Genoemd worden de eenvoudige, webbasedafname van toetsen, de directe feedback voor de studenten, de mogelijkheid van kwaliteitsverbetering door een automatische analyse van toetsresultaten, de mogelijkheid van een gelijktijdige afname op verschillende locaties, het gebruikmaken van een groter scala aan media, zoals video en plaatjes, en de vermindering van organisatielast en werkdruk. Stichting Praktijkleren: Nieuwsupdate digitaal toetsen

Digitaal toetsen en kwaliteit

Digitaal toetsen kan op verschillende manieren bijdragen aan de kwaliteit van het hoger onderwijs. Een greep uit de mogelijke effecten:[social_quote duplicate=”yes” align=”default”] verbetering van de studievoortgang, verhogen van de kwaliteit van toetsvragen en vermindering van de werkdruk voor docenten.[/social_quote]

Steeds meer hogeronderwijsinstellingen richten zich op digitaal toetsen. Waar het gaat om samenwerken aan digitaal toetsen is er nog betrekkelijk weinig ervaring. SURF ontwikkelt en deelt kennis en ervaring op het gebied van samenwerken aan digitaal toetsen:

Instellingsoverstijgend samenwerken

Een van de voordelen van digitaal toetsen is dat onderwijsinstellingen ook onderling online kunnen samenwerken. Hier wordt op dit moment onderzoek naar gedaan. Zie ook de stand van zaken en toetsen nakijken wie doet dat nog?

Het programma Toetsing en Toetsgestuurd Leren (TTL) onderzoekt welke positieve effecten instellingsoverstijgend samenwerken aan digitaal toetsen heeft op het studiesucces van studenten, de werkdruk van docenten en de kwaliteit van toetsen. SURF voert het programma sinds 2010 uit. SURF | Digitaal toetsen

Een vragenbank opzetten bij digitaal toetsen

Een vragenbank, ook wel itembank genoemd is een middel om toetsvragen te kunnen opslaan en hergebruiken. Bij het ontwerpen van een databank moet er bovenal op gelet worden dat er een duidelijke en consistente structuur aanwezig is. Deze wordt meestal weergegeven door een boomstructuur. Per vak kunnen er verschillende onderwerpen onderscheiden worden en bij die onderwerpen horen vanzelfsprekend vragen. Het is interessant om de vragen een bepaalde moeilijkheidsgraad mee te geven. Zo vermijdt men dat er te makkelijke of te moeilijke toetsen gegenereerd worden. Belangrijk is voor officiele examens (summatieve toetsing) dat de oude versie van het examen bewaard blijft. Daarnaast mogen tussentijdse wijzigingen in de vragenbank niet leiden tot foutmeldingen in een klaarstaand examen. Het is ook mogelijk vragen te structureren naargelang de soort: kennis-, inzicht-, denk- of toepassingsvragen zijn maar enkele mogelijkheden. Ook de vraagvormen kunnen onderscheiden worden, daarover hieronder meer. Onderwijstechnologie/Klastechnologie/Digitaal toetsen – Wikibooks

Voordelen digitaal toetsen

Wanneer het op een juiste manier geïmplementeerd wordt kan digitaal toetsen een aantal praktische voordelen hebben, zoals meer efficiënte toetsing, lagere kosten met betrekking tot printen en transport, automatische opslag van toetsresultaten en automatische scoring van resultaten. Ook kunnen digitale toetsen bepaalde didactische voordelen met zich meebrengen. Zie hieronder een overzicht van de belangrijkste praktische en didactische voordelen van digitale toetsen:

De belangrijkste praktische en didactische voordelen van digitale toetsen:

Kostenbesparing op druk- en vervoerkosten.
Hogere toetsbeveiliging, met name bij summatieve toetsing van groot belang.
Automatische scoring en objectieve scoring, wat leidt tot verlaagde kosten doordat menselijke beoordelaars niet meer nodig zijn.
De mogelijkheid om toetsen af te nemen aan een grote groep leerlingen.
Meer efficiëntie in metingen, kortere toetstijd met name wanneer adaptief getoetst wordt.

Interactie tussen de leerling en de computer, de computer kan automatisch feedback genereren op basis van de respons van de leerling.
De mogelijkheid om direct feedback te geven aan leerlingen.
De mogelijkheid om leerkrachten snel te informeren over de prestaties van leerlingen.
Flexibiliteit met betrekking tot waar en wanneer de toets wordt gemaakt.
Mogelijkheid tot gebruik van innovatieve en meer authentieke item types.
De mogelijkheid om de moeilijkheid van het item af te stemmen op de vaardigheid van de leerling-adaptief toetsen.
Voordelen digitaal toetsen – Kennisnet

Digitale toetsen: waar moet je op letten?

http://4w.kennisnet.nl/artikelen/2014/03/19/digitale-toetsen-waar-moet-je-op-letten/Zijn digitale toetsen even betrouwbaar en valide als papieren toetsen? In 1993 is hiernaar een grootschalig onderzoek verricht (Mead & Drasgow, 1993). Hieruit bleek dat het digitaliseren van een papieren toets (dus: het op een computerscherm presenteren van de vragen) geen effect heeft op de betrouwbaarheid. De betrouwbaarheid van een toets – digitaal én op papier – hangt af van de inhoud en van het ontwerp van de toetsvragen. Wat dit laatste betreft is er sinds het onderzoek uit 1993 veel meer mogelijk geworden. En dat roept nieuwe vragen op, zoals hoe al die multimedia het beste op een scherm gepresenteerd kan worden. De centrale vraag van dit artikel is dan ook: hoe moeten de vragen in multimediale toetsen eruitzien om de betrouwbaarheid en validiteit van de toets te garanderen? Het volledige antwoord hierop kunnen wij op dit moment niet geven, omdat er nog weinig systematisch onderzoek heeft plaatsgevonden naar de effecten van (nieuwe vormen van) digitale toetsen. Op grond van een eerste onderzoek (Jarodzka et al., ingediend) naar het ontwerp van een gedigitaliseerde toets kunnen we echter toch al een paar algemene conclusies trekken.

In dit onderzoek is gekeken of de principes die ten grondslag liggen aan effectieve digitale leermaterialen ook bruikbaar zijn voor digitale toetsen. Uit theorieën over informatieverwerking is bekend dat onze cognitieve capaciteit om informatie actief te verwerken beperkt is, en dat wij die informatie alleen gedurende een beperkte tijd kunnen vasthouden. Effectieve multimediale leermaterialen houden hier rekening mee en zijn zo ontworpen dat de cognitieve capaciteiten in het werkgeheugen voor het leren worden vrijgemaakt. Bijvoorbeeld door onnodige complexiteit en overbodige en/of afleidende informatie te vermijden (Mayer, 2005; Sweller et al., 1998). Een voorbeeld is het split attention principe, dat stelt dat het geïntegreerd presenteren van informatie die bij elkaar hoort (tekst en illustratie bijvoorbeeld) het leren bevordert (Mayer, 2005; Sweller et al., 1998). Dit principe vormde het onderwerp van het onderzoek: in samenwerking met het Cito is gekeken of leerlingen beter scoren op een gedigitaliseerde papieren toets als de toetsvragen volgens het split attention principe zijn vormgegeven. Hiervoor werd een aantal vragen uit het centraal eindexamen Kunst herontworpen, wat leidde tot een gesplitste versie en een geïntegreerde versie van iedere vraag (zie figuur 1).

In het onderzoek is gebruik gemaakt van oogbewegingsregistratie (eye tracking, Holmqvist et al., 2011) om een beeld te krijgen van hoe leerlingen bij het beantwoorden van digitale toetsvragen te werk gaan. Daarbij wordt vastgelegd naar welke informatie de leerling kijkt, in welke volgorde en voor hoe lang. Dat levert informatie op over welke strategie leerlingen hanteren bij de beantwoording van een vraag en hoe ze informatie in de toets cognitief verwerken. Uit deze registraties blijkt bijvoorbeeld dat leerlingen (onder tijdsdruk) vaak een deel van de informatie negeren. Uit de verkregen gegevens over bijvoorbeeld pupilgrootte is de mate van mentale inspanning die de leerling levert af te lezen. Digitale toetsen: waar moet je op letten? – Artikelen – 4W Weten Wat Werkt Waarom


Holmqvist, K., Nyström, M., Andersson, R., Dewhurst, R., Jarodzka, H. & Weijer, J. van de (2011). Eye tracking: A comprehensive guide to methods and measures. Oxford, Verenigd Koninkrijk: Oxford University Press.

Jarodzka, H., Janssen, N., Kirschner, P.A. & Erkens, G. (ingediend). Avoiding split attention in computer-based testing: Is neglecting additional information facilitative?

Mayer, R.E. (2005). Cognitive theory of multimedia learning. In R. Mayer (Red.), The Cambridge handbook of multimedia learning (pp. 31-48). New York, NY: Cambridge University Press.

Mead, A.D. & Drasgow, F. (1993). Equivalence of computerised and paper-and-pencil cognitive ability tests: A meta-analysis. Psychological Bulletin, 114, 449-458.

Sweller, J., Merriënboer, J.J.G. van & Paas, F. (1998). Cognitive architecture and instructional design. Educational Psychological Review, 10, 251-296.