Evalueren en toetsen, bijeenkomst 2

• Onderwijskunde
• HBO
• Studiejaar 4

Lies, damned lies and statistics

Evalueren en toetsen, bijeekomst 2

Inloggen bij Lessonup

1. Ga op jouw computer naar lessonup.app of open op jouw tablet (of smartphone) de LessonUp-app.
   
2. Log in met de pincode linksonder in het scherm.
3. Volg de les op het in MS Teams gedeelde scherm nadat je bent ingelogd.
4. Komt er een opdracht? Gebruik de lessonup.app of de LessonUp-app om deze uit te voeren.
   

webcam aan

microfoon uit

x

Hoe gaan we werken?

• tools: Zoom, LessonUp, Feedbackfruits
• ritme: voorbereiden, gezamenlijk toepassen met feedback, toepassen op eigen product met peerfeedback en groepsfeedback enz.
• werkafspraken: netiquette, waarom zou je je (niet) voorbereiden, boek aanschaffen
  

Inleiding praktijkonderzoek

• Welke ideëen hebben jullie over onderzoek?
• Wat is praktijkonderzoek en hoe verschilt dit van jullie ideëen over onderzoek?
• Handleiding bestuderen (meteen kennismaken met FBF).
• Kennisclip 1 kijken.

Afspraken voor volgende week

• Huiswerk maken via FBF
• Boek aanschaffen en klaar hebben liggen bij les
  

Vragen over de opdracht? Hoe loopt het?

Analyseren

psychometrische analyse van toetsen en toetsvragen

Psy. analyse

• statistiek
• kwaliteit
• vragen & toets
  

Toetstaal

item: vraag

respons: antwoord

Moeilijkheid

p=​totaalaantalantwoorden​​aantalcorrecteantwoorden​​

Leg uit dat dit de p-waarde is. Die valt te berekenen voor een item of voor de toets als geheel.

In een klas zitten 32 leerlingen. Op een toets beantwoorden 6 leerlingen een vraag goed. Wat is (afgerond) de p-waarde van deze vraag?

1. 0,1875
2. 0,2308
3. 5,3333

Keuzes	Optimaal	Ondergrens	Bovengrens
2	0,75	0,61	0,90
3	0,67	0,50	0,90
4	0,62	0,44	0,90
	0,50	0,25	0,90

∞

(Berkel, Bax, & Joosten-ten Brinke, 2017)

Deze grenswaarden worden gegeven. Dit kan een houvast zijn. Het moet wel met een korreltje zout worden genomen, want mssn vind je wel dat er meer goed moet worden beantwoord in de bovenbouw dan in de onderbouw of denk aan toetsen bij verpleegkunde die gewoon 100% goed moeten zijn.

Waarom vind jij de optimale en grenswaardes (niet) juist?

Onderscheidend vermogen

sterk

zwak

hoge totaalscore

lage totaalscore

Een vraag met een sterk onderscheidend vermogen is een vraag die sterk onderscheid maakt tussen de sterke kandidaten, met een hoge toetscore en de zwakkere kandidaten.

Wat is het onderscheidend vermogen van een strikvraag?

1. goed
2. slecht

Onderscheidend vermogen

: correlatie itemscore en totaalscore

: correlatie itemscore en totaalscore zonder itemscore

r​it​​

r​ir​​

Correlatie is het statistische begrip voor samenhang. Met correlatie itemscore en totaalscore wordt aangegeven de scores voor een item/vraag samenhangen met de overall-score van de kandidaten. In die score zit ook de score voor het item, die worden er bij de rir uitgehaald.

Pearsons r (product-moment-correlatiecoëfficient). Dat is waarom het rit en rir heet.

totaalscore	item 1	item 2	item 3
3	1	1	1
2	1	1	0
2	1	0	1

⟷

⟷

⟷

Dit zijn eigenlijk de verhoudingen waar je naar kijkt.

Grenswaarden

Waarde rit en rir	Onderscheidend vermogen
Vanaf 0,35	goed tot zeer goed
Van 0,25 tot 0,35	voldoende tot goed
Van 0,15 tot 0,25	middelmatig tot voldoende
Minder dan 0,15	slecht tot middelmatig

Dit komt uit het Excel-document

Een vraag op jouw toets heeft een rit-waarde van 0,07. Mag je deze vraag nogmaals gebruiken?

1. misschien wel
2. zeker wel
3. zeker niet

https:

Terechte kritiek?

🖋 terechte kritiek?

🕐 20 minuten

👥 leerteam
👨‍🏫 inhoudelijk
📊 2 teams delen
👍 teamopdracht

Betrouwbaarheid

score toets A = score toets B

Betrouwbaarheid = de samenhang tussen de testscores op twee parallele testen.

In de praktijk gaat bij betrouwbaarheid om de mate waarin je bij een tweede afname van een vergelijkbare toets een zelfde score behaald.

Dat kunnen we niet letterlijk uitrekenen, want we doen maar één toets, maar we kunnen het wel schatten door te kijken naar de samenhang tussen alle items in de toets. Is die sterk, dan is het idee dat een paralelle afname tot hetzelfde resultaat zou leiden.

Cronbach's α

Cronbachs alfa: samenhang tussen alle itemscores

α

Grenswaarden

Waarde Cronbach's α:	Betrouwbaarheid
Vanaf 0,90	goed tot zeer goed
Van 0,80 tot 0,90	voldoende tot goed
Van 0,70 tot 0,80	middelmatig tot voldoende
Minder dan 0,70	slecht tot middelmatig

Toets- en itemanalyse

🖋 analyseer kwaliteit toets

🕐 30 minuten

👥 leerteam
👨‍🏫 inhoudelijk
📊 2 teams delen
👍 teamopdracht

∞

https:

Rapporteren

cesuurbepaling

Kort noemen wat de cesuur is.

Cesuur

cesuur: grens tussen zakken en slagen

Absoluut vs. relatief

absoluut: voor het resultaat

relatief: volledig op basis van resultaat

compromis: gedeeltelijk op basis resultaat

Hoe bepaal jij de cesuur voor een toets

1. absoluut
2. relatief
3. compromis

Cesuurbepaling

🖋 kies cesuurbepaling

🕐 30 minuten

👥 leerteam
👨‍🏫 inhoudelijk
📊 2 x delen
👍 leerteamopdracht

https:

Denk aan het huiswerk

Overige bronnen

webcam: https://pixabay.com/images/id-146301/

microfoon: https://pixabay.com/vectors/music-sound-audio-speakers-2936214/

statistiek: https://unsplash.com/photos/ZzOa5G8hSPI

taal: https://unsplash.com/photos/ZzWsHbu2y80

klaslokaal: https://pixabay.com/nl/photos/klas-school-onderwijs-leren-2093744/