Beoordelen in het mbo 5

• pedagogiek
• HBO
• Studiejaar 1

Beoordelen in het mbo

Bijeenkomst 5

Susan Coevert

Programma

Terugblik vorige les

Opdracht 

Lesdoelen 

Soorten vragen (eindopdracht deel D).

open en Gesloten vragen (eindopdracht deel D).

Cesuur (eindopdracht D)

terugblik

Wat is het belangrijkste doel van een toetsmatrijs?

1. Het verhogen van de betrouwbaarheid van de toets
2. Inzicht geven aan collega's over de opbouw van de toets
3. Het aangeven welke leerdoelen er moeten worden getoetst
4. Om goede vragen te construeren.

Lesdoelen

- Je kan toetsvragen met kwaliteitsproblemen herkennen

- Je kan open en gesloten vragen construeren

Eind opdracht 

• Eindopdracht deel B: Je selecteert een toets uit de praktijk waarbij verbetering wenselijk is en je onderbouwt je keuze voor de betreffende toets.
• Eindopdracht deel C: Je maakt of optimaliseert een toetsmatrijs en borgt de kwaliteit.
• Eindopdracht deel D: Je construeert of verbetert een toets en borgt de kwaliteit.
  
• Eindopdracht deel E: Je maakt of optimaliseert een antwoordmodel of en borgt de kwaliteit.

Vragen construeren

Constructie van vragen: Soorten vragen 

Open vragen tips

Gebruik actiewerkwoorden.

Bedenk eerst welk antwoord je verwacht.

Zorg ervoor dat er geen misverstanden kunnen ontstaan over het te geven antwoord.

Geef aan hoe lang het antwoord mag zijn, aantal argumenten enz.

Bij casuïstiek:

Gebruik realistische beroepspraktijk

Houd casus kort en concreet

Stel heldere norm antwoorden op

Relateer vragen direct aan casus

Open vragen

Voordelen

Ook hogere cognitieve niveaus (analyseren, evalueren, creëren) zijn goed meetbaar

Levert rijke informatie over redeneerwijze studenten

Toetsontwikkeling kost relatief weinig tijd

Validiteit makkelijker te bereiken

Nadelen

Nakijken kost relatief veel tijd

Risico op onbetrouwbare beoordeling

tips voor openvragen

- Bepaal hoeveel toetsvragen je wilt schrijven. 

- Hiervoor kun je vooraf inschatten hoeveel tijd studenten nodig hebben om de vragen te beantwoorden.

- Gebruik een toetsmatrijs om het aantal te behalen punten en de niveaus van de vragen te bepalen.

- Specificeer ook hoeveel punten studenten maximaal per vraag kunnen krijgen.

- Formuleer eerst het model antwoord en pas daarna de vraag.

- Schrijf de vragen indien mogelijk samen met collega’s.

- Splits de vraag indien nodig op in twee delen: een inleiding met achtergrondinformatie en daarna de vraag zelf.

- Wees specifiek over wat je in het antwoord verwacht, bijvoorbeeld: “Geef drie redenen voor…”.

- Stel de vraag in de vorm van een opdracht en gebruik hierbij actieve werkwoorden, zoals je idealiter ook in de leerdoelen hebt geformuleerd.

Antwoordmodel

Doel

Verschillen tussen beoordelaars verkleinen

Inhoud

Modelantwoorden

Maximaal aantal punten per vraag en eventueel deelscores

Regels voor beoordeling

Afspraken over nakijken open vragen

Opdracht open vragen

Bekijk de open vragen in jullie toets.

Is er een antwoordmodel aanwezig?

Zijn de vragen concreet? 

Weten de studenten bijvoorbeeld hoeveel kenmerken zij moeten opschrijven?

Is het voor de studenten inzichtelijk hoeveel punten zij kunnen krijgen?

Wat is een voordeel van een toets met open vragen?

1. Een toets met open vragen is makkelijk na te kijken
2. De betrouwbaarheid van de beoordeling is gewaarborgd
3. De validiteit is hoger dan bij gesloten vragen
4. Het maken van de toets vragen kost veel tijd.

Constructie van vragen: Soorten vragen 

Niet geprecodeerde vragen

Gesloten vragen niet geprecodeerd

Sorteren

Of sleepvragen in Lessonup

Tekst

Sleep de woorden naar de juiste dans. 

Buikdansen

Tango

Tapdansen

Hacken

Gesloten vragen niet geprecodeerd

Classificeren

Indelen in naar eigenschap of welke hoort er niet bij.

ADHD

ADD

Op de voorgrond

Op de achtergrond

Dagdromen

Snel afgeleid

Afwachtend

Impulsief

Multitasken

1 ding tegelijk

Gesloten vragen niet geprecodeerd

Rangschikken

Piramide van Maslow

Fysiologische behoeften

Veiligheid en zekerheid

Sociale acceptatie

Waardering (en erkenning)

Zelfrealisatie 

1e behoefte

2e behoefte

3e behoefte

4e behoefte

5e behoefte

Meerkeuze vragen= multiple choice

MC vragen

Voordelen

- Lagere cognitieve niveaus (reproduceren, begrijpen, toepassen) zijn goed meetbaar

- Beoordeling kost weinig tijd

- Objectieve (statistische) analyse is relatief makkelijk uitvoerbaar

Nadelen

- Hogere cognitieve niveaus niet meetbaar

- Geen informatie over redeneerwijze studenten

- Groter risico op lagere validiteit

- Ontwikkeling kost relatief veel tijd

Geprecodeerde vragen= MC vragen

Tips

- Vraag bevat maar één probleem

- Vraag is met behulp van bestudeerde stof te beantwoorden

- Formulering leidt niet vanzelf naar juiste antwoord

- Geen meningen / valkuilen / listigheden

- Kort en zakelijk / geen overbodige informatie

- Ontkenningen zijn vet/onderstreept

- Geen dubbele ontkenningen

- Geen woorden als: altijd, soms, nooit enz.

Tips

- Neem bij vragen geen zinnen letterlijk over uit een leerboek.

-  Maak geen onvolledige zinnen die in de alternatieven moeten worden afgemaakt. 

- Stel een vraag in de stam, gebruik daarbij volledige zinnen en sluit af met een vraagteken.

Wat is er mis met deze vraag?

Een missie:

a. Is de pedagogische visie die een organisatie heeft.

b. Verwoordt wat de organisatie doet

c. Is de kwaliteitszorg van een organisatie

d. Zegt hoe je met de doelgroep moet omgaan en welke opvang je moet bieden

Geprecodeerde vragen= MC vragen

Antwoordalternatieven

Zijn plausibel (geloofwaardig) en ongeveer even lang

Zijn positief geformuleerd

Hebben logische volgorde

Vermijden van ‘geen van bovenstaande is juist’

Niet altijd is B het juiste antwoord

Wat is er mis met de volgende vraag?

Het Bernoulli-effect is het verschijnsel dat:

a. heeft te maken met het feit dat de dichtheid van lucht (of een ander gas) afneemt naarmate de snelheid van de lucht toeneemt

b. twee vlakken beurtelings van en naar elkaar toe bewegen.

c. water meer massa impliceert als het dichter tot de polen nadert.

d. ijskappen smelten als gevolg van het versterkte broeikaseffect.

Geprecodeerde vragen= MC vragen

Stelling vragen

Dit is een moeilijk vraagtype, zowel om te construeren als om te beantwoorden. Er moet sprake zijn van een samenhang.

Voor studenten lastig omdat ze niet direct kennis toetsen, maar met lees en denk tijd-> liever niet gebruiken

Geprecodeerde vragen= MC vragen

Voorbeeld stellingvraag

Wat geldt voor de volgende beweringen?

1 Er is sprake van een duidelijke samenhang tussen zoutgebruik en de hoogte van de bloeddruk.

2 Het is goed om mensen met verhoogde bloeddruk aan te raden veel zoute pinda’s te eten.

A 1 en 2 zijn juist                    B Alleen 1 is juist

C Alleen 2 is juist                  D 1 en 2 zijn niet juist

Geef aan of de onderstaande stelling juist of onjuist zijn door het goede antwoord te omcirkelen.
Baby's hebben tot ongeveer anderhalf jaar een opening midden boven op de schedel: de fontanel.
Juist/Onjuist

1. Het doel van de vraag is niet duidelijk
2. De stelling is te lang

Hoe zou je de vraag anders kunnen stellen?

Geef aan of de onderstaande stelling juist of onjuist zijn door het goede antwoord te omcirkelen.

Baby’s hebben tot ongeveer anderhalf jaar een opening midden boven op de schedel: de fontanel.

Juist/Onjuist

Geprecodeerde vragen= MC vragen

Waar/niet waar vragen

Lastig want studenten hebben de neiging om of alles waar te laten zijn of juist niet waar. Soms is een stelling niet specifiek waar of niet waar.

Te weinig antwoord alternatieven dus grote gokkans

Voorbeeld:

In alle slagaders stroomt het bloed van het hart af.

Deze stelling is:

A Waar

B Onwaar

MC: Hoeveel vragen?

Zo veel als nodig is om een representatief beeld van de in de lesstof aangeboden kernonderwerpen te geven

Bij enkel meerkeuzevragen geldt:

2-keuze: minimaal 60-80 vragen

3-keuze: minimaal 45-60 vragen

4-keuze: minimaal 40 vragen

Bij combinatie van open en meerkeuzevragen kunnen dit er minder zijn.

Houd rekening met de beschikbare toets tijd

Opdracht 

Analyseer jullie toets. Welke vragen zijn niet goed geformuleerd? 

Dit is tevens een onderdeel van opdracht B.

Cesuur

Cesuur = zak-slaaggrens voldoende/onvoldoende

Absolute cesuur (vooraf is de weging vastgesteld)

Hangt niet af van prestaties van de groep

Bijvoorbeeld 60% van totaal aantal punten is voldoende (p.200)

Relatieve cesuur

Afhankelijk van hoe er gepresteerd is door de groep

Bijvoorbeeld bovenste 65% slaagt, aantal punten slechtste student van deze 65% is cesuur

Objectieve cesuur is 50 % goed -> een voldoende

Als je bij meerkeuze de gokkans wilt berekenen zie onderstaande tabel:

Toetssoort Norm + Gokkans = Cesuur

4K toets 50% + (0,25*50%) = 62,5 %

3K toets 50% + (0,33*50%) = 66,7 %

2K toets 50% + (0,50*50%) = 75,0 %

Cesuur

Cijfers

Sinds 1870 Nederlandse cijferschaal

1 als laagste cijfer en 10 als hoogste cijfer

Angelsaksisch A t/m F

Frankrijk 1 t/m 20

Rusland 1 t/m 5

Tools voor cesuur

https://www.cijferrekenaar.nl

https://cijfersberekenen.nl/

Aan de slag met je eigen toets

       Eindopdracht deel D: Je construeert of verbetert een toets en borgt de kwaliteit.

Bron: toetscyclus van Milius 2007

Toetsproces stappen:

1. Ontwerpen (welke leerdoelen ga je toetsen)

2. Construeren toetsmatrijs

3. Construeren toets

4. Afnemen

5. Nakijken en beoordelen

6. Analyseren en

7. Evalueren en verbeteren

Vragen

Lesdoelen

- Je kan toetsvragen met kwaliteitsproblemen herkennen

- Je kan open en gesloten vragen construeren

Volgende keer

Examineren in het mbo

Terug 

Wat viel je op aan jullie toetsvragen?

Wie kan een voorbeeld delen?