Beoordelen in het mbo 5

Beoordelen in het mbo
Bijeenkomst 5
Susan Coevert
1 / 47
next
Slide 1: Slide
pedagogiekHBOStudiejaar 1

This lesson contains 47 slides, with interactive quizzes and text slides.

time-iconLesson duration is: 120 min

Items in this lesson

Beoordelen in het mbo
Bijeenkomst 5
Susan Coevert

Slide 1 - Slide

Programma
Terugblik vorige les
Opdracht 
Lesdoelen 
Soorten vragen (eindopdracht deel D).
open en Gesloten vragen (eindopdracht deel D).
Cesuur (eindopdracht D)



Slide 2 - Slide

terugblik

Slide 3 - Slide

Wat is het belangrijkste doel van een toetsmatrijs?
A
Het verhogen van de betrouwbaarheid van de toets
B
Inzicht geven aan collega's over de opbouw van de toets
C
Het aangeven welke leerdoelen er moeten worden getoetst
D
Om goede vragen te construeren.

Slide 4 - Quiz

Lesdoelen
- Je kan toetsvragen met kwaliteitsproblemen herkennen
- Je kan open en gesloten vragen construeren

Slide 5 - Slide

Eind opdracht 
  • Eindopdracht deel B: Je selecteert een toets uit de praktijk waarbij verbetering wenselijk is en je onderbouwt je keuze voor de betreffende toets.
  • Eindopdracht deel C: Je maakt of optimaliseert een toetsmatrijs en borgt de kwaliteit.
  • Eindopdracht deel D: Je construeert of verbetert een toets en borgt de kwaliteit.
  • Eindopdracht deel E: Je maakt of optimaliseert een antwoordmodel of en borgt de kwaliteit.

Slide 6 - Slide

Vragen construeren

Slide 7 - Slide

Constructie van vragen: Soorten vragen 

Slide 8 - Slide

Open vragen tips
Gebruik actiewerkwoorden.
Bedenk eerst welk antwoord je verwacht.
Zorg ervoor dat er geen misverstanden kunnen ontstaan over het te geven antwoord.
Geef aan hoe lang het antwoord mag zijn, aantal argumenten enz.
Bij casuïstiek:
Gebruik realistische beroepspraktijk
Houd casus kort en concreet
Stel heldere norm antwoorden op
Relateer vragen direct aan casus

Slide 9 - Slide

Open vragen
Voordelen
Ook hogere cognitieve niveaus (analyseren, evalueren, creëren) zijn goed meetbaar
Levert rijke informatie over redeneerwijze studenten
Toetsontwikkeling kost relatief weinig tijd
Validiteit makkelijker te bereiken

Nadelen
Nakijken kost relatief veel tijd
Risico op onbetrouwbare beoordeling

Slide 10 - Slide

tips voor openvragen
- Bepaal hoeveel toetsvragen je wilt schrijven. 
- Hiervoor kun je vooraf inschatten hoeveel tijd studenten nodig hebben om de vragen te beantwoorden.
- Gebruik een toetsmatrijs om het aantal te behalen punten en de niveaus van de vragen te bepalen.
- Specificeer ook hoeveel punten studenten maximaal per vraag kunnen krijgen.
- Formuleer eerst het model antwoord en pas daarna de vraag.


Slide 11 - Slide

- Schrijf de vragen indien mogelijk samen met collega’s.
- Splits de vraag indien nodig op in twee delen: een inleiding met achtergrondinformatie en daarna de vraag zelf.
- Wees specifiek over wat je in het antwoord verwacht, bijvoorbeeld: “Geef drie redenen voor…”.
- Stel de vraag in de vorm van een opdracht en gebruik hierbij actieve werkwoorden, zoals je idealiter ook in de leerdoelen hebt geformuleerd.

Slide 12 - Slide

Antwoordmodel
Doel
Verschillen tussen beoordelaars verkleinen


Inhoud
Modelantwoorden
Maximaal aantal punten per vraag en eventueel deelscores
Regels voor beoordeling
Afspraken over nakijken open vragen

Slide 13 - Slide

Slide 14 - Slide

Opdracht open vragen
Bekijk de open vragen in jullie toets.
Is er een antwoordmodel aanwezig?
Zijn de vragen concreet? 
Weten de studenten bijvoorbeeld hoeveel kenmerken zij moeten opschrijven?
Is het voor de studenten inzichtelijk hoeveel punten zij kunnen krijgen?

Slide 15 - Slide

Wat is een voordeel van een toets met open vragen?
A
Een toets met open vragen is makkelijk na te kijken
B
De betrouwbaarheid van de beoordeling is gewaarborgd
C
De validiteit is hoger dan bij gesloten vragen
D
Het maken van de toets vragen kost veel tijd.

Slide 16 - Quiz

Constructie van vragen: Soorten vragen 

Slide 17 - Slide

Niet geprecodeerde vragen

Slide 18 - Slide


Gesloten vragen niet geprecodeerd
Sorteren
Of sleepvragen in Lessonup

Slide 19 - Slide

Tekst
Sleep de woorden naar de juiste dans. 
Buikdansen
Tango

Tapdansen
Hacken

Slide 20 - Drag question

Gesloten vragen niet geprecodeerd
Classificeren
Indelen in naar eigenschap of welke hoort er niet bij.



Slide 21 - Slide

ADHD
ADD
Op de voorgrond
Op de achtergrond
Dagdromen
Snel afgeleid
Afwachtend
Impulsief
Multitasken
1 ding tegelijk

Slide 22 - Drag question

Gesloten vragen niet geprecodeerd
Rangschikken





Slide 23 - Slide

Piramide van Maslow
Fysiologische behoeften
Veiligheid en zekerheid
Sociale acceptatie
Waardering (en erkenning)
Zelfrealisatie 
1e behoefte
2e behoefte
3e behoefte
4e behoefte
5e behoefte

Slide 24 - Drag question

Meerkeuze vragen= multiple choice

Slide 25 - Slide

MC vragen
Voordelen
- Lagere cognitieve niveaus (reproduceren, begrijpen, toepassen) zijn goed meetbaar
- Beoordeling kost weinig tijd
- Objectieve (statistische) analyse is relatief makkelijk uitvoerbaar
Nadelen
- Hogere cognitieve niveaus niet meetbaar
- Geen informatie over redeneerwijze studenten
- Groter risico op lagere validiteit
- Ontwikkeling kost relatief veel tijd


Slide 26 - Slide


Geprecodeerde vragen= MC vragen
Tips
- Vraag bevat maar één probleem
- Vraag is met behulp van bestudeerde stof te beantwoorden
- Formulering leidt niet vanzelf naar juiste antwoord
- Geen meningen / valkuilen / listigheden
- Kort en zakelijk / geen overbodige informatie
- Ontkenningen zijn vet/onderstreept
- Geen dubbele ontkenningen
- Geen woorden als: altijd, soms, nooit enz.

Slide 27 - Slide

Tips
- Neem bij vragen geen zinnen letterlijk over uit een leerboek.
-  Maak geen onvolledige zinnen die in de alternatieven moeten worden afgemaakt. 
- Stel een vraag in de stam, gebruik daarbij volledige zinnen en sluit af met een vraagteken.



Slide 28 - Slide

Wat is er mis met deze vraag?

Een missie:

a. Is de pedagogische visie die een organisatie heeft.
b. Verwoordt wat de organisatie doet
c. Is de kwaliteitszorg van een organisatie
d. Zegt hoe je met de doelgroep moet omgaan en welke opvang je moet bieden


Slide 29 - Slide


Geprecodeerde vragen= MC vragen
Antwoordalternatieven
Zijn plausibel (geloofwaardig) en ongeveer even lang
Zijn positief geformuleerd
Hebben logische volgorde
Vermijden van ‘geen van bovenstaande is juist’
Niet altijd is B het juiste antwoord

Slide 30 - Slide

Wat is er mis met de volgende vraag?
Het Bernoulli-effect is het verschijnsel dat:

a. heeft te maken met het feit dat de dichtheid van lucht (of een ander gas) afneemt naarmate de snelheid van de lucht toeneemt
b. twee vlakken beurtelings van en naar elkaar toe bewegen.
c. water meer massa impliceert als het dichter tot de polen nadert.
d. ijskappen smelten als gevolg van het versterkte broeikaseffect.

Slide 31 - Slide

Geprecodeerde vragen= MC vragen
Stelling vragen
Dit is een moeilijk vraagtype, zowel om te construeren als om te beantwoorden. Er moet sprake zijn van een samenhang.
Voor studenten lastig omdat ze niet direct kennis toetsen, maar met lees en denk tijd-> liever niet gebruiken





Slide 32 - Slide

Geprecodeerde vragen= MC vragen
Voorbeeld stellingvraag
Wat geldt voor de volgende beweringen?
1 Er is sprake van een duidelijke samenhang tussen zoutgebruik en de hoogte van de bloeddruk.
2 Het is goed om mensen met verhoogde bloeddruk aan te raden veel zoute pinda’s te eten.
A 1 en 2 zijn juist                    B Alleen 1 is juist
C Alleen 2 is juist                  D 1 en 2 zijn niet juist




Slide 33 - Slide

Geef aan of de onderstaande stelling juist of onjuist zijn door het goede antwoord te omcirkelen.
Baby's hebben tot ongeveer anderhalf jaar een opening midden boven op de schedel: de fontanel.
Juist/Onjuist
A
Het doel van de vraag is niet duidelijk
B
De stelling is te lang

Slide 34 - Quiz

Hoe zou je de vraag anders kunnen stellen?
Geef aan of de onderstaande stelling juist of onjuist zijn door het goede antwoord te omcirkelen.
Baby’s hebben tot ongeveer anderhalf jaar een opening midden boven op de schedel: de fontanel.
Juist/Onjuist

Slide 35 - Slide

Geprecodeerde vragen= MC vragen
Waar/niet waar vragen
Lastig want studenten hebben de neiging om of alles waar te laten zijn of juist niet waar. Soms is een stelling niet specifiek waar of niet waar.
Te weinig antwoord alternatieven dus grote gokkans
Voorbeeld:
In alle slagaders stroomt het bloed van het hart af.
Deze stelling is:
A Waar
B Onwaar

Slide 36 - Slide

MC: Hoeveel vragen?
Zo veel als nodig is om een representatief beeld van de in de lesstof aangeboden kernonderwerpen te geven

Bij enkel meerkeuzevragen geldt:
2-keuze: minimaal 60-80 vragen
3-keuze: minimaal 45-60 vragen
4-keuze: minimaal 40 vragen
Bij combinatie van open en meerkeuzevragen kunnen dit er minder zijn.
Houd rekening met de beschikbare toets tijd



Slide 37 - Slide

Opdracht 
Analyseer jullie toets. Welke vragen zijn niet goed geformuleerd? 

Dit is tevens een onderdeel van opdracht B.

Slide 38 - Slide

Cesuur
Cesuur = zak-slaaggrens voldoende/onvoldoende

Absolute cesuur (vooraf is de weging vastgesteld)
Hangt niet af van prestaties van de groep
Bijvoorbeeld 60% van totaal aantal punten is voldoende (p.200)
Relatieve cesuur
Afhankelijk van hoe er gepresteerd is door de groep
Bijvoorbeeld bovenste 65% slaagt, aantal punten slechtste student van deze 65% is cesuur

Objectieve cesuur is 50 % goed -> een voldoende
Als je bij meerkeuze de gokkans wilt berekenen zie onderstaande tabel:
Toetssoort Norm + Gokkans = Cesuur
4K toets 50% + (0,25*50%) = 62,5 %
3K toets 50% + (0,33*50%) = 66,7 %
2K toets 50% + (0,50*50%) = 75,0 %

Slide 39 - Slide

Cesuur
Cijfers
Sinds 1870 Nederlandse cijferschaal
1 als laagste cijfer en 10 als hoogste cijfer


Angelsaksisch A t/m F
Frankrijk 1 t/m 20
Rusland 1 t/m 5

Slide 40 - Slide

Aan de slag met je eigen toets
       Eindopdracht deel D: Je construeert of verbetert een toets en borgt de kwaliteit.


Bron: toetscyclus van Milius 2007
Toetsproces stappen:
1. Ontwerpen (welke leerdoelen ga je toetsen)
2. Construeren toetsmatrijs
3. Construeren toets
4. Afnemen
5. Nakijken en beoordelen
6. Analyseren en
7. Evalueren en verbeteren

Slide 42 - Slide

Vragen

Slide 43 - Slide

Lesdoelen
- Je kan toetsvragen met kwaliteitsproblemen herkennen
- Je kan open en gesloten vragen construeren

Slide 44 - Slide

Volgende keer
Examineren in het mbo

Slide 45 - Slide

Terug 
Wat viel je op aan jullie toetsvragen?

Wie kan een voorbeeld delen?

Slide 46 - Slide

Slide 47 - Slide