Language Teaching and Assessing week 2.6

• Docent
• Speciaal Onderwijs
• Leerroute 1

Language Teaching and Assessing

Week 2.6

Toetsing van Productieve vaardigheden

Waar let je op bij het beoordelen van spreken/schrijven?

inhoudsgericht (fluency) or taalgericht (accuracy)

CTO:

- boodschap helder - verstaanbaar/begrijpelijk

ERK doel

zie assessment form / feedback form

VAKDIDACTIEK

complete vaardigheid

taalproductiemodel Levelt

Vandaag

• Theorie over beoordelen
  
• Kalibreren
• Aan de slag! Ontwikkel een beoordelingsmodel bij je communicatieve toets + checklist (peer feedback)


• Vooruitblik LTA deel 2E: Terugblik op jouw Kernwaarden
• Terugblik doelen

Doelen

Aan het eind van deze les kun je:

• Een productieve toets beoordelen op validiteit/betrouwbaarheid
• A.d.h.v. vakdidactische aspecten beargumenteren of een productieve toets geschikt is om een leerdoel te meten.
• Een communicatieve productieve toets voor schrijf -of spreekvaardigheid ontwikkelen.
• Een beoordelingsmodel voor een communicatieve productieve schrijf -of spreektoets ontwikkelen.

Waarom een beoordelingsmodel?

Betrouwbaarheid verhogen

Beoordelingsproces wordt meer transparant voor zowel leraar en leerling

Verschillende manieren van beoordelen

Analytisch

Globaal

Comparatief

Onderzoek (Melse, 1990) heeft aangetoond dat een gedetailleerde aanpak minder betrouwbaar is dan globaal beoordelen. Bij globaal beoordelen worden geen fouten geteld, maar wordt op basis van het algemene beeld van teksten van leerlingen een oordeel gegeven.

Analytisch beoordelen

 Ieder aspect van schrijfvaardigheid in een aantal criteria uitgewerkt en één voor één beoordeeld, bijv. opbouw tekst, kernzin, gebruik signaalwoorden, passende titel

Hierbij past een rubric waarin per criterium beschreven wordt wat onvoldoende, voldoende en goed is. Of: lijstje met beoordelingscriteria bij het beoordelingsmodel.

Globaal beoordelen

Je beoordeelt aan de hand van een aantal aspecten, bijv. doel bereikt, originaliteit, opbouw voor tekstsoort.

Belangrijk om uit te lichten dat globale beoordeling geschikter is om te meten waar de leerling staat ten opzichte van het te behalen doel.

Analytisch is juist beter voor het geven van gedetailleerde feedback (formatief).

Comparatief beoordelen

Bekijk de video op de volgende slide:

Wat zijn ankerteksten?

Hoe worden deze ingezet om comparatief te beoordelen?

drive.google.com

Comparatief beoordelen

Vergelijken van schrijfproducten op basis van een gehele prestatie ipv alle afzonderlijke beoordelingsaspecten. 

Bij beoordelen met ankerteksten gebruik je teksten die verschillende kwaliteitsniveaus representeren (schaalbeoordelingen). Hiermee vergelijk je steeds de teksten die je wil beoordelen. 

Hoe stel je een beoordelingsmodel op?

Het ERK maakt onderscheid tussen drie aspecten als richtlijn:

1. vaardigheden
   bijv. spreken of schrijven
2. strategieën 
   bijv. planning of compensatie
3. ondersteunende vaardigheden
   bijv. grammaticale correctheid of coherentie en cohesie

Gesprekken voeren, spreken en schrijven en de ondersteunende vaardigheden hebben betrekking op het product dat de leerling aflevert. Strategieën zeggen iets over het proces; de manier waarop de leerling te werk gaat om tot een bepaald product te komen. Voor het beoordelen hiervan zou men eigenlijk in het hoofd van de leerling moeten kunnen kijken. Zoiets is onder andere mogelijk met een hardop-denk onderzoek. Omdat dit over het algemeen niet tot de praktijk van het talenonderwijs op het vo behoort, beperken we ons hier tot de beoordeling van vaardigheden en ondersteunende vaardigheden.

De volgende competenties kun je meenemen in je beoordelingsmodel. Vaak kies je 4-6 competenties voor een beoordelingsmodel: 

linguïstische competenties

• algemeen linguïstisch bereik (taalbeheersing in het algemeen)

• bereik van de woordenschat

• beheersing van de woordenschat

• grammaticale correctheid

• fonologische beheersing (uitspraak en intonatie)

 • orthografische beheersing

(spelling, leestekens, lay-out en alinea-indeling)

sociolinguïstische competenties

• sociolinguïstische trefzekerheid (beheersing taalregister in verschillende sociale contexten)

pragmatische competenties

• flexibiliteit (aanpassen aan situatie en gesprekspartner)

• beurten nemen (aan het woord komen en blijven) 

• thematische ontwikkeling (hoofd- en bijzaken

scheiden)

• coherentie en cohesie (verbanden en samenhang)

• gesproken vloeiendheid

• propositionele nauwkeurigheid (nauwkeurigheid van

de weergegeven informatie)

Schaalpunten: normatief / descriptief / productschalen

Normatief

Bij een normatieve schaal worden omschrijvingen gebruikt als: uitstekend, matig, voldoende, onvoldoende, juist, correct en acceptabel. 

Het grote voordeel hiervan is de snelle en eenvoudige beoordeling. (Kuhlemeijer, 2011) Normatieve schalen hebben echter ook een nadeel: elke docent heeft zijn eigen interpretatie.

Descriptief

Een descriptieve schaal wordt ook wel een rubriek genoemd. In descriptieve schalen wordt bij de schaal- punten een inhoudelijke beschrijving gemaakt. 

Ook bij deze schaal is het lastig om subjectiviteit te vermijden, omdat het bij taaltoetsing soms lastig is om een eenduidige beschrijving te geven. Voor wat betreft het aspect ‘inhoud’ valt het vaak nog wel mee, maar het vastleg- gen van schaalpunten voor bijvoorbeeld ‘beheersing

van de woordenschat’ of ‘grammaticale correctheid’ is al een stuk lastiger. Als bijvoorbeeld beoordeeld moet worden of een tekst getuigt van een goede beheersing van de woordenschat, dan zullen niet alle docenten dat op precies dezelfde manier doen, omdat niet iedereen hetzelfde beeld heeft bij ‘een goede beheersing van de woordenschat’.

Productschalen

Dit doe je met ankers - een tekst van een leerling die het ‘niveau’ van het schaalpunt illustreert.

Welk voorbeeld zag je in de vorige slide? 

1. Normatief
2. Descriptief
3. Productschale

Leerlingen worden beoordeeld op communicatieve effectiviteit, beheersing van woordenschat en grammaticale correctheid op A2 niveau. Moeten alle criteria even zwaar wegen qua punten?

1. ja
2. nee

Hoeveel punten?

Denk na over: hoeveel punten moeten er per categorie maximaal worden toegekend?

Meer dan zeven schaalpunten werkt niet goed. Het wordt voor de beoordelaars dan te lastig om onderscheid te maken tussen 7 of 8 punten. (Kuhlemeijer, 2011)

En weegt elk criterium even zwaar? 

(zie afbeelding hiernaast)

Voorbeeld

Nadruk op inhoudsaspecten, past bij niveau A2. 

Aanpassing niveau B1: meer gewicht aan vormaspecten 

bijv. de schaal voor communicatieve effectiviteit inkorten of verlengen andere schalen.

Kalibreren

Gebruik de hand-out: ERK beoordelingsmodel

Bekijk de video op de volgende slide.

Beoordeel de spreektoets individueel. 

Bespreek na in groepje:
Kwamen jullie op hetzelfde resultaat? Werkt dit beoordelingsmodel?

Communicatief doel: I can express my opinion about hobbies (A2). 

Bouwstenen in voorbereiding: leerlingen hebben de present simple,  woorden die met hobby's te maken hebben en phrases voor het geven van je mening behandeld. 

Aan de slag

Werk samen met je partner

1. Bedenk of je een normatief / descriptief / productschaal model gaat ontwikkelen

2. Kies beoordelingscriteria 

3. Bepaal de puntenverdeling

Vooruitblik deel 2E

Blik kort terug op jouw kerndoelen. Beschrijf daarbij jouw nieuwe vakdidactische inzichten. Onderbouw dit vanuit de literatuur en voorbeelden. Sluit af met een aantal vakdidactische leerdoelen voor WPL3.

Het is niet mogelijk om deel 2E in te leveren voor feedback.

Nieuwe vakdidactische inzichten?

Doelen

Aan het eind van deze les kun je:

• Een productieve toets beoordelen op validiteit/betrouwbaarheid
• A.d.h.v. vakdidactische aspecten beargumenteren of een productieve toets geschikt is om een leerdoel te meten.
• Een communicatieve productieve toets voor schrijf -of spreekvaardigheid ontwikkelen.
• Een beoordelingsmodel voor een communicatieve productieve schrijf -of spreektoets ontwikkelen.

Deadlines

G1: Maandag 8 januari 2024 [23.59u] via Handin

G2: Vrijdag 9 februari 2024 [23.59] via Handin

Bronnen

Kuhlemeijer, H. (2011) Het construeren van praktijktoetsen. In P. Sanders, Toetsen op School. (125 – 141) Arnhem: Cito.

Melse, L. (1990) Schrijftoetsen voor de moderne vreemde talen. Apeldoorn: Van Walraven.