Lernen sichtbar machen
Unterricht ist dann erfolgreich, wenn Lehrpersonen das Lernen «mit den Augen der Schülerinnen und Schüler» betrachten. Sie sind daran interessiert, Rückmeldungen über die Wirkung ihres didaktischen Handelns einzuholen und den Lernenden Rückmeldungen zu ihrem Fortschritt zu geben. Lehrpersonen wissen, welche Wirkung sie haben – Schülerinnen und Schüler wissen, wie Erfolg aussieht.
Inspiriert durch die Forschung des renommierten Bildungsforschers John Hattie, der in seinem Werk «Visible Learning» die Ergebnisse von über 800 Metaanalysen zu wirksamem Lernen zusammengefasst hat, haben wir Check-Dein-Wissen.ch und Mindsteps.ch entwickelt. Hattie hebt hervor, wie entscheidend es für den Lernerfolg ist, dass Lehrkräfte.
- die Wirkung ihres didaktischen Handelns regelmässig überprüfen,
- den Schülerinnen und Schülern klares und zielgerichtetes Feedback geben,
- ihren Unterricht an die Bedürfnisse der Lernenden anpassen.
Diese Prinzipien des sichtbaren Lernens bilden das Fundament unserer Softwareprodukte. Unsere Instrumente ermöglichen nicht nur unabhängige Standortbestimmungen, sondern auch kontinuierliche Rückmeldungen zum Lernfortschritt – Schülerinnen und Schüler sollen wissen, wie Erfolg aussieht. Ausserdem erleichtern sie Lehrpersonen die Überprüfung der Lehrplanziele und machen die Lernentwicklung über die gesamte Schulzeit hinweg sichtbar.
Literatur
Hattie, John A. C. (2009). Visible Learning: A synthesis of over 800 meta-analyses relating on achievement. London & New York: Routledge.
Tomasik, M. J., Berger, S., & Moser, U. (2018). On the development of a computer-based tool for formative student assessment: Epistemological, methodological, and practical issues. Frontiers in Psychology, 9, 2245. doi: 10.3389/fpsyg.2018.02245
Aufgabenpool
Unser Aufgabenpool bildet die Grundlage, um Lernprozesse durch gezieltes Feedback messbar und sichtbar zu machen. Die Aufgaben sind in einer sogenannten Item-Bank systematisch nach inhaltlichen Metadaten und Schwierigkeitsgraden organisiert. Sie können entsprechend den individuellen Bedürfnissen und Fähigkeiten der Schülerinnen und Schüler abgerufen werden, was ein klares und zielgerichtetes Feedback ermöglicht.
Aufgabenentwicklung
Herzstück unserer Bemühungen, Lernen durch Feedback sichtbar zu machen, sind sorgfältig konzipierte Aufgaben, die Lernende selbständig lösen können. In Zusammenarbeit mit der Pädagogischen Hochschule der Fachhochschule Nordwestschweiz haben wir für Check-Dein-Wissen und Mindsteps einen Pool mit über 60’000 Aufgaben aus den Fachbereichen Deutsch, Englisch, Französisch, Mathematik sowie Natur und Technik entwickelt. Alle Aufgaben sind als Elemente in einer digitalen Sammlung abgelegt, einer sogenannten Item-Bank
Item-Bank
Während früher für Aufgaben auf Papier eingesetzt wurden, können heutzutage Aufgaben in einer digitalen Item-Bank abgelegt werden, die so umfangreich ist, dass sich das Wissen und Können in unterschiedlichen Domänen und auf verschiedenen Klassenstufen in Form von Aufgaben über eine sehr grosse Zeitspanne, beispielsweise über die gesamte obligatorische Schulzeit hinweg, abbilden lassen. Die Aufgaben werden mit didaktisch relevanten Metadaten zum Inhalt, zu den kognitiven Anforderungen und zur Schwierigkeit verknüpft. Diese Metadaten dienen dazu, den Schülerinnen und Schülern Aufgaben zuzuweisen, die ihren Fähigkeiten entsprechen, und Rückmeldungen zum Lernstand und zum Lernfortschritt zu generieren, die sich mit Bezug zum kumulativen Aufbau von Wissen und Können interpretieren lassen.
Aufgabenkalibrierung
Unsere Item-Bank deckt in den genannten Fachbereichen die meisten vom Lehrplan 21 geforderten Kompetenzen und Lernziele ab – von der dritten Klasse der Primarstufe bis zur dritten Klasse der Sekundarstufe I. Die Aufgaben variieren in ihrem Schwierigkeitsgrad und können so das gesamte Leistungsspektrum der Schülerinnen und Schüler abbilden. Ein besonderes Merkmal unserer Item-Bank ist die Kalibrierung der Aufgaben: Jede einzelne ist einer spezifischen Kompetenz gemäss Lehrplan 21 zugeordnet und mit einem Schwierigkeitsparameter versehen. Diese Metadaten ermöglichen es, jede Aufgabe präzise auf einer vertikalen Skala zu verorten, die von 0 bis 1200 Punkte reicht und alle Aufgaben respektive Lerninhalte von der dritten Primarklasse bis und mit Sekundarstufe I abbildet.
Literatur
Berger, S. (2019). Implementation and validation of an item response theory scale for formative assessment. Enschede: University of Twente. doi: 10.3990/1.9789036547932
Berger, S., Verschoor, A. J., Eggen, Theo J. H. M., & Moser, U. (2019a). Development and validation of a vertical scale for formative assessment in mathematics. Frontiers in Education, 4, 103. doi: 10.3389/feduc.2019.00103
Vertikale Skala
Unsere innovative Bewertungsmethode verwendet eine einheitliche, vertikale Skala, um Ergebnisrückmeldungen und Lernfortschritte von der Primarschule bis zur Berufsbildung darzustellen. Durch die systematische, empirische Zuordnung aller Aufgaben und Rückmeldungen auf diese Skala schaffen wir nicht nur einen konstanten Massstab für die Beurteilung, sondern ermöglichen auch eine präzise Interpretation der Ergebnisrückmeldungen und Lernfortschritte entsprechend den festgelegten Lernzielen und Kompetenzen des Lehrplans 21.
Lernfortschritt auf der vertikalen Skala verfolgen
Auf der gleichen Skala weisen Check-Dein-Wissen und Mindsteps die Ergebnisrückmeldungen der Lernenden aus. Die Übertragung sowohl von Aufgaben als auch von Lernergebnissen auf eine einheitliche Skala ermöglicht eine direkte Interpretation der Ergebnisse im Kontext von Aufgaben und Lernzielen. Das heisst: Jeder Punktwert zwischen 0 und 1200 wird durch Aufgabenbeispiele repräsentiert, die für eine spezifische Kompetenz im Lehrplan 21 stehen. So wird sicht- und vor allem auch messbar, was Schülerinnen und Schüler an Wissen und Können erworben haben und welche Lernziele als Nächstes anstehen.
Konstanter Beurteilungsmassstab
Unsere Aufgaben erfüllen eine besonders wertvolle Feedbackfunktion, da sie detailliert Einblick in das Fachwissen der Lernenden geben, sowohl in Bezug auf die Lehrplanziele als auch den individuellen Lernfortschritt. Die konsistente Skalierung von Aufgaben und Ergebnissen ermöglicht ausserdem den Vergleich von Lernresultaten über verschiedene Tests und Aufgabenserien hinweg – unabhängig davon, welche Aufgaben gelöst wurden. So lassen sich Fortschritte und Veränderungen im Lernstand dokumentieren und analysieren, und zwar über die gesamte Schulzeit der Lernenden hinweg.
Literatur
Berger, S. (2019). Implementation and validation of an item response theory scale for formative assessment. Enschede: University of Twente. doi: 10.3990/1.9789036547932
Berger, S., Verschoor, A. J., Eggen, Theo J. H. M., & Moser, U. (2019a). Development and validation of a vertical scale for formative assessment in mathematics. Frontiers in Education, 4, 103. doi: 10.3389/feduc.2019.00103
Adaptives Testen und Lernen
Unsere Item-Bank bildet das Fundament sowohl für unabhängige Standortbestimmungen durch adaptive Tests mit Check-Dein-Wissen als auch für die Begleitung von Schülerinnen und Schülern auf ihrem Lernweg im Unterricht mit Mindsteps. Adaptives Testen und Lernen passt sich den individuellen Lernvoraussetzungen und Fähigkeiten der Lernenden an, was Freude am Lernen fördert und wertvolles formatives Feedback ermöglicht.
Algorithmen für die Aufgabenauswahl
Damit die Aufgaben weder zu schwierig noch zu einfach sind, steuert ein Algorithmus die Auswahl der Aufgaben – und zwar basierend auf dem Lösungsverhalten der Schülerinnen und Schüler. Der Algorithmus berechnet auf dieser Grundlage fortwährend den Wissensstand der Lernenden und wählt die nächste Aufgabe jeweils so aus, dass sie optimal auf die Fähigkeiten der Schülerin oder des Schülers abgestimmt ist. Dies wirkt sich positiv auf deren Motivation aus und verhindert Langeweile, Frust und Überforderung.
Adaptive Multistage-Tests
Bei Check-Dein-Wissen setzten wir modernste adaptive Tests ein, die eine faire und unabhängige Standortbestimmung ermöglichen. Im Gegensatz zu herkömmlichen adaptiven Tests, in denen der Algorithmus auf jede gelöste Aufgabe eine weitere vorschlägt, arbeitet der Algorithmus in unseren adaptiven Multistage-Tests so, dass er gleich ganze Aufgabengruppen mit passendem Schwierigkeitsgrad wählt. Dieses Verfahren stellt sicher, dass alle Schülerinnen und Schüler dieselbe Anzahl Aufgaben in der gleichen Zeit bearbeiten und bietet darüber hinaus die Möglichkeit, Aufgaben innerhalb einer Aufgabengruppe zu überspringen oder zu überarbeiten. Zudem werden inhaltlich zusammenhängende Aufgaben, wie beispielsweise mehrere Fragen zu einem längeren Lesetext, gemeinsam präsentiert. Die Aufgabengruppen sind so zusammengestellt, dass sie bezüglich des Lehrplans und des Aufgabenformats übereinstimmen. Multistage-Tests gewährleisten durch gleiche Durchführungsbedingungen und identische Testinhalte eine hohe Fairness. Dies garantiert wichtige psychometrische Gütekriterien wie Validität, Reliabilität und Objektivität.
Adaptives Lernen
Mindsteps setzt ebenfalls adaptive Algorithmen für das Lernen ein. Darüber hinaus haben Lehrpersonen sowie Schülerinnen und Schüler die Möglichkeit, Aufgaben nach individuellen Bedürfnissen auszuwählen, also Schwierigkeitsgrad und Inhalte zu variieren. Lehrpersonen können die Aufgabenserien auf drei verschiedene Arten einsetzen: als personalisiertes Feedback zum Lernfortschritt der Schülerinnen und Schüler, als Lernkontrolle zu einem Unterrichtsthema sowie zur Erstellung von Kompetenzprofilen, anhand derer Lehrpersonen sicherstellen können, dass die Lehrplanziele erreicht wurden. Derweil können Schülerinnen und Schüler durch massgeschneiderte Aufgabenserien ihren Fortschritt überprüfen und feststellen, welche Inhalte sie sicher beherrschen oder noch vertiefen müssen und was als Nächstes ansteht.
Literatur
Berger, S., Verschoor, A. J., Eggen, Theo J. H. M., & Moser, U. (2019b). Efficiency of targeted multistage calibration designs under practical constraints: A simulation study. Journal of Educational Measurement, 56 (1), 121–146. doi: 10.1111/jedm.12203
Berger, S., Verschoor, A. J., Eggen, Theo J. H. M., & Moser, U. (2019c). Improvement of measurement efficiency in multistage tests by targeted assignment. Frontiers in Education, 4, 1. doi: 10.3389/feduc.2019.00001
Methodische Grundlage
Unsere Methodik nutzt die Item-Response-Theory (IRT), eine mathematische Theorie, die die Beziehung zwischen dem Antwortverhalten einer Person, der Schwierigkeit einer Aufgabe und der Fähigkeit der Person beschreibt. Das Rasch-Modell, das einfachste Modell innerhalb der IRT, modelliert die Wahrscheinlichkeit einer korrekten Antwort als Funktion der Personenfähigkeit und der Aufgabenschwierigkeit. Die IRT wird eingesetzt, um sowohl die Schwierigkeiten der Aufgaben als auch die Fähigkeiten der Schülerinnen und Schüler zu bestimmen. Zudem sind die Modelle der IRT essenziell für das adaptive Testen und die Visualisierung des Lernfortschritts auf einer vertikalen Skala.
Kalibrierung von Aufgaben und Schätzung von Fähigkeiten
Die Item-Response-Theory erfüllt aus unserer Sicht zwei entscheidende Funktionen: Erstens ermöglicht sie die Verortung aller Aufgaben auf der vertikalen Skala – jede Aufgabe in unserer Item-Bank wird kalibriert und erhält einen stichprobenunabhängigen Schwierigkeitsparameter. Neue Aufgaben können problemlos integriert und ihr Schwierigkeitsgrad im Vergleich zur Erfolgsquote bereits kalibrierter Aufgaben ermittelt werden. Zweitens dienen die Modelle der IRT und die kalibrierten Aufgaben dem Algorithmus beim Durchlauf eines adaptiven Tests als Grundlage zur Schätzung der Fähigkeiten der Lernenden.
Die Bedeutung der IRT für sichtbares Lernen und adaptives Feedback
Die IRT bietet verfügt über Eigenschaften, die für die Umsetzung des Prinzips sichtbaren Lernens und das zugehörige Feedback entscheidend sind. Ein zentrales Merkmal ist die spezifische Objektivität. Sie gewährleistet eine Einschätzung der Fähigkeit der Schülerin oder des Schülers über die gelösten Aufgaben hinaus. Konkret bedeutet dies: Selbst wenn ein Test nur eine begrenzte Anzahl von Aufgaben beinhaltet, widerspiegelt die daraus resultierende Fähigkeitseinschätzung nicht nur die Fähigkeit der Lernenden zur Lösung dieser spezifischen Aufgaben, sondern auch ihre Fähigkeit, ähnliche Aufgaben zu bewältigen. Diese Eigenschaft ist insbesondere für das adaptive Testen unerlässlich, da ein Algorithmus die Aufgabenauswahl fortlaufend an die individuellen Fähigkeiten der Person anpasst. Adaptive Testalgorithmen schätzen wie gesagt kontinuierlich die Fähigkeit der Person ein und wählen darauf abgestimmt Aufgaben aus, die deren aktuellen Fähigkeiten entsprechen und somit für ein zuverlässiges Ergebnis besonders geeignet sind. Die spezifische Objektivität der IRT garantiert zuletzt auch, dass das Feedback nicht davon abhängt, welche spezifischen Aufgaben eine Person bearbeitet hat. So wird ein direkter Vergleich verschiedener Feedbacks möglich, auch wenn unterschiedliche Aufgaben bearbeitet wurden.
Sicherung eines konstanten Beurteilungsmassstabs
Durch den konsequenten Einsatz der Item-Response-Theory (IRT) bei der Kalibrierung der Aufgaben und der Schätzung der Schülerfähigkeiten gewährleisten wir einen konstanten Beurteilungsmassstab. Über die Zeit verbessern sich die Fähigkeiten der Lernenden, und der adaptive Algorithmus passt die Aufgaben entsprechend an, indem anspruchsvollere Aufgaben gestellt werden. Trotz dieser Anpassungen bleibt das Feedback konsistent, da es auf einer konstanten Skala basiert und nicht von einzelnen Tests oder Aufgabenserien abhängig ist. Diese Standardisierung der Metrik ist essentiell, um Lernfortschritte verlässlich nachzuweisen und zu dokumentieren. Durch diese Methode ist es möglich, Feedback aus verschiedenen Phasen der Schulzeit direkt miteinander zu vergleichen, was eine kontinuierliche und vergleichbare Messung des Lernfortschritts ermöglicht und ein entscheidender Vorteil unserer pädagogischen Instrumente Check-Dein-Wissen.ch und Mindsteps.ch ist.
Standardisierte Punktzahl von 0 bis 1200
Die IRT bildet auch die Grundlage für die Berechnung der Ergebnisse beziehungsweise des Feedbacks. Je nach Anwendungsbereich – ob Multistage-Tests oder adaptives Lernen mit Aufgabenserien – kommen zwar unterschiedliche Modelle der IRT zur Anwendung. Das Grundprinzip lässt sich aber am einfachen Rasch-Modell erklären: Die Wahrscheinlichkeit einer richtigen Lösung auf eine Aufgabe wird wie gesagt als Funktion der Fähigkeit der Person und der Schwierigkeit der Aufgabe beschrieben. Die Skala ist so konstruiert, dass bei einer Entsprechung von Schwierigkeit und Fähigkeit die Erfolgswahrscheinlichkeit 50 Prozent beträgt. Da die Schwierigkeiten der Aufgaben unserer Item-Bank bekannt sind, lässt sich nach dem Lösen der Aufgabe (richtig oder falsch) die Fähigkeit einfach bestimmen. Theoretisch reicht die Skala von -¥ bis +¥. Eine solche logistische Skala wäre allerdings nicht lesefreundlich, weshalb wir sie in eine Skala von 0 bis 1200 Punkte transformiert haben.
Aufgabenbezogene Rückmeldungen und ihre Bedeutung für den Lernprozess
Die Beziehung zwischen Lösungswahrscheinlichkeit, Fähigkeit der Person und Schwierigkeit der Aufgabe ist für die Rückmeldung an die Lernenden von entscheidender Bedeutung. So lässt sich das Feedback auf die Ergebnisse nämlich mit Bezug zu den Kompetenzstufen gemäss Lehrplan 21 interpretieren, die den Aufbau von Wissen und Können zusammenfassen und abbilden. Die einzelnen Aufgaben stellen also das Bindeglied zwischen Fähigkeit der Lernenden und dem kumulativen Aufbau von Fähigkeiten im Lehrplan dar – was die zugrundeliegende Theorie mit dem Namen Item-Response nicht zuletzt auch andeutet.5.7 Gewährleistung fairer und valider ErgebnisrückmeldungenDank der IRT können sowohl die Schwierigkeitsparameter der Aufgaben als auch die Fähigkeiten der Schülerinnen und Schüler präzise auf der vertikalen Skala abgebildet und interpretiert werden. Diese Skalierung stellt sicher, dass die Testergebnisse objektiv und fair sowie vergleichbar sind, unabhängig vom adaptiven Test oder von der gewählten Aufgabenserie. Dadurch können Lernfortschritte über alle Bildungsstufen hinweg zuverlässig verfolgt und dargestellt werden.
Literatur
Berger, S. & Moser, U. (2020). Adaptives Lernen und Testen. Journal für LehrerInnenbildung, 20(1), 42-53.
Helbling, L. A. & Tomasik, M. J., & Moser, U. (2019). Long-term trajectories of academic performance in the context of social disparities: Longitudinal findings from Switzerland. Journal of Educational Psychology. 10.1037/edu0000341
Verschoor, A. V., Berger, S., Moser, U., & Kleintjes, F. (2019). On-the-fly calibration in computerized adaptive testing. In B. Veldkamp & C. Sluijter (Eds.), Theoretical and practical advances in computer-based educational measurement (pp. 307-323). Cham, CH: Springer Open. doi: 10.1007/978-3-030-18480-3_16
Nutzungsmöglichkeiten
Unsere Plattformen Check-Dein-Wissen und Mindsteps machen das Lernen durch innovative Methoden sichtbar. Sie nutzen systematisch kategorisierte Aufgaben aus einer umfangreichen Item-Bank und setzen fortschrittliche Algorithmen für adaptives Testen und Lernen ein. Dank der Anwendung der Item-Response-Theorie generieren sie detaillierte Rückmeldungen entlang einer vertikalen Skala, die von der Primarschule bis zur Berufsbildung reicht. Trotz nahezu gleicher Methodik unterscheiden sich die beiden Plattformen grundlegend in ihren Nutzungsmöglichkeiten: Während Check-Dein-Wissen standardisierte, unabhängige Standortbestimmungen bietet, fördert Mindsteps kontinuierliches, personalisiertes Lernen im Unterricht.
Unabhängige Standortbestimmungen
Unsere Onlinetests auf Check-Dein-Wissen.ch sind standardisiert, um faire und zuverlässige Standortbestimmungen zu gewährleisten. Die Testergebnisse werden als Punktzahl zwischen 0 und 1200 ausgewiesen und können auf unterschiedliche Art und Weise interpretiert werden:
- Im Vergleich mit Kompetenzstufen: Weist die Fähigkeiten von Schülerinnen und Schülern im Kontext der erreichten Kompetenzstufen gemäss Lehrplan 21 aus.
- Im sozialen Vergleich: Die Ergebnisse der Lernenden werden mit Ergebnissen aller Schülerinnen und Schülern der gleichen Klassenstufe verglichen.
- Über die Zeit: Fortschritte werden individuell über die Schuljahre hinweg verfolgt.
- Anforderungsprofile für berufliche Grundbildung: Ermöglicht einen Abgleich des Fähigkeitsprofils von Lernenden mit den schulischen Anforderungen verschiedener Berufslehren.
Alle Ergebnisse sind sowohl für die einzelnen Schülerinnen und Schüler als auch auf Klassen- und Schulebene verfügbar.
Lernen im Unterricht sichtbar machen
Mindsteps.ch bietet Aufgabenserien an, die im Unterricht oder für das Lernen zu Hause genutzt werden. Die Ergebnisse werden je nach Anwendung wie folgt zurückgemeldet:
- Lernfortschritt: Die Ergebnisse werden als Punktzahl zwischen 0 und 1200 Punkten angezeigt, was Lernfortschritte sichtbar macht.
- Kompetenzprofil: Die Ergebnisse werden als Kompetenzprofil ausgewiesen, das anzeigt, welche Kompetenzstufen gemäss Lehrplan 21 erreicht wurden.
- Lernkontrolle: Misst den Lernerfolg durch den Prozentsatz korrekt gelöster Aufgaben.
- Steps: Hier erfahren Schülerinnen und Schüler durch eine kategorisierte Rückmeldung von «eher unsicher» bis «sicher», wie sattelfest sie im jeweiligen Themenbereich sind.
Ergebnisse für Lernfortschritt, Kompetenzprofil und Lernkontrolle sind sowohl für Schülerinnen und Schüler als auch auf Klassenebene verfügbar, während die Ergebnisse von Steps ausschliesslich individuell zugänglich sind.
Literatur
Bez, Sarah; Tomasik, Martin J; Merk, Samuel (2023). Data-based decision making in einer digitalen Welt: Data Literacy von Lehrpersonen als notwendige Voraussetzung. In: Scheiter, Katharina; Gogolin, Ingrid. Bildung für eine digitale Zukunft. Wiesbaden: Springer (Bücher), 339-362
