Warum fallen die Ergebnisse der TSA-Denktestung bei vielen Kandidaten nicht wie erwartet aus?

Dieses Jahr ist das zweite Jahr, in dem die Hanoi University of Science and Technology die TSA-Denkfähigkeitsprüfung neu organisiert hat. Das bedeutet, dass die Prüfungsstruktur im Vergleich zu 2022 und früher angepasst wurde. Neben der Anpassung der Prüfungsstruktur hat die Hanoi University of Science and Technology insbesondere eine neue Bewertungstheorie angewendet: die Frage-Antwort-Theorie (IRT) zur Bewertung der Fragenqualität und zur Berechnung der Prüfungsergebnisse der Kandidaten.

Dies hat dazu geführt, dass die Kandidaten nach Abschluss des Tests nicht selbst eine Bewertung abgeben können, sondern auf die Bewertungsergebnisse aus der Analyse ihrer Testdaten warten müssen. Daher sind viele Kandidaten nach Erhalt der Ergebnismitteilung verwirrt, weil die von ihnen erhaltenen Ergebnisse nicht ihren Erwartungen entsprechen.

Viele Studenten sind sehr an dem TSA-Denktest interessiert, der von der Hanoi University of Science and Technology organisiert wird.

Testergebnisse sind ein quantifiziertes Modell zur Einschätzung der Fähigkeiten eines Kandidaten.

Um diese Bedenken der Kandidaten zu zerstreuen, führte die Zeitung Thanh Nien ein Interview mit Dr. Dang Xuan Cuong, einem unabhängigen Wissenschaftler mit langjähriger Erfahrung in der Forschung und Umsetzung im Bereich der Bildungsbewertung und -messung. Er ist einer der Berater der Hanoi University of Science and Technology bei der Umsetzung des TSA-Denktestes in den letzten zwei Jahren.

Laut Dr. Dang Xuan Cuong basiert die Frage-Antwort-Theorie auf mathematischen Modellen, um die Beziehung zwischen den Fähigkeiten des Kandidaten und den Fragen, die diese Fähigkeiten messen, zu erklären. Bei diesem theoretischen Ansatz werden die Parameter der Fragen (wie Schwierigkeit, Unterscheidungsvermögen, Raten usw.) und die Fähigkeiten des Kandidaten anhand der Testdaten der teilnehmenden Kandidatengruppe quantifiziert. Daher unterscheidet sich die anhand der Frage-Antwort-Theorie geschätzte Fähigkeit des Kandidaten von der traditionellen Bewertungsmethode.

Die Kandidaten werden getestet, bevor sie den TSA-Denkfähigkeitstest absolvieren.

Bei der herkömmlichen Benotung ergibt sich das Testergebnis lediglich aus der mechanischen Addition der Punktzahlen der einzelnen Testfragen gemäß einem bestimmten Bewertungsleitfaden. Experten nennen dies die Rohpunktzahl. Mit der Rohpunktzahl können sich die meisten Kandidaten bei der Bewertung ihres Tests auf die Antworten verlassen. Selbst wenn der Test nur aus objektiven Multiple-Choice-Fragen besteht, können sich die Kandidaten nach der Prüfung selbst bewerten.

Beim Ansatz der Frage-Antwort-Theorie ist das Testergebnis das Ergebnis, das dem Kandidaten nach der Analyse seiner Testdaten mitgeteilt wird. Dieser Schritt erfordert Fachwissen, wird mithilfe spezieller Software durchgeführt und anhand statistischer Indikatoren sorgfältig geprüft. Im Wesentlichen ist das Testergebnis ein quantifiziertes Ergebnis, das den Kandidaten hilft, ihre Fähigkeiten einzuschätzen und ihre Testergebnisse mit denen aller anderen Prüfungskandidaten zu vergleichen.

Dr. Dang Xuan Cuong erklärte: „Im Prinzip wird das System, nachdem die Kandidaten den Test beendet haben, auf der Grundlage der Daten jeder Frage im Test die Fähigkeiten der Kandidaten einschätzen, einschließlich der Informationen darüber, wie viele Kandidaten jede entsprechende Frage beantworten können und um welche Kandidaten es sich handelt, wie viele Fragen jeder Kandidat beantworten kann und um welche Fragen es sich handelt.“

Die Testergebnisdaten des Testteilnehmers helfen dem System, ein Modell zur Einschätzung seiner Fähigkeiten zu erstellen. Aus dieser geschätzten Fähigkeit wird der Denkfähigkeitswert berechnet, indem er in die vom Test verwendete Skala (normalerweise von 0 bis 100) umgerechnet wird.

Selbst wenn Sie 70 Fragen richtig beantworten, können Ihre Testergebnisse anders ausfallen.

Dr. Dang Xuan Cuong erklärte außerdem, dass die aktuelle TSA-Denkfähigkeitsprüfung der Hanoi University of Science and Technology eine Prüfung sei, die die Anwendung eines einparametrigen Frage-Antwort-Modells (nur der Schwierigkeitsgrad der Frage) mit einem zweiparametrigen Frage-Antwort-Modell (Schwierigkeitsgrad und Unterscheidungsvermögen der Frage) kombiniert. Nach dem oben genannten Prinzip hat eine Gruppe von Kandidaten die gleiche Rohpunktzahl, aber die TSA-Testergebnisse der Studenten sind unterschiedlich.

Dr. Dang Xuan Cuong nannte ein Beispiel: „Angenommen, der Test umfasst 100 Fragen. Nach dem traditionellen Ansatz ist jede richtige Antwort 1 Punkt wert. Wenn dann zwei Kandidaten 70 Fragen beantworten können, erhält jeder Kandidat 70 Punkte. Beim Ansatz der Frage-Antwort-Theorie jedoch hat jede Frage im Test einen anderen Schwierigkeitsgrad und die Fähigkeiten des Kandidaten werden danach eingeschätzt, welche spezifischen Fragen der Kandidat richtig beantwortet hat. Und bei den beiden hier genannten Kandidaten ist die geschätzte Fähigkeit von Kandidat A höher als die von Kandidat B, wenn Kandidat A schwierigere Fragen beantworten kann als Kandidat B. Darüber hinaus ist die Differenziertheit der Fragen ein weiterer Faktor, der bei der Einschätzung der Fähigkeiten der Kandidaten berücksichtigt wird. Daraus folgt, dass die angekündigte Punktzahl von Student A höher ist als die von Student B.“

Einfacher ausgedrückt: Beim traditionellen Ansatz, der auf Rohpunktzahlen basiert, werden die Punktzahlen der Fragen mit der gleichen „Gewichtung“ berechnet, d. h. der Schwierigkeitsgrad und die Leichtigkeit der Fragen werden nicht berechnet. Bei der Frage-Antwort-Theorie haben die Punktzahlen der Fragen unterschiedliche „Gewichtungen“. Diese Gewichtung beruht jedoch nicht auf dem subjektiven Willen des Testentwicklers, sondern wird anhand mathematischer Modelle aus den Testdaten des Testteilnehmers berechnet.

Bei der Anwendung der Frage-Antwort-Theorie wird bei der Analyse der Testdaten auch die Vergleichstechnik eingesetzt, um die Ergebnisse der Kandidaten auf eine gemeinsame Skala zu bringen. Der Denktest umfasst jedes Jahr mehrere Runden, und die Kandidaten werden kurz nach der Prüfung über die Ergebnisse informiert (und nicht erst, wenn der jährliche Test stattfindet).

Um im Zulassungsverfahren Fairness zwischen den Prüfungskandidaten verschiedener Runden zu gewährleisten, verwendet der Prüfungsveranstalter die Skala der ersten Runde als Originalskala. In den folgenden Runden werden die Ergebnisse der Prüfungskandidaten bei der Auswertung der Prüfungsergebnisse mithilfe der Ausgleichsmethode wieder auf die Originalskala gebracht. Anschließend werden die offiziellen Ergebnisse der Kandidaten bekannt gegeben. Dies erleichtert den Vergleich der Prüfungsergebnisse der verschiedenen Runden.

Laut Dr. Dang Xuan Cuong hat jede Theorie ihre Vor- und Nachteile. „Bei der Anwendung der Frage-Antwort-Theorie an der Hanoi University of Science and Technology für die Denkfähigkeitsprüfung gehen wir sehr vorsichtig vor und verfolgen jedes Jahr einen spezifischen Plan für den Abschluss der Prüfung“, sagte Herr Cuong.

Dr. Dang Xuan Cuong promovierte in Pädagogik mit einer Arbeit über Bildungsmessung und -evaluation an der Flinders University in Australien. Er verfügt über mehr als 18 Jahre Erfahrung auf diesem Gebiet.

Quelle: https://thanhnien.vn/vi-sao-nhieu-thi-sinh-thay-diem-thi-danh-gia-tu-duy-tsa-khong-nhu-ky-vong-185240525095542657.htm