[werner.stangl]s arbeitsblätter tests

Der HALB-Test - Erste Ergebnisse zur Online-Version (v 1.4)

Es muss bei den hier mitgeteilten ersten Ergebnissen der Online-Version des Verfahrens immer berücksichtigt werden, dass es sich um einen zufälligen Querschnitt aus interessierten WebuserInnen handelt, wobei vermutlich am ehesten solche den Test absolvierten, die ohnehin am Lernen und den damit einhergehenden Themen interessiert waren. Die bei manchen Online-Untersuchungen eher zufällig vorbeisurfende und auch wenig interessierte Masse der UserInnen dürfte aufgrund des Test-Kontextes (Benjamins & Werners Praktische Lerntipps und [werner.stangl]s arbeitsblätter) eher weniger störend ins Gewicht fallen, was durch die auch bei anderen Testverfahren in diesem Rahmen (SIT und LoC) geringe Anzahl von halb- oder nicht ausgefüllten Leerformularen gestützt wird. Wie aus den Logfiles des Servers ersichtlich, absolvierten etwa die Hälfte bis zwei Drittel der UserInnen den Test, wenn sie das Testformular einmal aufgerufen hatten. Die hier analysierten Daten wurden im Zeitraum vom 7. bis 30. November 2003 erhoben, woraus sich ein Schnitt von etwa 25 verwertbaren Fragebögen pro Tag ergibt - resultierend aus insgesamt durchschnittlich 6000 visits/day der gesamten Site.

Die Daten einer 555 Personen umfassenden Stichprobe wurde für die folgende Darstellung der Ergebnisse dadurch reduziert, als nur jene 423 Personen in die Analyse aufgenommen wurden, die gemäß der Instruktion in jeder Situation zwei Alternativen angekreuzt hatten. Die Altersverteilung ist auf Grund einer größeren StudentInnenteilstichprobe unausgewogen, wobei der Schnitt bei 33 Jahren (Streuung 13,5) liegt. Auch wurde das Alter im Bereich bis 25 Jahre in 5-Jahresschritten erhoben, da sich der Test in erster Linie an diese Zielgruppe richtet. Mit 57 Prozent überwiegt der Frauenanteil, was teilweise auf eine überwiegend weibliche StudentInnenteilstichprobe mit 60 ProbandInnen zurückgeführt werden kann. Alle Testscores sind - wenn nicht anders angegeben - auf Prozent standardisiert.

Die durchschnittliche Testzeit (Aufruf der Seite bis zum Klick auf den Ergebnisbutton) betrug (nach Elimination von ProbandInnen, bei denen aufgrund ihrer Computereinstellung keine diesbezüglichen Daten übermittelt wurden) 312 Sekunden (Streuung 144), der Median der Verteilung liegt bei knapp unter 5 Minuten (288 Sekunden).

Die insgesamt 40 Items des HALB-Tests werden in Form von "zutreffend" und "nicht zutreffend" dichotom bewertet. In den folgenden tabellarischen Übersichten sind die arithmetischen Mittelwerte und Streuungen der Items nach Orientierungen geordnet dargestellt:

Handelnde Orientierung 

Item

Mittelwert

Streuung

H1

ein freundlicher Mensch, der dich begleitet

0,31

0,40

H2

das Wort blind und rasch auf ein Blatt Papier schreiben, ohne zu denken

0,50

0,46

H3

ihr mitteilen, was man auf dieser Projektwoche so alles unternehmen kann

0,62

0,44

H4

etwas mir gut Bekanntes, das sicher gelingt, ohne Kochbuch zubereiten

0,62

0,44

H5

vorher hinfahren und mich vor Ort umschauen

0,50

0,48

H6

selber mit den Knöpfen an der Anlage spielen zu können

0,39

0,42

H7

ich koche für ihn Kaffee und lasse ihn dabei die Maschine ausprobieren

0,83

0,49

H8

ihn von seiner Wohnung abholen

0,39

0,36

H9

Das Lexikon zu probieren und einige Zeit benutzen zu können

0,48

0,48

H10

Projektwochen oder Besichtigungen durchführen, da man hier den Stoff miterlebt

0,45

0,46

Akustische Orientierung 

Item

Mittelwert

Streuung

A1

die genaue Erklärung des Weges durch einen Polizisten
Revision: die genaue Erklärung des Weges durch einen Ortskundigen.

0,18

0,36

A2

mir den Klang des Wortes vorstellen und es ein paar Mal aussprechen

0,31

0,41

A3

sie sofort anrufen und ihr alles am Telefon erzählen

0,83

0,48

A4

ich würde alle Freunde anrufen und sie nach ihren Lieblingsnachspeisen fragen

0,32

0,33

A5

jemanden aus dem Tierpark anrufen und mich beraten lassen

0,60

0,47

A6

Was mir der Verkäufer darüber erzählt hat

0,50

0,45

A7

ich erkläre ihm mit Worten den Ablauf ganz genau

0,75

0,50

A8

ihm am Telefon eine genaue Beschreibung des Weges geben

0,62

0,48

A9

die mündliche Empfehlung durch den Buchhändler

0,36

0,38

A10

mit der Klasse diskutiert, weil man dann Unklarheiten besser klären kann.

0,56

0,47

Lesende Orientierung 

Item

Mittelwert

Streuung

L1

die genaue Beschreibung des Weges im letzten Brief des Freundes

0,72

0,49

L2

die Augen schließen und mir das geschriebene Wort im Schriftbild vorstellen

0,87

0,48

L3

ihr eine E-mail mit der genauen Beschreibung schicken

0,42

0,43

L4

mir alle Rezepte in meinem Kochbuch genau durchlesen

0,27

0,42

L5

ein Buch über die Tiere lesen, die es in diesem Park gibt
Revision: ein spannendes Buch über die Tiere lesen, die es in diesem Park gibt,

0,14

0,33

L6

die Informationen in der Beschreibung des Gerätes

0,64

0,50

L7

ich überreiche ihm die schriftliche Betriebsanleitung
Revision: ich gehe mit ihm anhand der guten schriftlichen Betriebsanleitung den Ablauf genau durch,

0,06

0,27

L8

ihm eine SMS mit einer genauen Beschreibung schicken

0,38

0,44

L9

das genaue Durchlesen von einzelnen Stichwörtern

0,48

0,47

L10

Arbeitspapiere und das Lehrbuch einsetzen, weil man alles nachlesen kann

0,50

0,45

Bildliche Orientierung 

Item

Mittelwert

Streuung

B1

Ein Stadtplan, den du dir am Kiosk kaufst

0,79

0,50

B2

das Wort blind und rasch auf ein Blatt Papier schreiben, ohne zu denken

0,31

0,42

B3

ihr die Reise auf einer Weltkarte zeigen
Revision: ihr die Reisestrecke auf einer Weltkarte zeigen + Ergänzung in der Aufgabenstellung: … Projektwoche - eine Reise -

0,12

0,25

B4

ein bebildertes Kochbuch durchblättern und mich von den Bildern anregen lassen

0,79

0,50

B5

mir einen bebilderten Prospekt mit einem Plan besorgen

0,76

0,50

B6

dass die Anlage zu meiner Zimmereinrichtung passt und gut aussieht

0,47

0,42

B7

Ich zeichne die Maschine auf ein Blatt und zeige ihm die wichtigsten Teile

0,37

0,40

B8

ihm die Kopie eines Stadtplans mit eingezeichnetem Weg schicken

0,61

0,50

B9

dass es eine übersichtliche und mit Bildern unterstützte Darstellung hat

0,69

0,50

B10

Dias, Filme und Overheadfolien verwenden, weil Bilder alles anschaulicher machen

0,49

0,45

In drei Skalen gibt es vier sehr schwierige Items (A1, L5, L7, B3) mit einem Mittelwert von unter 0,20 und einer entsprechend geringen Streuung, sodass diese bei einer Revision auf die Version 2.0 reformuliert werden mussten. Zwar dürfte diese geringe Wahl eher auf die Dominanz im Sinne von Plausibilität der anderen Alternativen in dieser Situation zurückzuführen sein, dennoch wurden diese Items geringfügig "attraktiver" gemacht. Da zwei Items die Skala "Lesen" betreffen, wird es hier vermutlich zu einer geringen Erhöhung der Durchschnittspräferenz kommen, sodass auch die Normwerte angepasst werden müssen. Nach dem Vorliegen einer etwa gleich großen Stichprobe muss daher die Revision überprüft werden.

Die internen Konsistenzen in den Skalen sind auf Grund der oben genannten Vorgaben (dichtomes Format und forced choice) naturgemäß sehr gering - in der folgenden Tabelle werden daher auch jene Konsistenzkoeffizienten mitgeteilt, die bei nicht instruktionsgemäßer Durchführung (Auswählen von weniger als 20 Alternativen, mindestens aber 10 Items) von einer Teilstichprobe erreicht werden:

Skala

Instruktionsgemäße
Durchführung
Cronbach Alpha (N=423)

Nicht instruktionsgemäße
Durchführung
Cronbach Alpha (N=90)

Handelnde Orientierung

0,23

0,55

Akustische Orientierung 

0,39

0,45

Lesende Orientierung 

0,32

0,44

Bildliche Orientierung 

0,20

0,59

Diese im Vergleich zu anderen Skalen geringen Werte sind typisch für situationale Verfahren, d.h., dass der Einfluss der Situtation auf die Auswahl einer Handlungsalternative so gross ist, dass gleiche Verhaltensweisen kaum oder gar nicht miteinander korrelieren. Dieser aus messmethodischer Sicht eher problematische Umstand ist zugleich auch ein Vorteil solcher Verfahren, da er nicht allgemeine Verhaltensweisen auf einer abstrakten Verhaltensebene erfasst, sondern die Präferenzen gemittelt über die Variation von Situationen. Somit dürfte auch ein höheres Maß an ökologischer Validität gegeben sein als bei Skalen, in denen die meist faktorenanalytisch zusammengefassten Items bloss minimale Variationen desselben darstellen.

Die Zusammenhänge der Skalen untereinander bzw. mit den demografischen Merkmalen der Stichprobe sind erwartungegemäß (die Daten beruhen auf Rohwerten von N=476 bis 532; fettgedruckte Pearson-Korrelationen sind auf dem 5%-Niveau signifikant):

Skalen

Handelnde
Orientierung

Akustische
Orientierung 

Lesende
Orientierung 

Bildliche
Orientierung

Handelnde Orientierung

-

-0,01

-0,18

-0,04

Akustische Orientierung 

-

-0,14

-0,14

Lesende Orientierung 

-

0,06

Bildliche Orientierung 

-

Demografische Merkmale

Alter

Geschlecht

Testdauer

Handelnde Orientierung

0,08

-0.01

0,07

Akustische Orientierung 

-0,18

0,16

0,08

Lesende Orientierung 

0,02

-0,04

-0,03

Bildliche Orientierung 

0,05

-0,02

0,09


Ergebnisse auf Skalenniveau

Eine erste Stichprobe von 411 Personen erbrachte folgende durchschnittliche Verteilung der vier Orientierungen, wobei sich diese Prozentwerte auch bei größeren Stichproben von mehr als 550 nicht wesentlich verändern:

Die Verteilung nach dem Geschlecht erbrachte die erwartete bzw. auch von anderen AutorInnen berichteten Unterschiede im akustischen Bereich, die als einzige statistisch signifikant waren.

 

Die Verteilung nach Altersgruppen brachte folgende Ergebnisse:

 

Aufgrund der geringen Besetzungszahlen und der Konfundierung mit der Geschlechtsverteilung der Teilgruppen ist aufgrund der bisher vorliegenden Daten vermutlich nur der Schluss zulässig, dass sich im Bereich der lesenden und bildlichen Orientierung die Altersgruppen wenig unterscheiden, während sowohl in der akustischen als auch aktionalen Komponente mehr oder minder deutliche Unterschiede bestehen. Daraus ergibt sich ein interessantes Detail, dass die Präferenz für akustische Information mit dem Alter abnimmt:

 

Eine Typologie

Um aufgrund der Ergebnisse zu einer methodisch anspruchsvolleren und empirisch gestützten Typologie von Orientierungen zu kommen, wurde auf der Basis der HALB-Skalenwerte eine Clusteranalyse (nach Ward mit euklidischen Distanzwerten; N=555) durchgeführt, bei der sich folgende signifikant unterscheidbare Kombinationen von Orientierungen fanden:

 

Der erste Cluster (B-) umfaßt 109 ProbandInnen mit einer dominierenden bildlichen Handlungstendenz (dieser Prozentwert ist der höchste von allen extrahierten Clustern), während Lesendes, Handelndes und Akustisches von untergeordneter Bedeutung sind. Dieser Typus kann als Prototyp des Fernsehzeitalters betrachtet oder ironisierend auch als typischer Bild- oder Illustrierten-Blätterer charaktersiert werden. Mit 317 Sekunden hat diese Gruppe von allen Gruppen auch am zweitlängsten für die Durcharbeitung des HALB-Tests benötigt.

Der zweite Cluster (L-) umfaßt 91 ProbandInnen und weist im Lesen den höchsten Wert auf, während alle übrigen Medien eine untergeordnete Rolle spielen. Allenfalls wird noch bildliches Beiwerk akzeptiert. Dieser Typus ließe sich wohl als der typische Bücherwurm charakterisieren. Die gute Lesefähigkeit wird dadurch unterstrichen, dass dieser Cluster am wenigsten Zeit für die Durchführung des Tests benötigt hat (283 Sekunden gegenüber dem Schnitt von 312 Sekunden).

Der dritte Cluster (AB) umfaßt 88 ProbandInnen und weist neben dem Spitzenwert im Bereich Akustisch auch eine geringere Dominanz im Bildlichen auf. Dieser Typus ließe sich als Zuhörer und Diskutierer charakterisieren, wobei er aufgrund der im Test verwendeten Items wohl gut in die Zielgruppe der MMS-Handy-Generation passt. Diese Vermutung wird durch die Tatsache unterstrichen, dass mit 29 Jahren diese Gruppe das geringste Durchschnittsalter aller Cluster aufweist und mit 347 Sekunden hat diese Gruppe von allen Gruppen auch am längsten für die Durcharbeitung benötigt. In diesem Cluster findet sich mit 67% auch der vergleichsweise höchste Frauenanteil.

Der vierte Cluster (AH) umfaßt 146 ProbandInnen und ist damit die größte Gruppe. Sie weist neben dem Spitzenwert im Bereich Akustisch auch eine Dominanz im Handeln auf. Dieser Typus ließe sich am ehesten als Verabreder charakterisieren, der wohl ein typischer Nutzer der ersten Handy-Generation sein dürfte. Wie im dritten Cluster überwiegt mit 65% der Frauenanteil.

Der fünfte Cluster (HB) umfaßt 121 ProbandInnen und weist neben dem Spitzenwert im Bereich Handelnd auch eine geringere Dominanz im Bildlichen auf. Dieser Typus ließe sich als Dabei-sein-ist-alles-Typ oder antiquiert als Adabei charakterisieren, der vermutlich vom Eventcharakter von Lernstoffen angesprochen wird, bei dem er aktiv mitmachen kann.

Diese typologische Struktur konnte mit einer wesentlich größeren Stichprobe (1591 ProbandInnen) bestätigt werden - siehe dazu die Ergebnisse 2003.

Keinerlei Unterschiede konnten hingegen hinsichtlich der Landeszugehörigkeit gefunden werden - offensichtlich sind diese Gruppierungen weitgehend vom gemeinsamen Kulturkreis bestimmt.

Betrachtet man das Ergebnis unter dem Gesichtspunkt, welcher Typus für die traditionelle Bildungsgesellschaft am besten orientiert ist, dann dürfte das wohl am ehesten der Cluster 2 (L-) sein, wobei die Häufigkeit von 16 Prozent für unser Schulsystem mit seinen Büchern, Schul- und Hausübungsheften, Tafelanschrieb, Powerpoint- oder auch Overhead-Folien wohl etwas pessimistisch stimmen kann.


Hinweise zur Nutzung

Die Verwendung des Tests ist unter Einhaltung der im Wissenschaftsbetrieb üblichen Regeln gestattet - siehe dazu auch die Hinweise unter http://www.stangl-taller.at/ARBEITSBLAETTER/COPYRIGHT/. Der Autor ersucht alle NutzerInnen, Erfahrungen oder etwaige Daten mitzuteilen, die in eine Überarbeitung einfließen könnten. Beim Einsatz des Verfahrens im Rahmen einer wissenschaftlichen Untersuchung an einer größeren Probandengruppe bitte ich um Übermittlung der einschlägigen Kennzahlen. 


Testbeschreibung - Test - Ergebnisse 2003 - Ergebnisse 2004 - Literatur - FAQs & comments - Testforum

 



inhalt :::: kontakt :::: impressum :::: copyright :::: zitieren
navigation: