Zasady konstrukcji testu egzaminacyjnego

Zgodnie z Krajowymi Ramami Kwalifikacji powinien spełniać następujące kryteria:

1. Selekcyjną – wybranie najlepiej przygotowanych z licznego grona studentów.
2. Weryfikacyjną – badanie czy i w jakim stopniu osiągnięto cele nauczania (kompetencje).
3. Kwalifikacyjną – badanie czy egzaminowani spełniają określone minimum w zakresie posiadanej wiedzy.

O typie egzaminu (testowego) decyduje dobór zadań ze względu na:

1. badany zakres wiedzy lub/oraz umiejętności,
2. formalny typ i poziom szczegółowości zadań,
3. sposób analizy wyników i kryteria oceniania

Użyteczna do testów w dziedzinach medycznych jest uproszczona postać taksonomii celów nauczania, której zasadę w postaci uporządkowanej hierarchiczni celów nauczania przedstawiono poniżej:

Główne kategorie celów nauczania (w/g Blooma)

1. Wiadomości
2. Rozumienie
3. Zastosowanie
4. Analiza
5. Synteza
6. Ocena

Zastosowanie taksonomii celów nauczania, jako wskaźnika przewidywanego poziomu trudności ułatwi skonstruowanie poprawnego testu, czyli takiego, który nie składa się z zadań sprawdzających tylko najniższe kategorie celów, co często się zdarza, ale także zadań służących sprawdzeniu wyższych kategorii celów.

Taksonomia celów nauczania jest klasyfikacją hierarchiczną spełniającą następujące kryteria:

1. poprawność naukowa,
2. kumulatywność – wyższe kategorie muszą obejmować między innymi te cele i osiągnięcia, które składają się na niższe kategorie,
3. użyteczność – powinna być praktycznie użyteczna w konstrukcji programów nauczania i w pomiarze dydaktycznym,
4. łatwość – powinna być łatwa do przyswojenia przez niespecjalistów

Taksonomia celów nauczaniaw podziale na wiadomości i umiejętności dotyczących zarówno zadań testowych jak i sprawdzianów tradycyjnych.

Poziom	Kategoria
I. Wiadomości	A. Zapamiętanie wiadomości B. Zrozumienie wiadomości
II. Umiejętności	C. Stosowanie wiadomości w sytuacjach typowych D. Stosowanie wiadomości w sytuacjach problemowych

Kategoria A – zapamiętanie wiadomości oznacza, ze student przyswoił sobie gotowe informacje, terminy, fakty, zasady funkcjonowania i rozumie je na poziomie elementarnym. Student powinien: nazwać, zdefiniować, wymienić, zidentyfikować, wyliczyć, rozpoznać.

Wiadomości są zapamiętywane, jeżeli student jest w stanie odszukać je w pamięci, sprawdzić kompletność i ewentualnie uzupełnić, wykorzystać w praktycznym działaniu. Na szczególną uwagę zasługują wiadomości dotyczące sposobów działania (rozpoznawania sytuacji, formułowania planu działania, modyfikacji działania stosownie do okoliczności).

Zakres: Wiadomości mogą dotyczyć terminologii, faktów, praw i teorii naukowych, konwencji i klasyfikacji, kryteriów oceny, zasad działania, procedur i algorytmów, metodologii badań.

Proponowane sformułowania:
nazwać ………, zdefiniować ………., wyjaśnić ………. zilustrować …… rozróżnić ………

Kategoria B – zrozumienie wiadomości oznacza, że student potrafi je przedstawić w innej formie, niż je zapamiętał, uporządkować i skreślić, uczynić podstawę prostego wnioskowania.
Student powinien: streścić, wyjaśnić, zilustrować, rozróżnić.

Tłumaczenie – polega na przedstawieniu swoimi słowami lub w innej formie niż były podane (słownej, symbolicznej, graficznej, ruchowej).
Interpretacja – polega na syntetycznym ujęciu (streszczeniu) danych wiadomości i porównaniu ich z innymi wiadomościami.
Ekstrapolacja – polega na „przedłużeniu” zjawiska lub ciągu wydarzeń na inne sytuacje, równoległe lub przyszłe.
Zakres: Obejmuje elementarny poziom zrozumienia wiadomości, w zakresie uznanym za niezbędny na danym szczeblu nauczania przedmiotu.

Proponowane sformułowania:
wyjaśnić ………., zilustrować ……, rozróżnić ………

Kategoria C – Stosowanie wiadomości w sytuacjach typowych oznacza opanowanie przez studenta umiejętności praktycznego posługiwania się wiadomościami według podanych mu uprzednio wzorów czy przykładów znanych mu z lekcji lub podręcznika. Student powinien: rozwiązać, skonstruować, zastosować, porównać, sklasyfikować, narysować, scharakteryzować, zmierzyć, wybrać sposób, określić, zaprojektować, wykreślić.

Sytuacja, w której czynność jest wykonywana, nie powinna odbiegać od sytuacji, w jakiej czynność była ćwiczona. Także wzór czynności opanowany w toku ćwiczeń nie powinien ulegać zbyt daleko idącym modyfikacjom. Nie znaczy to jednak, że zastosowanie wiadomości może ograniczać się do odtwarzania wzoru z pamięci. Czynności całkowicie nawykowe należą do najniższej kategorii celów nauczania – zapamiętywania wiadomości.

Zakres: Zastosowanie wiadomości jest to osiągnięcie wyniku o bezpośrednim lub potencjalnym znaczeniu praktycznym, oparte na prawidłowym zrozumieniu sytuacji, dostępnych danych, zasad i procedur działania oraz rodzaju oczekiwanego rozwiązania. Skuteczność czynności wyraża się tu trafnością i dokładnością wyniku.

Proponowane sformułowania:
rozwiązać …….., skonstruować …, zastosować ……,. porównać ………,. sklasyfikować .., scharakteryzować…., zmierzyć ………., wybrać sposób …, określić…….

Kategoria D – Stosowanie wiadomości w sytuacjach problemowych oznacza opanowanie przez studenta umiejętności formułowania problemów, dokonywania analizy i syntezy nowych dla niego zjawisk, formułowania planu działania, samodzielnego zdobywania wiadomości i wykorzystywania w nowych sytuacjach.

W praktyce egzaminacyjnej, zadania kategorii C. i D. okazują się trudne i bardzo trudne, natomiast przeważnie to one właśnie sprawdzają realizację kluczowych celów nauczania.

Zakres: Najwyższa kategoria celów nauczania obejmuje złożone procesy umysłowe służące znalezieniu potrzebnego rozwiązania. Tu są wykorzystywane wiadomości z różnych dziedzin, a rozwiązanie jest w pewnym sensie twórcze. Na zastosowanie wiadomości w sytuacjach problemowych składają się trzy główne rodzaje czynności: analiza, synteza, ocena. W złożonej czynności zastosowania wiadomości w sytuacjach problemowych mieści się jedna lub więcej czynności zastosowania wiadomości

Analiza – polegająca na wyróżnieniu elementów i związków między elementami jakiegoś stanu rzeczy lub jakiejś wypowiedzi oraz na odtworzeniu struktury tej całości.

Synteza – polegająca na zbudowaniu modelu przeanalizowanej całości, w ujęciu jej właściwości w oryginalnie ustrukturyzowanej całości.

Ocena – polegająca na wartościowaniu stanu rzeczy i wyniku działań przez porównanie ich z odpowiednimi modelami oraz przez odwołanie się do właściwych kryteriów teoretycznych.

Proponowane sformułowania:
dowieść …………., przewidzieć ……, ocenić ……………, zaproponować .., zaplanować …….

Oto pięć najogólniejszych wskazówek budowania zadań według A. Wesmana teoretyka tej dziedziny:

1. Budując testy, kieruj się własnym planem, a nie przykładem testów z innych źródeł.
2. Wczuwaj się w sytuację studenta rozwiązującego test, a nie w sytuację nauczyciela, który „realizuje program kształcenia”
3. Najpierw zajmij się treścią zadania, a potem formą. Najważniejsze jest ustalenie, jaka czynność lub sekwencja czynności ma być przez dane zadanie mierzona, a jakie czynności mają być tylko pomocnicze.
4. Staraj się, by tekst polecenia był jasny i zwięzły, maksymalnie uproszczony i oczyszczony ze zbędnych słów i symboli.
5. Stosuj w miarę możliwości język studenta, gdyż poziom ścisłości języka powinien odpowiadać szczeblowi kształcenia ucznia, a nie szczeblowi wykształcenia nauczyciela.

Model wielostopniowy konstrukcji testu zakłada dodatkowo stopniowanie treści nauczania na:

1. treści konieczne,
2. treści podstawowe,
3. treści rozszerzające,
4. treści dopełniające,
5. treści wykraczające.

Test zamknięty składa się z trzonu zadania (główki danego zadania), wyjaśniającego, jaka czynność ma być wykonana, oraz gotowych odpowiedzi, z których jedna jest prawidłowa, a inne pełnią rolę dystraktorów, czyli odpowiedzi mających pozory prawidłowości.

Etapy konstruowania testu dydaktycznego:

1. Opracowanie koncepcji testu.
2. Analiza treści nauczania z uwzględnieniem celów kształcenia i poziomów wymagań.
3. Sporządzenie planu testu. ( na podstawie planu testu można zbudować różne wersje testu ).
4. Konstruowanie zadań z uwzględnieniem wersji równoległych testu.
5. Wstępna analiza zadań i testu z uwzględnieniem zgodności z planem testu ( testy z poziomu podstawowego powinno być około 50 % , z poziomu rozszerzającego około 30 %, a z dopełniającego około 20 % ).

Etapy konstrukcji testu w rozbiciu na etapy

Etap I – koncepcja testu

• -ustalenie celu testu
• -wybór rodzaju testu
• -ustalenie zakresu materiału
• -sformułowanie tytułu

Etap II-analiza treści nauczania

• -cele nauczania
• -materiał nauczania
• -wymagania programowe

Etap III-selekcja treści

• -wybór treści mierzonych zadaniami testu
• -uporządkowanie ich pod katem merytorycznym, logicznym i dydaktycznym

Etap IV- plan testu

• -tworzenie kartoteki testu-zbioru różnorodnych zadań
• -wybór czynności, które student powinien opanować i zakwalifikowanie ich do poszczególnych kategorii taksonomicznych

Etap V-selekcja i sprawdzanie zadań

• -rozwiązanie testu przez autora (głównie pod katem czasochłonności poszczególnych żądań
• – konsultacja z innym specjalista z danej dziedziny
• -ustalenie ostatecznej kolejności żądań

---

Źródła i uwarunkowania doboru zadań

Do przygotowywanego egzaminu należy za każdym razem układać nowe zadania można je uzupełnić zadaniami z gromadzonego banku pytań. Zadania z dotychczasowej bazy muszą być walidowane. Zadania te można dobierać ze względu na ich treść i typ, ale także ze względu na ich sprawdzone właściwości egzaminacyjne. Treść tych zadań muszą odnosić w swojej treści do zagadnień kluczowych dla ustalonych celów nauczania oraz wyników uzyskanych w egzaminach dla różnych roczników określonego kierunku studiów.

Tworząc bank zadań należy brać pod uwagę zarówno dobrą ocenę statystyczne ( moc różnicująca) jak ich strukturę adekwatną do struktury działów materiału w nauczanym przedmiocie lub/oraz do ustalonych szczegółowych celów nauczania. Prawidłowa zawartość banku żądań umożliwia dalszy ich optymalny wybór sprawdzają właściwą realizacje celów nauczania

Zadania nowo utworzone powinny stanowić określoną część każdego egzaminu (np. nie mniej niż 30%). Użycie nowych zadań wymagane jest ze względu na potrzebę aktualizacji treści i formy zadań, nawet przy nie zmienionych celach nauczania. Zaletą jest iż zadania te nie powinni znać egzaminowani przez co stanowią one czynnik różnicujący studentów pod względem zarówno ich wiedzy jak i umiejętności.

Dobrze zbudowany test jest:

1. wolny od nadmiaru zadań pamięciowych, czyli taki, którego zadania sprawdzające opanowanie kształconych umiejętności. Cele, których stopień opanowania jest w badaniu mierzony, powinny po analizie być określone na poziomie C lub D ( poziom umiejętności), a tylko wyjątkowo A lub B ( poziom wiadomości ).
2. bogaty w zadania umiejętnościowe, czyli zawsze należy przyjrzeć się czasownikowi użytemu w poleceniu skierowanym do studenta, czy na pewno zadanie sprawdzi umiejętności studentów?
3. bogaty sytuacyjnie, związany z życiem, czyli treść zadania powinna wypływać z sytuacji, która dla studenta będzie interesująca
4. związany z życiem
5. o dużym zróżnicowaniu wymagań
6. rzetelny
7. trafny
8. obiektywny

Pytania „odsączyć z wody” (ozdobników)

1. Nie stosować dystraktorów bzdurnych
2. Zadbać o to, aby odpowiedź nie wyróżniała się graficznie
3. Pamiętać, że pytanie ma różnicować studentów przygotowanych od nieprzygotowanych
4. Stosować zasadę jednomyślności przy wyborze pytań
5. Należy unikać dystraktorów:
   1. negatywnych przy negatywnej formie pytania
   2. zbytnio różniących się długością, formą
   3. sformułowań: „zawsze”, „nigdy”
6. Stosować dystraktory b. bliskich odpowiedzi prawidłowej – „uwodziciele”

Wg zaleceń Niemierki (1999), podczas budowania zadań należymiędzy innymi unikać:

• stosowania takich samych oznaczeń dla dystraktorów co dla elementów w wyliczeniach zawartych w treści główki zadania,
• uzależniania treści główki danego zadania od prawidłowego rozwiązania innego zadania,
• takiego sformułowania treści w główce zadania, że jego zrozumienie jest możliwe dopiero po przeczytaniu odpowiedzi,
• formułowania treści główki zadania jako zdania nie dokończonego (równoważnik zdania jest dopuszczalny),
• wieloznaczności określeń, zawiłości treści poleceń oraz „podstępów” np. pytania o nieistniejące fakty, nazwy lub prawidłowości, czy „pułapek” (np. istotnych dla rozwiązania zadania celowych błędów w pisowni określeń),
• wstawiania do treści odpowiedzi części wspólnej, którą należy umieścić w główce,
• lokowania w odpowiedziach nieprawidłowych: ukrytych wskazówek, fałszu, określeń trywialnych, określeń znacznie krótszych lub znacznie dłuższych od prawidłowego,
• znacznej różnicy atrakcyjności odpowiedzi nieprawidłowych w stosunku do prawidłowych,
• tworzenia główki zadań przez przepisywanie zdań z podręcznika (zdanie wyrwane z kontekstu może zmieniać lub tracić sens) gdyż takie zadania premiują tych, którzy zapamiętują treść zamiast rozumienia znaczenia,
• długiej i skomplikowanej treści polecenia lub/oraz wariantów odpowiedzi,
• tworzenia „pułapek” podwójnego przeczenia (w zadaniach o postaci przeczącej).

Klasyfikacja zadań zamkniętych przedstawia się następująco:

1. Zadanie wyboru wielokrotnego
2. Zadanie typu prawda – fałsz
3. Zadanie na dopełnienie
4. przyporządkowanie
5. wyłączenie
6. analiza związków

Przykładowe sformułowanie pytania:

• kto, który, jaki …….. z wymienionych
• wskaż właściwą (najlepszą) odpowiedź
• nie jest prawdą, że ………
• które stwierdzenie nie jest prawdziwe
• w danym przypadku nie należy….

1. Zadanie wyboru wielokrotnego

Zadanie wyboru wielokrotnego – wymaga od studenta wybrania odpowiedzi poprawnej lub najlepszej spośród kilku podanych. Trudność zadania jest regulowana nie tylko przez sformowanie trzonu, lecz także przez dobór dystraktorów. Im mniej są one zróżnicowane, tym zadanie jest trudniejsze. Nadto liczba dystraktorów ma wpływ na trudność zadań: im jest większa, tym mniejsze są szanse na przypadkowe trafienie na prawidłową odpowiedź.

Ad. 1. Zasady budowania zadań wyboru wielokrotnego:

1. Staraj się aby trzon pozwalał na zrozumienie zadania bez czytania odpowiedzi
2. Unikaj stwierdzeń negatywnych w trzonie zadania
3. Unikaj podstępów, np. pytań o nieistniejące fakty, nazwy, zasady
4. Używaj w miarę prostego słownictwa
5. Unikaj wieloznaczności i zdań zbyt zawiłych – zdania niech będą proste i jasne
6. Stosuj od trzech do pięciu odpowiedzi w zadaniach
7. Wszystkie odpowiedzi powinny być logiczne i przekonywujące dla pewnej części studentów
8. odpowiedzi nieprawidłowe nie powinny zawierać ukrytych wskazówek co do wybory prawdziwej odpowiedzi, np. nie powinny:
9. • być niepoważne, banalne
   • mieścić się w odpowiedzi prawidłowej
   • zawierać mniej naukowych terminów niż prawidłowa odpowiedź
   • zawierać terminów i wyrażeń nieznanych studentom
   • być z reguły krótsze od odpowiedzi prawidłowej
   • być umieszczane zawsze na końcu lub początku wszystkich odpowiedzi

Budując nieprawidłowe odpowiedzi (tzw. dystraktory) można wykorzystywać błędne wypowiedzi studentów oraz własne spostrzeżenia na temat ich wadliwych wyobrażeń i możliwych pomyłek

Typy i przykłady zadań wyboru wielokrotnego:

• definiowanie: „co to jest?”
• określanie celu: „do czego służy?”
• ustalanie przyczyny: „jaki jest powód?”
• przewidywanie skutku: „co należy zrobić, aby..”
• ustalanie związku: „co nastąpi gdy..”
• ocenianie: „na jakiej podstawie można ocenić…..?”
• ustalanie różnicy.
• ustalanie podobieństwa.
• stosowanie zasad.
• uzasadnianie opinii.

Błędy w konstruowaniu zadań wyboru wielokrotnego:

1. Schematyzm w doborze treści zadań, brak jej powiązania z sytuacjami znanymi osobom rozwiązującym i budzącymi ich zainteresowanie.
2. Zbyt szczupły trzon zadania, nie pozwalający na zrozumienie pytania przed przeczytaniem odpowiedzi.
3. Zbyt rozbudowane odpowiedzi, zawierające część wspólną, którą można przenieść do trzonu.
4. Niejednorodne, wymagające dodatkowych założeń, w tym samym stopniu prawdziwe odpowiedzi.

Najczęściej spotykane błędy w konstruowaniu dystraktorów:

1. Dystraktory krzyżujące się, podrzędne lub nadrzędne wobec prawidłowej odpowiedzi.
2. Dystraktory zbyt trudne do zrozumienia lub przeciwnie, całkiem banalne, niedorzeczne.
3. Dystraktory są zbyt rozbudowane i zawierają schematyczny dobór treści
4. Dystraktory są sztuczne lub nadmiernie uproszczone
5. Dystraktory dające ukrytą wskazówkę rozwiązania zadania, w tym
   1. stanowiące twierdzenie fałszywe bez względu na trzon zadania;
   2. krótsze niż prawidłowa odpowiedź, pisane mniej ścisłym lub mniej „podręcznikowym” językiem;
   3. naprowadzające rozwiązującego na prawidłową odpowiedź przez to, że jeden z nich jest jej bardzo bliski lub z nią sprzeczny.

Ad. 2. Zadanie typu prawda – fałsz

Zadanie typu prawda – fałsz, wymaga od osoby rozwiązującej rozstrzygnięcia, czy zawarte w nim twierdzenie jest prawdziwe czy fałszywe, albo rozstrzygnięcia, czy spełnia ono określony warunek, czy też nie spełnia go. Najwięcej kłopotu sprawia konstruktorom takie formułowanie twierdzeń ogólnych, aby były one bezwzględnie prawdziwe lub fałszywe, a więc nie zawierały ukrytych założeń. Aby zmniejszyć oddziaływanie czynnika ogólnego krytycyzmu studenta na wyniki zadań, należy – utrzymując równe w przybliżeniu proporcje twierdzeń prawdziwych i fałszywych – zadbać o jasność wszystkich twierdzeń oraz poddać proponowane odpowiedzi próbie wątpienia przez wysunięcie i obalenie wszystkich możliwych zastrzeżeń

Najczęściej spotykane błędy w konstrukcji zadań typu prawda – fałsz:

1. Wieloznaczność twierdzeń, prowadząca do tego, że można je uznać za prawdziwe lub fałszywe w zależności od sposobu zrozumienia.
2. Nieostrość pojęć, powodująca konieczność przyjmowania dodatkowych założeń przez rozwiązujących.
3. Umieszczanie w zadaniu utajonego dodatkowego twierdzenia, które może być przedmiotem wtórnych wątpliwości.
4. Przepisywanie twierdzeń z podręcznika, przez co zadanie staje się zbyt pamięciowe.
5. Występowanie wyrazu „nie” w twierdzeniu, co w połączeniu z odpowiedzią „Nie” daje podwójne przeczenie.
6. Występowanie ukrytych wskazówek rozwiązania, takich jak:
   1. różnice długości zdań na korzyść twierdzeń prawdziwych;
   2. wyrazy typu „często”, „większość”, cechujące zwykle twierdzenia prawdziwe, oraz wyrazy typu „zawsze”, „wszystkie”, cechujące, zwykle twierdzenia fałszywe.

Podsumowują dobrze przygotowany test powinien pozwolić autorowi odpowiedzieć na następujące najważniejsze pytania:

1. Czy w pytaniach uniknięto niepotrzebnych szczegółów ?
2. Czy zawarte w teście pytania odnoszą się do zakresu wymaganego programu nauczania danego przedmiotu?
3. Czy pytania jakie zawarte są w teście odzwierciedlają odpowiedni poziom trudności?
4. Czy przedstawiane w teście pytania są zrozumiałe i sformułowane wystarczająco precyzyjnie?
5. Czy zadania nie są wzajemnie powiązane i rozwiązanie jednego ma wpływ na inne zawarte w teście?
6. Czy każdy dystraktor posiada pozory poprawności ?
7. Czy wśród podanych do wyboru odpowiedzi występuje wyłącznie jedna prawidłowa ( test nie może zawierać odpowiedzi z których jedna jest lepsza a druga gorsza)