1. Ogólna charakterystyka pakietu

Przedmiotem opisu jest oprogramowanie do prowadzenia egzaminów testowych oraz obliczania ich wyników w oparciu o sieć połączonych PC - wariant pierwszy w powyższej tabeli. Pakiet został opracowany z wykorzystaniem wieloletnich doświadczeń przy prowadzeniu egzaminów testowych w oparciu o karty odpowiedzi.

Na poniższym rysunku przedstawiono wykorzystywana konfiguracją sprzętową.

Praktycznie nie ma ograniczeń na liczbę stanowisk testowych.

Poniżej podano wykaz funkcji pakietu z podziałem na 5 grup.

PRZYGOTOWANIE TESTU
A - Tworzenie testu
B - Określanie prawidłowych odpowiedzi
C - Wprowadzanie nazwisk i identyfikatorów

KONFIGUROWANIE
I PRZEPROWADZANIE TESTU

D - Wybór liczby i lokalizacji stanowisk
E - Wczytywanie charakterystyki testu i pytań testowych
F - Generowanie pytań i rejestracja odpowiedzi

DZIELENIE DANYCH
G - Odczytanie identyfikatorów
H - Wybieranie osób
I - Wybieranie pytań

OBLICZANIE WYNIKÓW
J - Wczytanie prawidłowych odpowiedzi
K - Ocena odpowiedzi
L - Analiza testu
M - Eliminacja pytań
N - Obliczanie liczby punktów
O - Ustalanie granic dla ocen
P - Tworzenie listy imiennej

OPERACJE NA PLIKACH
R - Wykaz nazw plików
S - Edycja i korekta zawartości pliku
T - Kasowanie plików

Pakiet umożliwia obliczanie wyników egzaminu przy pytaniach jednokrotnego wyboru. W opracowywaniu jest wersja umożliwiająca także stosowanie także pytań wielokrotnego wyboru.

2. Opis poszczególnych funkcji pakietu

Poniżej zostały krótko scharakteryzowane poszczególne funkcje pakietu, przy czym operacje na plikach scharakteryzowano w następnym punkcie.

A - Tworzenie testu

Tworzenie testu obejmuje określenie:

  • Pytań wraz z możliwymi odpowiedziami, pytania mogą być w formie tylko tekstowej lub zawierać dodatkowo elementy graficzne w postaci rysunków lub zdjęć.
  • Charakterystykę testu, określającą lub nie:
  • ograniczenie czasu odpowiedzi na poszczególne pytania;
  • ograniczenie czasu na sumaryczny czas odpowiedzi;
  • możliwość opuszczenia wybranych pytań i udzielania odpowiedzi na nie w terminie późniejszym;
  • możliwość poprawy wcześniej udzielonych odpowiedzi.

Dodatkowo w ramach charakterystyki określa się formatkę tytułową testu.

Pytania wraz z możliwymi odpowiedziami zapisywane są w pliku o podawanej nazwie i standardowym rozszerzeniu.

B - Określanie prawidłowych odpowiedzi

Określa się prawidłowe odpowiedzi dla poszczególne pytań. Prawidłowe odpowiedzi zapisywane są w pliku o takiej samej nazwie jak pliku z pytaniami + możliwe odpowiedzi + charakterystyka, ale innym standardowym rozszerzeniu.

Dodatkowo wyznacza się procenty odpowiedzi poszczególnych rodzajów oraz testuje losowość ciągu prawidłowych odpowiedzi - funkcja ta miała duże znaczenie przy braku losowania kolejności pytań oraz kolejności możliwych odpowiedzi.

C - Wprowadzanie nazwisk i identyfikatorów

Dla programowo wyznaczanych kolejnych numerów osób podaje się nazwiska i imiona. Istnieje także możliwość wprowadzania:

  • do 5 identyfikatorów, każdy z których może mieć postać liczby dwu cyfrowej,
  • identyfikatora w postaci odcisku linii papilarnych
  • 12 znakowego oznaczenia osobistego

D - Wybór liczby i lokalizacji stanowisk

Funkcja to umożliwia określenie wykorzystywanych stanowisk testowych poprzez określenie ich lokalizacji w postaci numeru pomieszczenia oraz numeru w ramach pomieszczenia.

E - Wczytywanie testu

Wczytywanie testu obejmuje odczyt z zewnętrznego nośnika:

  • Pytań wraz z możliwymi odpowiedziami
  • Charakterystyki testu przygotowanych w ramach funkcji A.

Na każdym z wykorzystywanych stanowisk testowych wyświetlana jest formatka tytułowa testu oraz instrukcja oparta o ustaloną charakterystykę testu. Realizowane jest oczywiście po zajęciu miejsc przy stanowiskach testowych przez wszystkich egzaminowanych.

Każdy z egzaminowanych zobowiązany jest do wprowadzenia 12 znakowego oznaczenia osobistego, wręczanego w kopercie przy wejściu na salę egzaminacyjna lub odciśnięcia linii papilarnych, w przypadku zainstalowania stosownych czytników przy stanowiskach testowych.

F - Generowanie pytań i rejestracja odpowiedzi

Funkcja to powoduje asynchroniczne wyświetlanie na poszczególnych stanowiskach testowych kolejnych pytań testu wraz z możliwymi odpowiedziami. W zależności od ustalonej charakterystyki testu generowanie pytań ma miejsce lub nie:

  • ograniczenie czasu odpowiedzi na poszczególne pytania;
  • ograniczenie czasu na sumaryczny czas odpowiedzi;
  • możliwość opuszczenia wybranych pytań i udzielania odpowiedzi na nie w terminie późniejszym;
  • możliwość poprawy wcześniej udzielonych odpowiedzi.

Należy szczególnie podkreślić, że na każdym stanowisku pytania są wyświetlane w losowanej kolejności oraz w losowanej kolejności są wyświetlane możliwe odpowiedzi. Takie rozwiązanie praktycznie uniemożliwia jakiekolwiek „współdziałanie” egzaminowanych.

Egzaminowani dokonują wyboru prawidłowych odpowiedzi spośród wyświetlanych, odpowiedzi te są rejestrowane na bieżąco.

G - Odczytanie identyfikatorów

Funkcje tę stosuje się jedynie przy prowadzeniu obliczeń wyników dla wybranej części osób.

H - Wybieranie osób

Funkcję tę stosuje się przy konieczności dokonania analizy odpowiedzi wybranej części osób testowanych, możliwej do określenia w przypadku wykorzystywania dostępnych identyfikatorów (patrz funkcja D).

Każdy z warunków określony jest przez 3 liczby:

  • numer wyróżnika;
  • kod relacji, mogący przyjmować jedną z postaci:
    1. mniejsze,
    2. mniejsze lub równe,
    3. równe,
    4. większe,
    5. większe lub równe,
    6. nierówne;
  • wartość wyróżnika.

I - Wybieranie pytań

Wykorzystanie tej funkcji następuje w przypadku konieczności odrębnej oceny fragmentu egzaminu, np. w formie kilku egzaminów częściowych.

Możliwe są dwa sposoby określania pytań, których odpowiedzi są wybierane:

  • kolejne pytania;
  • dowolne pytania.

W każdym z wyróżnionych sposobów należy podać numery wybieranych pytań.

J - Wczytanie prawidłowych odpowiedzi

Odczytanie z zewnętrznego nośnika prawidłowych odpowiedzi dla danego testu.

Zwraca się uwagę, że następuje to po zakończeniu udzielania odpowiedzi przez wszystkich zdających egzamin testowy.

K - Ocena odpowiedzi

Dla kolejnych pytań oblicza się procenty udzielonych poszczególnych odpowiedzi. Wyniki w tym zakresie mogą być także otrzymane w postaci graficznej w formie wykresów słupkowych lub kołowych z wyróżnieniem odpowiedzi prawidłowej.

L - Analiza testu

Dokonuje się analizy rzetelności testu obliczając dla każdego pytania procenty poszczególnych odpowiedzi, łatwość pytania oraz współczynnik korelacji punktowo-biseryjnej. Dla całego testu oblicza się m.in. najlepszy i najgorszy wynik, łatwość, średnią i odchylenie standardowe, współczynnik 20 Kudera-Richardsona oraz rozkład ilości punktów.

M - Eliminacja pytań

Dla wybranych pytań, m.in. na podstawie analizy testu, zamienia się dla wszystkich osób udzielone odpowiedzi na prawidłowe.

N - Obliczanie liczby punktów

Dla każdej osoby oblicza się liczbę odpowiedzi pokrywających się z odpowiedziami prawidłowymi oraz dodatkowo numery pytań, na które została udzielona odpowiedź błędna. Oceniana jest normalność rozkładu liczby punktów. Istnieje możliwość graficznego przedstawienia liczby punktów uzyskanych przez poszczególne osoby.

O - Ustalanie granic punktowych dla ocen

Wstępnie wybiera się jedną z dwóch skal ocen: cztero lub sześciostopniową. Następnie wybiera się jeden z trzech sposobów ustalania granic: w oparciu o średnią i odchylenie standardowe, w oparciu o centyle lub arbitralnie. Dla wybranego sposobu obliczane są liczby i procenty osób uzyskujących możliwe oceny. Proces ten prowadzony jest do momentu uzyskania akceptowanych granic.

P - Tworzenie listy imiennej

Funkcja ta wykorzystuje zbiory: nazwisk, uzyskanych punktów i wyznaczonych granic. Dla każdej osoby podawany jest numer, nazwisko i imię, liczba punktów, ocena i miejsce w grupie zdających.

Zwraca się uwagę, że następuje to po zakończeniu udzielania odpowiedzi przez wszystkich zdających egzamin testowy.

3. Opis wykorzystywanych plików

Pakiet wykorzystuje lub tworzy różnego rodzaju pliki:

Grupa Lp Rodzaj plików Funkcja pakietu
Tworzy Wykorzystuje
Dane        
1 Pliki z treścią pytań, możliwymi odpowiedziami oraz charakterystyką testu A E, F
2 Pliki z prawidłowymi odpowiedziami B J
3 Pliki z nazwiskami i identyfikatorami osób testowanych C G
Wyniki 4 Pliki z pytaniami i udzielonymi odpowiedziami, dla każdej z osób testowanych F K, L, M,N
5 Pliki z oceną odpowiedzi K -
6 Pliki z oceną testu L -
7 Pliki z granicami punktowymi dla ocen O P
8 Pliki z wynikami punktowymi N -
9 Pliki z wynikami imiennymi P -

Tworzone pliki mają standardowo nazwy składające się z takiej części głównej oraz rozszerzenia, zależnego od rodzaju pliku.

4. UWAGI KOŃCOWE

Opracowany pakiet oprócz bogatej funkcjonalności, ma dwie wyróżniające go cechy:

  • Zapewnia prowadzenie obliczeń w maksymalnym stopniu eliminując wystąpienie różnego rodzaju nieprawidłowości (zastępowanie wzajemne egzaminowanych poprzez „dublerów”, „przeciek” prawidłowych pytań, czy imienne „preferowanie” wybranych osób).
  • Posiada mechanizmy weryfikujące rzetelność testu oraz wykluczające niektóre z pytań na podstawie wartości współczynników korelacji punktowo-biseryjnej.

W opracowaniu oprócz wspomnianego wcześniej testu z wielokrotnym wyborem znajduje się także

  • Wersja testu do sprawdzania wiedzy w Intranecie lub extranecie.
  • Oprogramowanie do nauczania określonej wiedzy, oparte o opisany pakiet i funkcjonujące na pojedynczym komputerze oraz w Intranecie lub extranecie. Tak jak w przypadku egzaminu generowane są przygotowane pytania i udzielane odpowiedzi. W przypadku udzielenia błędnej odpowiedzi, wyświetlane są dodatkowe informacje i pytanie takie powtarza się po pewnym czasie. Możliwe jest także określanie liczby udzielenia poprawnych odpowiedzi na każde z generowanych pytań, przy czym w kolejnych zapytaniach możliwe odpowiedzi są podawane w każdorazowo losowanej kolejności.

 

Należy podkreślić, że zakończenie wersji użytkowej testu z wielokrotnym wyborem wymaga jedynie oprogramowania zasady weryfikacji rzetelności testu - patrz funkcja L.