Opis Kwestionariusza oceny oprogramowania (KOO)

 

 Andrzej Najmiec

 Kwestionariusz Oceny Oprogramowania składa się z dwóch części głównych. Pierwsza część "opisowa" dotyczy informacji nt. doświadczenia użytkownika w zakresie obsługi programów komputerowych, długości i częstości wykorzystywania innych programów komputerowych oraz wykorzystywanego peryferyjnego osprzętu komputerowego. Druga część (diagnostyczna) dotyczy właściwej oceny oprogramowania.

 

Skale kwestionariusza i ich rzetelność

 

Diagnostyczna część Kwestionariusza Oceny Oprogramowania składa się z 3 części dotyczących:

1.      właściwości programów

2.      uciążliwości pracy z oprogramowaniem

3.      zadowolenia z pracy z oprogramowaniem

 

Ad. 1. Właściwości programów

Pierwsza część kwestionariusza składała się z 17 pytań. Na prawie wszystkie pytania odpowiedzi dokonuje się na skali 5-stopniowej umieszczonej pod każdym pytaniem. Jedynie na pytanie 9 (Czy w programie występuje funkcja pomocy / help?) odpowiada się „tak” lub „nie”.

W zakresie oceny właściwości oprogramowania oceniane są takie zmienne, jak:

  • szybkość wykonania zadań,
  • kontrola nad programem,
  • adekwatność symboli graficznych do funkcji,
  • czytelność znaków graficznych,
  • zrozumiałość komunikatów,
  • czytelność informacji,
  • występowanie pomocy, wyszukiwanie rozwiązań problemu,
  • częstość błędów, zrozumiałość komunikatów o błędach,
  • plastyczność elementów interface'u,
  • łatwość nauki, łatwość porozumiewania,

 

Pytania z pierwszej części nie tworzą jednorodnej skali, ale sprawdzają niezależne właściwości oprogramowania, i mają charakter ankietowy. Analiza informacji uzyskana przy zastosowaniu tej części kwestionariusza podlega analizie treściowej lub analizie ilościowej dla każdego pytania oddzielnie. Z tego powodu, dla tej części kwestionariusza nie badano poziomu rzetelności, ani nie przeprowadzano analizy czynnikowej.

Dla dwóch pozostałych zmiennych (uciążliwości i zadowolenia) dokonano pomiaru rzetelności oraz wyróżniono czynniki.

 

Ad. 2. Skala Uciążliwości

Skala uciążliwości składa się z 13 pytań. Na wszystkie pytania odpowiada się przez zaznaczenie jednej odpowiedzi na skali pięciostopniowej zamieszczonej pod pytaniami. W trakcie analizy czynnikowej wyróżniono trzy wskaźniki uciążliwości pracy z oprogramowaniem:

1.      uciążliwość spowodowana utratą kontroli

2.      uciążliwość spowodowana niewystarczającym wsparciem ze strony programu

3.      uciążliwość spowodowana niewystarczającą jakością i czytelnością informacji

Po wyróżnieniu trzech wskaźników uciążliwości pracy z programem komputerowym, sprawdzono wskaźniki rzetelności poprzez zbadanie spójności wewnętrznej czynników (alfa Cronbacha).

Wartości alfa Cronbacha dla wskaźników uciążliwości prezentuje Tabela 1.

 

Tabela 1. Wartości alfa Cronbacha dla wskaźników uciążliwości

Wskaźniki

N

wartości alfa Cronbacha

uciążliwość spowodowana utratą kontroli

38

0,80

uciążliwość spowodowana jakością i czytelnością informacji

38

0,65

uciążliwość spowodowana niewystarczającym wsparciem ze strony programu

42

0,68

 

Wskaźniki rzetelności dla poszczególnych podskal przy uwzględnieniu niewielkiej liczebności grupy badanej i małej liczby pozycji w pojedynczych wskaźnikach można uznać za zadawalające.

 

Ad. 3. Skala zadowolenia

Skala zadowolenia składa się z 8 pytań. Na pytania odpowiada się przez zaznaczenie jednej odpowiedzi na skali pięciostopniowej umieszczonej pod pytaniem. Poprzez analizę czynnikową wyróżniono dwa wskaźniki zadowolenia z pracy z oprogramowaniem:

1.      zadowolenie wyrażające się chęcią używania programu lub polecenia go innym

2.      zadowolenie z właściwości i jakości programu.

Po wyróżnieniu dwóch wskaźników zadowolenia z pracy z programem komputerowym, sprawdzono wskaźniki rzetelności poprzez zbadanie spójności wewnętrznej czynników (alfa Cronbacha).

Wartości alfa Cronbacha dla wskaźników zadowolenia prezentuje Tabela 2.

 

Tabela 2. Wartości alfa Cronbacha dla wskaźników zadowolenia

Wskaźniki

N

wartości alfa Cronbacha

zadowolenie z właściwości i jakości programu

42

0,70

zadowolenie wyrażające się chęcią zastosowania lub polecenia innym

42

0,74

 

Wskaźniki rzetelności dla obydwu podskal są dość wysokie przy uwzględnieniu, że zawierają one tylko 4 pozycje. Świadczy to o rzetelności tej części kwestionariusza.

 

Trafność metody

Trafność teoretyczną kwestionariusza sprawdzono za pomocą badania wewnętrznej struktury testu. Założono, że pomiędzy poszczególnymi skalami istnieją korelacje:

1.      skale uciążliwości – skale zadowolenia = korelacja odwrotna (ujemna)

2.      ocena właściwości programów – skale uciążliwości = korelacja odwrotna (ujemna)

3.      ocena właściwości programów – skale zadowolenia = korelacja dodatnia

Powyższe założenia sprawdzono za pomocą obliczenia wskaźników korelacji (r Pearsona) pomiędzy poszczególnymi skalami. Wyniki korelacji prezentuje Tabela 3.

 

Tabela 3. Wyniki korelacji (r Pearsona) pomiędzy poszczególnymi skalami kwestionariusza.

 

 

SKALE KWESTIONARIUSZA

r Pearsona

1

2

3

4

5

1.

uciążliwość spowodowana utratą kontroli

 

2.

uciążliwość spowodowana jakością i czytelnością informacji

0,19

 

3.

uciążliwość spowodowana niewystarczającym wsparciem ze strony programu

0,22

0,33*

 

4.

zadowolenie z właściwości i jakości programu

-0,27 (t)

-0,64***

-0,33*

 

5.

zadowolenie wyrażające się chęcią zastosowania lub polecenia innym

-0,21

-0,66***

-0,33*

0,56***

 

(t) – istotność różnic na poziomie tendencji p< 0,1 * p<0,05                          **p<0,01                          ***p< 0,001

 

Jak pokazuje Tabela 3 wszystkie stwierdzone korelacje pomiędzy skalami zadowolenia i uciążliwości mają znak ujemny, co potwierdziło przedstawione wcześniej założenia teoretyczne.

Sprawdzono również wskaźniki korelacji pomiędzy skalami uciążliwości i zadowolenia a wszystkimi właściwościami programu komputerowego.

Założono, że ocena właściwości oprogramowania powinna korelować dodatnio ze skalami zadowolenia (dobre oceny właściwości programów powodują zadowolenie z programu) oraz ujemnie ze skalami uciążliwości (dobre oceny właściwości programów powodują zmniejszenie uciążliwości).

 

Tabela 4. Wyniki korelacji (r Pearsona) pomiędzy skalami zadowolenia i uciążliwości a pozycjami dotyczącymi właściwości oprogramowania (wpisano tylko korelacje z różnicami istotnymi statystycznie).

 

POZYCJE DOTYCZĄCE WŁAŚCIWOŚCI OPROGRAMOWANIA

r Pearsona

skale zadowolenia

skale uciążliwości

1

2

3

4

5

P1. Czy szybko wykonuje się zadania w tym programie?

 

0,35*

 

-0,60***

 

P2. Czy zdarzają się sytuacje, że nie wiesz co się dzieje z programem?

0,45**

0,36*

-0,47**

-0,37*

 

P3. Czy zdarzają się sytuacje, że program wykonał czynność, której nie planowałeś?

0,49 **

0,56***

-0,40**

-0,50**

 

P4. Czy funkcje programu pozwalają na wykonanie wszystkich planowanych zadań w pracy?

0,27(t)

0,38*

 

-0,31*

-0,48**

P5. Czy symbole graficzne są adekwatne do odpowiadających im funkcji ?

0,37*

0,60***

 

-0,61***

 

P6. Czy znaki graficzne są czytelne ?

0,44**

0,33*

 

-0,64***-

-0,29 (t)

P7. Czy w programie występują komunikaty, których nie rozumiesz?

0,32*

0,31*

-0,36*

-0,42**

-0,44**

P8. Czy prezentacja informacji jest czytelna ?

0,40**

0,37*

-0,26(t)

-0,60***

 

P9. Czy w programie występuje funkcja pomocy (help)?

sk. odp.(0;1)

 

 

 

 

 

P10. Czy funkcja pomocy pozwala na łatwe znalezienie rozwiązania problemu?

0,37*

0,33*

 

 

-0,61***

P11. Czy w trakcie pracy z programem często występują komunikaty o błędach?

0,41**

0,27(t)

 

 

 

P12. Czy komunikaty o błędach są zrozumiałe?

 

 

 

 

-0,65***

P13. Czy elementy interfejsu na monitorze można  zaprojektować (umiejscowić) wg własnych preferencji?

 

 

 

-0,52**

-0,33*

P14. Czy często odkrywa Pan(i) możliwości programu, których nie znał(a) Pan(i) wcześniej?

(pytanie odrzucone po badaniach rzetelności kwestionariusza)

 

 

0,28(t)

 

 

P15. Czy łatwo wykonuje się zadania w tym programie?

0,50**

0,61***

 

-0,50**

 

P16. Czy łatwo nauczyć się obsługi programu?

0,44**

0,30(t)

 

-0,33*

 

P17. Czy łatwo porozumiewać się z programem?

0,41**

0,40**

 

-0,45**

 

P18. Czy występowały problemy przy instalacji tego programu?

 

 

 

 

 

(t) – istotność różnic na poziomie tendencji p< 0,1 * p<0,05      **p<0,01      ***p< 0,001

1.       zadowolenie z właściwości i jakości programu

2.       zadowolenie wyrażające się chęcią zastosowania lub polecenia innym

3.       uciążliwość spowodowana utratą kontroli

4.       uciążliwość spowodowana jakością i czytelnością informacji

5.       uciążliwość spowodowana niewystarczającym wsparciem ze strony programu

 

 

Wyniki zaprezentowane w Tabeli 4 potwierdzają wstępne założenia teoretyczne. Wszystkie stwierdzone korelacje pomiędzy właściwościami oprogramowania a skalami zadowolenia mają znak dodatni. Natomiast wszystkie korelacje ze skalami uciążliwości mają znak ujemny, poza korelacją z pytaniem 14, które zostało usunięte w poprawionej wersji kwestionariusza.