Ocena oprogramowania

 

Kontakt z komputerem i jego oprogramowaniem często bywa stresujący. Dzieje się tak szczególnie wtedy, gdy użytkownik korzysta ze źle funkcjonujących lub źle zaprojektowanych programów. W ostatnim czasie rozwinęły się specjalne metody służące ocenie oprogramowania. Wszystko po to, by użytkownik był bardziej zadowolony z pracy i by systemy były bardziej efektywne.

 

Sposoby oceny oprogramowania

W zakresie oceny oprogramowania wyróżnia się dwa zasadnicze rodzaje ocen (Sikorski,1997):

  • ocenę jakości konstrukcyjnej
  • ocenę jakości użytkowej

Ocena jakości konstrukcyjnej uwzględnia przede wszystkim aspekty techniczne oprogramowania, takie jak niezawodność, łatwość konserwacji, użyteczność, efektywność itp. (Jaszkiewicz, 1997; ISO 9126 za: Sikorski, 1997).

Ocena jakości użytkowej w większym stopniu uwzględnia kontekst użytkownika, tzn. te uwarunkowania pochodzące ze strony użytkownika, które mają wpływ na interakcję z oprogramowaniem. Dlatego w ocenie tej większą wagę przywiązuje się do preferencji, przyzwyczajeń, doświadczenia, wiedzy i wszystkich odczuć użytkownika oprogramowania. I dlatego ta ocena jest głównym przedmiotem badań ergonomistów i psychologów pracy zajmujących się jakością oprogramowania i ocena relacji człowiek - komputer. Można jednak dokonywać ocen jakości bez udziału użytkowników, ale z uwzględnieniem ich hipotetycznego występowania. Oto kilka przykładów takich ocen.

 

Oceny bez udziału użytkowników

Oceny oprogramowania bez udziału użytkowników są ocenami tańszymi i częściej wykorzystywanymi na etapie ich tworzenia i projektowania. Ten rodzaj ocen jest również przydatny w sytuacjach, gdy pojawia się nowy rodzaj oprogramowania, dla którego nie można znaleźć doświadczonych użytkowników. Lewis i Rieman (1994) opisują trzy rodzaje oceny interfejsu bez udziału użytkowników: a) wędrówkę myśli, b) analizę czynności i c) ocenę heurystyczną.

 

a) „Wędrówka myśli”

Technika wędrówki myśli zakłada wczucie się przez osobę oceniającą w sytuację użytkownika i wykonywanie czynności na bazie zakładanej wiedzy użytkownika i informacji wychodzących z systemu. Wszystkie trudności w racjonalnym dojściu do osiągnięcia celu (skutecznym wykonaniu pojedynczego zadania) wskazują na błędy w interfejsie. Zakłada się, że „wędrówka myśli” jest przeznaczona głównie do budowy i projektowania interfejsu, a w mniejszym stopniu do jego oceny.

 

b) Analiza czynności - formalna i nieformalna analiza działań

Analizy czynności można dokonywać na podstawie zbierania różnych rodzajów informacji, za pomocą formalnej i nieformalnej analizy czynności. Formalna analiza działań polega na przeanalizowaniu wszystkich potrzebnych czynności do wykonania zadania i przeliczeniu ich samych lub czasów potrzebnych na ich wykonanie. Średnie czasy dla poszczególnych czynności w pracy z komputerem zostały wyszczególnione w wielu badaniach z rzeczywistymi użytkownikami. Dla przykładu poniższa Tabela przedstawia przybliżone czasy dla wybranych czynności manualnych, percepcyjnych i procesów umysłowych (J.R. Olson; G.M. Olson, 1990)

 

Tabela 1. Przeciętne czasy  czynności i procesów przy obsłudze interfejsu komputerowego (za: Lewis i Rieman , 1994)

RODZAJ CZYNNOŚCI

CZYNNOŚĆ

czas (s)

Uwagi dotyczące różnic pomiarów

CZYNNOŚCI MANUALNE

jedno uderzenie w klawisz na typowej klawiaturze

0,28

od 0,07 s dla wyszkolonej sekretarki do 0,2 s dla typowej maszynistki i ponad 1 s dla osoby początkującej;

wskazanie obiektu kursorem myszy na ekranie

1,5

może być mniej ale ok. 1 s dla małego ekranu lub menu, rośnie dla dużych ekranów i małych obiektów

przenieść rękę do urządzenia wskazującego lub klawisza funkcyjnego

0,3

waha się od 0,21 s dla klawiszy kursorów do 0,36 s dla myszy

PERCEPCJA WZROKOWA

reakcja na krótki sygnał świetlny

0,1

waha się wraz z intensywnością sygnału,  od 0,5 dla jasnego światła do 0,2 s dla przyćmionego

rozpoznanie słowa 6-cio literowego

0,34

 

przeniesienie wzroku do nowego położenia na ekranie

0,23

 

CZYNNOŚCI UMYSŁOWE

przywoływanie prostego obiektu z pamięci krótkotrwałej

1,2

 

nauczyć się prostego „kroku” procedury

25

 

wykonanie „kroku” umysłowego

0,075

waha się od 0,05 do 1 s, zależnie od rodzaju czynności

wybór pomiędzy metodami

1,2

waha się od 0,06 do 1,8, zależnie od złożoności czynników wpływających na decyzję

 

Nieformalna analiza postępowania również polega na wyliczeniu wszystkich koniecznych czynności ale w aspekcie możliwości i przydatności systemu. Potwierdzenia wniosków z tej techniki może przynieść rejestracja czynności użytkowników.

 

c) Ocena heurystyczna

Technika ta polega na samodzielnej ocenie interfejsu przez kilka lub kilkanaście osób z uwzględnieniem wyznaczonych wcześniej schematów postępowania. Następnie wszystkie uwagi i wątpliwości od wszystkich osób oceniających są łączone w jedną listę problemów. Ilość i rodzaj znalezionych trudności zależy od ilości osób oceniających, wiedzy szczegółowej osób oceniających (np. w zakresie konkretnego rodzaju interfejsu) i „jakości” zaleceń. Do najczęściej występujących  heurystyk należą m.in. (Nielsen i Molich , 1990 za: Lewis, Rieman,1994; Nielsen 1994):

  • Sprzężenie zwrotne (na każdą czynność powinna występować reakcja lub informacja systemu)
  • Dostępność (zapewnienie narzędzi i informacji wg potrzeb użytkownika)
  • Prosty i naturalny dialog (prosty dialog wg kolejności wykonywanych czynności)
  • Zastosowanie języka użytkownika (zastosowanie języka, symboli ze środowiska użytkownika)
  • Zmniejszenie obciążenia pamięci krótkotrwałej (brak konieczności zapamiętywania wielu informacji)
  • Potwierdzenie działań (informacja o efekcie działań)
  • Dobrze oznaczone wyjścia (łatwość wyjścia z części nie potrzebnych do realizacji zadań)
  • Możliwość pracy „na skróty”(możliwość automatycznego wydawania poleceń, bez rozbudowanego dialogu)
  • Eliminacja błędów (minimalizacja koniecznych błędów do minimum)

Badania Nielsena (1994b) pokazują, że liczba wykrytych problemów nie jest wprost proporcjonalna ani do liczby osób oceniających, ani do liczby zakładanych przed oceną zasad. Do wykrycia 75% wad i trudności wystarczy 5-ciu dobrze przeszkolonych osób oceniających. Zmniejsza to zarówno czas i koszty oceny.

 

Oceny z udziałem użytkowników

Techniki oceny systemów komputerowych z udziałem użytkowników są bardziej pracochłonne - wymagają doboru reprezentatywnej grupy użytkowników, wyboru typowych zadań oraz zorganizowania eksperymentu umożliwiającego rejestrację potrzebnych parametrów pracy z oprogramowaniem.

Wytypowanie grupy użytkowników jest prostsze w przypadku specjalistycznych programów dla określonej grupy zawodowej (np. dla lekarzy, dentystów, kontrolerów ruchu lotniczego itp.). Programy ogólnoużytkowe, takie jak edytory tekstów, programy graficzne czy bazy danych - mają bardzo szeroką grupę potencjalnych odbiorców - od studentów, przez wszystkie zawody administracyjne, po specjalistów w wąskich dziedzinach naukowych - wszystkich tych, którzy piszą, zbierają dane, rysują itd. Przy tego typu oprogramowaniach wskazane jest skategoryzowanie grupy i wyznaczenie typowych zadań dla każdej oddzielnie.

 

Zbieranie danych o procesie i danych podstawowych (pomiarowych)

Lewis i Rieman (1994) wyróżniają dwa rodzaje informacji  przydatnych do analizowania w trakcie prób z użytkownikami: dane podstawowe i dane o procesie. Podział ten jest przybliżonym odzwierciedleniem omawianej wcześniej formalnej i nieformalnej analizy czynności bez użytkowników. Dane podstawowe uzyskuje się na podstawie pomiarów (np. całkowitego czasu wykonania, czasu pojedynczych czynności, liczby popełnionych błędów, liczby posługiwania się określonymi obiektami). Dane o procesie to analiza postępowania i procesów poznawczych w trakcie pracy z komputerem.

Obydwa rodzaje informacji są przydatne przy ocenie oprogramowania, jednak wymagają one oddzielnych metod uzyskiwania. Zarówno pomiary czasów, jak i kolejne kroki dojścia do celu można analizować za pomocą  rejestracji wideo. Jednak aby poznać tok myślenia osób wykonujących zadania, potrzebna jest autorelacja z własnych działań, wątpliwości, pytań i wyborów. Lewis i Rieman (1994) zwracają uwagę na niebezpieczeństwo jednoczesnej analizy czasów wykonania z autorelacją, która może mieć wpływ na szybkość pracy, a tym samym zniekształcać wyniki czasowe. Autorzy zwracają uwagę, ze nie można nawet założyć, że wypowiadanie myśli w trakcie pracy z komputerem opóźnia wykonywanie zadań u wszystkich osób. U niektórych werbalizacja i zastanawianie się nad wykonywanymi czynnościami, ułatwia zrozumienie i może wpływać pozytywnie na rozwiązywanie zadań.

 

Oceny zastosowane w badaniach  CIOP

W badaniach prowadzonych w CIOP zastosowano techniki zbierania informacji do subiektywnej i obiektywnej oceny oprogramowania. Podział stosowanych metod przedstawia Tabela 2

 

Tabela 2. Podział metod stosowanych w badaniach

Metody obiektywne

(rejestracja pracy użytkownika)

Metody subiektywne

(rejestracja opinii użytkownika)

Analiza zapisu wideo

  • czas wykonania zadania
  • sposób wykonania zadania
  • analiza błędów użytkownika

Metoda kwestionariuszowa

  • właściwości programów
  • zadowolenie z pracy
  • uciążliwości w pracy

 

Wywiad

  • uwagi krytyczne
  • uwagi pozytywne
  • pytania i wątpliwości

 

Bibliografia

Jaszkiewicz A. (1997), Inżynieria oprogramowania, Helion.

Lewis C., Rieman J. (1994), Zadaniowe projektowanie komunikacji z użytkownikiem,

Nielsen J. (1994a), Ten Usability Heuristics, W: http://www.useit.com/papers/heuristic/heuristic_list.html

Nielsen J. (1994b), How to Conduct a Heuristic Evaluation, W: http://www.useit.com/papers/heuristic/heuristic_evaluation.html

Sikorski M. (1997), Ocena jakości użytkowej oprogramowania wspomagającego zarządzanie przedsiębiorstwem. W: Interakcja człowiek – komputer ’97 w rekonstrukcji i modelowaniu procesów gospodarczych oraz tworzeniu zintegrowanych systemów informacyjnych.

Opracował: Andrzej Najmiec

Zobacz także: Kwestionariusz Oceny Oprogramowania