Masterarbeit: Evaluierung von Usability durch standardisierte qualitative Leitfadeninterviews

Kurzfassung

Verschiedene quantitative Fragebögen werden standardmäßig verwendet, um die Usability, bzw. Gebrauchstauglichkeit einer Benutzerschnittstelle zu bewerten. Im Rahmen einer Projektarbeit wurden derartige Fragebögen analysiert, klassifiziert und zahlreiche, offene Fragen für qualitative Leitfadeninterviews mit Benutzern abgeleitet. Diese Fragen wurden in ein Kategoriensystem eingeordnet. Das dazu erstellte Konzept sieht vor, dass aus den qualitativen Interviewdaten absolute Aussagen zur Benutzerfreundlichkeit und konkrete Usability Schwächen abgeleitet werden. Dieses initiale Konzept wurde in dieser Arbeit auf seine Praxistauglichkeit hin untersucht. Hierfür wurde das Qualitative Usability Konzept sowohl konzeptuell als auch in mehreren Usability Evaluierungen von Nutzerschnittstellen analysiert, verfeinert und seine Tauglichkeit demonstriert.

English version of abstract:
Different quantitative questionnaires are usually used to evaluate the usability of an user interface. Recently, such questionnaires were analyzed, classified and a lot of open-ended questions for semi-structured interviews with users were derived. These questions were arranged in a category system. A concept was developed to derive absolute statements about the usablity of a program and concrete usability weaknesses from the qualitative interview data. In this thesis the initial concept is examined with regard to its practical suitability and capability. For this purpose the qualitative usability concept is analysed and refined not only conceptually but also by conducting several usability evaluations of user interfaces.

Beschreibung des Qualitativen Usability Konzepts

Letztes Jahr wurde ein Konzept zur qualitativen Usability Evaluierung vorgestellt, das mit am Lehrstuhl entwickelt wurde. Es soll Entwickler und Anwender gleichermaßen dabei unterstützen, in möglichst wenigen Iterationen zu einer bedienbaren Benutzeroberfläche zu gelangen. Mit diesem Konzept sollen speziell mobile Anwendungen bewertet werden, die in kritischen Situationen, wie bei bei einem MANV (Massenanfall von Verletzten) eingesetzt werden. Solche Situationen lassen sich nicht realitätsnah im Labor abbilden. Auch gibt es oft keine Vergleichssoftware oder –version für derartige, kritische Systeme. Neben der Usability Evaluierung besteht ein weiteres Ziel des Konzepts darin konkrete Schwächen aufzudecken.

Das Konzept basiert auf Leitfadeninterviews, die aufgezeichnet und mittels qualitativen Untersuchungsmethoden ausgewertet werden. Für den Leitfaden wurden Items aus Standard-Fragebögen gesammelt und von drei Usability Experten kategorisiert. Waren sich zwei der drei Experten über die Kategorisierung einig, wurde das Item bei der Ableitung von offenen Fragen durch einen Usability Experten berücksichtigt. Diese Ableitung wurde relativ frei vorgenommen, Inhalte wurden verallgemeinert und mehrere Items zu einer Frage zusammengefasst. Auf diese Art und Weise wurden 259 potentielle Leifaden-Fragen entwickelt, die entweder einer von ingesamt fünf Hauptkategorien oder einer von insgesamt 21 Unterkategorien zugeordnet wurden. Bei diesen Kategorien handelt es sich zum großen Teil um aus der Literatur bekannte Dimensionen von Usability. Das Konzept sieht vor, dass bei der Auswertung der transkribierten Interviews zusammengefasste Aussagen der Probanden in diese Kategorien eingeordnet werden. Auf Basis der Häufigkeit von positiven, neutralen und negativen Aussagen zu einer Kategorie wird ein quantitativer Usability Wert zu dieser Kategorie berechnet. Die Usability Beurteilung insgesamt kann an ein spezifisches Anwendungsgebiet angepasst werden, indem die (Unter-) Kategorien unterschiedlich gewichtet werden. Durch die gewichteten Usability Werte der einzelnen Kategorien kann dann eine absolute Aussage zur Usability der Software getroffen. Eine derartige Auswertung wurde vor dieser Masterarbeit jedoch noch nicht durchgeführt.

Zusammenfassung der Masterarbeit

In dieser Arbeit wurden verschiedene Aspekte des Qualitative Usability Konzepts iterativ untersucht und weiterentwickelt. Dazu wurden zunächst diverse Aspekte des Konzepts diskutiert und ein konkretes Vorgehensmodell beschrieben.

In einer ersten Iteration wurden zwei Softwareprogramme (Facebook, Google Kalender) mit dem Konzept in seiner Originalversion evaluiert. Durch die statistische Auswertung einer Expertenumfrage wurde hierfür versucht, die wichtigsten Fragen zu jeder Kategorie zu finden. Der darauf basierende Fragebogen erwies sich jedoch als wenig geeignet, um damit Interviews zu führen. Daher wurde ein stärker qualitatives Vorgehen für die restlichen Interviews in der ersten Iteration gewählt. Zudem wurde versucht die Aussagen in das Original-Kategoriensystem einzuordnen, was aufgrund dessen Mangel an Trennschärfe nicht eindeutig möglich war. Abhängigkeiten zwischen den Kategorien auf Basis eines Assoziagramms, in welchem die multiplen Zuordnungen von Fragen zu Kategorien dargestellt wurden, zu erkennen, war wenig erfolgreich. Der Grund hierfür war, dass die Kategorien sich zu stark in den ihnen zugeordneten Fragen überlappten. Daher wurde zu Beginn einer zweiten Iteration die Kategorisierung der Fragen überarbeitet und die Vorgehensweise zur Evaluierung mit dem Konzept verfeinert. In der zweiten Iteration wurde die Usability des nicht-kommerziellen Funktionsumfangs eines Mindmap-Programms namens XMind evaluiert. Die Interviewdaten hierzu, die mit einem hierarchisch gegliederten Leitfadenfragen (L1- und L2-Fragen) erhoben wurden, sind umfassend ausgewertet worden. Hierfür wurden zunächst entsprechend des Konzepts quantitative Usability Werte und konkrete Usability Probleme aus den paraphrasierten und skalierten Aussagen abgeleitet.

Im Anschluss an die Berechnung der absoluten Werte erfolgte ein Vergleich mit den in einer Videoanalyse beobachteten Problemen, wobei die Ergebnisse im Schnitt positiv waren. Außerdem wurden sowohl alle Fragen im Hinblick auf ihre Antworten, als auch das Kategoriensystem analysiert, wobei festgestellt wurde, dass jeweils einzelne Fragen und das Kategoriensystem in Hinblick auf seine Granularität noch verbessert werden müssen. Insgesamt war die Auswertung auf Basis des Konzepts sehr aufwendig. Auf die größte Schwäche des Konzepts ließ sich jedoch anhand der Antworten der Probanden auf die Metafragen schließen. Sie meinten, dass die Fragen so offen formuliert sind, dass sie oft nicht wussten, auf was sie sich in der Antwort beziehen sollen. Sie kritisierten außerdem, dass sie viele Aspekte zu verschiedenen Fragen wiederholten, was ebenfalls darauf hindeutet, dass das Kategoriensystem zu feingliedrig und zu wenig trennscharf ist.

Für Interessierte sind hier die Ausarbeitung und die Folien zum Abschlussvortrag verfügbar:

• Schriftliche Ausarbeitung samt Interviewtranskripte: Masterarbeit_QUK_CarmenRudolph.pdf
• Folien des Abschlussvortrags: Abschlussvortrag_MA_CR_Qual_Us.pdf

Die Usability Schwächen, die in den Interviews angesprochen wurden, waren nicht der eigentliche Fokus der Masterarbeit. Daher wurden diese nicht detailliert ausgewertet, jedoch wurden alle Zitate, die auf Schwächen hindeuten, nach den angesprochenen Elementen der Software zusammengestellt und sortiert:

• Facebook: usability_probleme_facebook.pdf
• Google Kalender: usability_probleme_gcal.pdf