Uživatelské testování (úkol do metodologie): Porovnání verzí
Z WikiKnihovna
| (Není zobrazeno 38 mezilehlých verzí od jednoho dalšího uživatele.) | |||
| Řádek 1: | Řádek 1: | ||
== Úvodní charakteristika uživatelského testování == | == Úvodní charakteristika uživatelského testování == | ||
| − | Hlavním cílem metody uživatelského testování (dále jen UT) je získání dat, vycházejících z chování člověka, který využívá určitý produkt či službu, a jejich následné zhodnocení, které by mělo přispět k vylepšení testovaného produktu či služby. | + | Hlavním cílem metody uživatelského testování (dále jen UT) je získání dat, vycházejících z chování člověka, který využívá určitý produkt či službu, a jejich následné zhodnocení, které by mělo přispět k vylepšení testovaného produktu či služby.<ref name="beckandmanuel">BECK & MANUEL 2008</ref> |
| − | Přestože základní poznatky vycházejí z chování uživatele, primárním bodem uživatelského testování je vždy objekt, který je testován, jelikož cílem je získat takové poznatky, které nám umožní daný objekt co nejvíce přiblížit k uživatelsky přívětivému fungování - použitelnosti. Použitelnost je soubor vlastností objektu, které vedou ke snadnému a intuitivnímu ovládání objektu uživatelem. | + | Přestože základní poznatky vycházejí z chování uživatele, primárním bodem uživatelského testování je vždy objekt, který je testován, jelikož cílem je získat takové poznatky, které nám umožní daný objekt co nejvíce přiblížit k uživatelsky přívětivému fungování - použitelnosti. Použitelnost je soubor vlastností objektu, které vedou ke snadnému a intuitivnímu ovládání objektu uživatelem.<ref name="beckandmanuel"/> |
Jak uvádějí Norlin and Winters neměli bychom zapomínat na hlavní zásady použitelnosti: | Jak uvádějí Norlin and Winters neměli bychom zapomínat na hlavní zásady použitelnosti: | ||
| Řádek 10: | Řádek 10: | ||
#Uživatelské testování je jednoduché, ale elegantní. | #Uživatelské testování je jednoduché, ale elegantní. | ||
#Pamatujte si, že použitelnost je vždy o zlepšení výkonu skrz design. | #Pamatujte si, že použitelnost je vždy o zlepšení výkonu skrz design. | ||
| − | #Zlepšete design produktu/objektu a testujte znovu. | + | #Zlepšete design produktu/objektu a testujte znovu.<ref>Tamtéž str. 122-123</ref> |
| − | Obsahem UT je řízený experiment, na jehož základě zkoumáme produkt či službu. A to tak, že si identifikujeme cíle, kterých má objekt dosáhnout. Stanovíme si postupy či scénáře testování a metodu jejich vyhodnocení. Také je potřeba zvolit měřítka pro hodnocení spokojenosti uživatelů. To mám umožní správnou analýzu získaných dat. | + | Obsahem UT je řízený experiment, na jehož základě zkoumáme produkt či službu. A to tak, že si identifikujeme cíle, kterých má objekt dosáhnout. Stanovíme si postupy či scénáře testování a metodu jejich vyhodnocení. Také je potřeba zvolit měřítka pro hodnocení spokojenosti uživatelů. To mám umožní správnou analýzu získaných dat.<ref>Tamtéž str.111</ref> |
Studie, které se zabývají použitelností, a jejich součástí by tedy mělo být UT, by podle Rubin (2004) měly sestávat z těchto základních bodů. | Studie, které se zabývají použitelností, a jejich součástí by tedy mělo být UT, by podle Rubin (2004) měly sestávat z těchto základních bodů. | ||
| Řádek 20: | Řádek 20: | ||
#Využít testovacích úloh, které představují aktuální fungování produktu. | #Využít testovacích úloh, které představují aktuální fungování produktu. | ||
#Kontrolované pozorování a dotazování by mělo být součástí testování. | #Kontrolované pozorování a dotazování by mělo být součástí testování. | ||
| − | #Sběr kvalitativních i kvantitativních dat pro definování výkonu produktu a požadavků uživatelů. | + | #Sběr kvalitativních i kvantitativních dat pro definování výkonu produktu a požadavků uživatelů.<ref>Tamtéž str.121</ref> |
| − | |||
| − | |||
| − | + | UT jsou charakteristické následujícími znaky. UT nepotvrzuje a nevyvrací hypotézy, ale snaží vytvořit cestu k vyřešení nějakého problému či dosažení cíle. Klademe si otázky, které se vztahují k tématu a snažíme se na ně, pomocí UT, najít odpovědi.<ref>Tamtéž str.118</ref> | |
| − | + | Co se týká kvantity, výzkumný vzorek není příliš velký. Zde platí pravidlo méně je více. Pro UT bychom mohli vystačit i s jedním uživatelem, ale podle Steva Kruga je ideálním počtem 3 až 4 účastníci v rámci jednoho kola testování. Steve Krug uvádí, že v prvním kole testování respondenti odhalí většinu problémů, ale i tak je potřebné, aby testování probíhalo v několika rovinách, kdy každé další testování v sobě odráží zkušenosti z předcházejícího.<ref>KRUG 2006 str.114</ref> | |
| − | |||
| − | |||
== Kdy je vhodné tento design/tuto metodu použít? == | == Kdy je vhodné tento design/tuto metodu použít? == | ||
| − | S pomocí uživatelského testování odhalíme problémy, se kterými se uživatelé potýkají při průchodu naší službou. Díky tomu můžeme zjistit, proč jsou některé služby málo využívány, i když jsou pro uživatele přínosné. Jak uvádí Steve Krug: „Pokud chcete mít skvělý server, musíte ho testovat. Jakmile pracujete na serveru několik týdnů, nebude vám už nikdy připadat svěží. Víte o něm příliš mnoho a zda skutečně funguje, zjistíte jen jeho otestováním. Testování vám připomene, že ne každý přemýšlí stejným způsobem jako vy.“ | + | S pomocí uživatelského testování odhalíme problémy, se kterými se uživatelé potýkají při průchodu naší službou. Díky tomu můžeme zjistit, proč jsou některé služby málo využívány, i když jsou pro uživatele přínosné. Jak uvádí Steve Krug: „Pokud chcete mít skvělý server, musíte ho testovat. Jakmile pracujete na serveru několik týdnů, nebude vám už nikdy připadat svěží. Víte o něm příliš mnoho a zda skutečně funguje, zjistíte jen jeho otestováním. Testování vám připomene, že ne každý přemýšlí stejným způsobem jako vy.“<ref>Tamtéž str. 115</ref><br/><br/>Z toho důvodu by testování nemělo probíhat pouze těsně před dokončením služby, ale mělo by odehrávat v průběhu celého vývoje. Uživatelské testování lze použít v jakékoliv části vývoje webu dokonce i když máme pouze papírový náčrtek. Jak takový test probíhá se můžete podívat v tomto videu: [http://www.youtube.com/watch?v=GrV2SZuRPv0 http://www.youtube.com/watch?v=GrV2SZuRPv0] Po každém provedeném testování by měla přijít fáze opravy zjištěných chyb.<br/><br/>Uživatelské testování je vhodné provádět: |
#na začátku vývoje nové služby | #na začátku vývoje nové služby | ||
| Řádek 42: | Řádek 38: | ||
<br/>Nejdůležitější částí uživatelského testování je testování na začátku služby, kdy je ještě dostatek času na případné opravy a změny. Změny které se provádějí v již spuštěné službě se často mohou projevit negativně zvláště po finanční stránce a případném odlivu části uživatelů, kteří nepřímou změny. | <br/>Nejdůležitější částí uživatelského testování je testování na začátku služby, kdy je ještě dostatek času na případné opravy a změny. Změny které se provádějí v již spuštěné službě se často mohou projevit negativně zvláště po finanční stránce a případném odlivu části uživatelů, kteří nepřímou změny. | ||
| − | |||
| − | |||
| − | |||
| − | |||
== Jaké jsou výhody a nevýhody? == | == Jaké jsou výhody a nevýhody? == | ||
| − | '''Výhody:'''<ref name=" | + | '''Výhody:'''<ref name="beckandmanuel">Beck & Manuel 2008</ref> |
*V porovnání s dotazníky a rozhovory, je uživatelské testování důvěryhodnější, protože popisuje uživatele tak jak se chovají, ne tak jak říkají nebo si myslí že se chovají. | *V porovnání s dotazníky a rozhovory, je uživatelské testování důvěryhodnější, protože popisuje uživatele tak jak se chovají, ne tak jak říkají nebo si myslí že se chovají. | ||
| Řádek 55: | Řádek 47: | ||
*UT může být použito jako ověření informací získaných z jiných studií. Navíc dává výzkumným pracovníkům data s daleko větším stupňem rozlišovací schopnosti než data získaná z dotazníků a rozhovorů. | *UT může být použito jako ověření informací získaných z jiných studií. Navíc dává výzkumným pracovníkům data s daleko větším stupňem rozlišovací schopnosti než data získaná z dotazníků a rozhovorů. | ||
| − | *Pomocí UT můžeme „dolovat“ informace z uživatelů, kteří nechtějí nebo nemohou diskutovat o zkoumaném tématu. Například děti nebo pacienti s Alzheimerovou chorobou. Někteří lidé zase nemohou mluvit o svém chování, protože je moc běžné. Například řidiči si nejsou vědomi, že používají směrová světla | + | *Pomocí UT můžeme „dolovat“ informace z uživatelů, kteří nechtějí nebo nemohou diskutovat o zkoumaném tématu. Například děti nebo pacienti s Alzheimerovou chorobou. Někteří lidé zase nemohou mluvit o svém chování, protože je moc běžné. Například řidiči si nejsou vědomi, že používají směrová světla. |
| − | '''Nevýhody:'''<ref name=" | + | '''Nevýhody:'''<ref name="beckandmanuel">Beck & Manuel 2008</ref> |
*Pozorování uživatele může být použito pouze pro zkoumání chování (co člověk dělá); nemůže být použito při zkoumání poznávání (co si člověk myslí) nebo vlivu (jak se člověk cítí). | *Pozorování uživatele může být použito pouze pro zkoumání chování (co člověk dělá); nemůže být použito při zkoumání poznávání (co si člověk myslí) nebo vlivu (jak se člověk cítí). | ||
| Řádek 70: | Řádek 62: | ||
==== Vzdálené testování a zpětná vazba ==== | ==== Vzdálené testování a zpětná vazba ==== | ||
| − | '''Výhody:'''<ref name= | + | '''Výhody:'''<ref name=bolt>BOLT 2010</ref> |
*Levné | *Levné | ||
| Řádek 77: | Řádek 69: | ||
*Demokratizace uživatelského testování (stále více lidí využívá testování a nepotřebují si kvůli tomu najímat odborníky) | *Demokratizace uživatelského testování (stále více lidí využívá testování a nepotřebují si kvůli tomu najímat odborníky) | ||
| − | '''Nevýhody:'''<ref name= | + | '''Nevýhody:'''<ref name=bolt/> |
*Bezpečnost (může dojít k úniků informací o utajeném prototypu) | *Bezpečnost (může dojít k úniků informací o utajeném prototypu) | ||
| Řádek 86: | Řádek 78: | ||
==== Laboratorní uživatelské testování ==== | ==== Laboratorní uživatelské testování ==== | ||
| − | Ve zkratce se jedná o tyto hlavní body:<ref> | + | Ve zkratce se jedná o tyto hlavní body:<ref>ŠPANIHEL 2012</ref> |
*Dražší, ale často nejlepší. | *Dražší, ale často nejlepší. | ||
| Řádek 96: | Řádek 88: | ||
'''Think aloud protokoly („přemýšlení nahlas“)''' | '''Think aloud protokoly („přemýšlení nahlas“)''' | ||
| − | *Výsledky se mohou lišit v závislosti na tom, kdo prováděl sezení<ref> | + | *Výsledky se mohou lišit v závislosti na tom, kdo prováděl sezení<ref>WILDEMUTH 2009</ref> |
| − | *''„...přítomnost moderátora během testování zkresluje výsledky“''<ref name=" | + | *''„...přítomnost moderátora během testování zkresluje výsledky“''<ref name="spanihel01">ŠPANIHEL 2009</ref> |
'''Testování s oční kamerou (eye tracking)''' | '''Testování s oční kamerou (eye tracking)''' | ||
| Řádek 106: | Řádek 98: | ||
'''PEEP metoda''' | '''PEEP metoda''' | ||
| − | ''PEEP neboli "Post Evaluation Eyetracked Protocol" můžeme volně (a hodně kostrbatě) přeložit jako "následné vyhodnocení záznamů sledování pohybu očí"''<ref name=" | + | ''PEEP neboli "Post Evaluation Eyetracked Protocol" můžeme volně (a hodně kostrbatě) přeložit jako "následné vyhodnocení záznamů sledování pohybu očí"''<ref name="spanihel01">_</ref> |
| − | Výhody:<ref name=" | + | '''Výhody''':<ref name="spanihel01">_</ref> |
*Testera nerozptyluje přítomnost dalšího člověka | *Testera nerozptyluje přítomnost dalšího člověka | ||
| Řádek 114: | Řádek 106: | ||
*V případě nouze si musí poradit sám | *V případě nouze si musí poradit sám | ||
| − | Nevýhody:<ref name=" | + | '''Nevýhody''':<ref name="spanihel01">_</ref> |
*Náročnější příprava, zabere více času | *Náročnější příprava, zabere více času | ||
| Řádek 123: | Řádek 115: | ||
V prvom rade je dôležité aké stránky, služba či funkcia sa budú testovať. | V prvom rade je dôležité aké stránky, služba či funkcia sa budú testovať. | ||
| − | Je nutné zamieriť užívateľské testovanie na osoby, ktoré sú s veľkou pravdepodobnosťou cieľovou skupinou webu.<br/>Nie je výhodou čo najväčšie množstvo testovaných, omnoho významnejšia je kvalita výskumu a zameranie sa na hĺbkový pohľad na jednotlivé funkcie a podniknuté kroky.<br/>Keďže sa jedná o “osobný” spôsob výskumu, založený na ľudskom správaní, aj príprava by mala prebehnúť v čo najľudskejších rozmeroch. Užívateľ sa pri testovaní musí cítiť pohodlne a uvoľnené, nemal by mať pocit, že je skúšaný. Z toho dôvodu je výhodou vzdialené testovanie, kedy môže test prebehnúť v pohodlí domova užívateľa. Avšak v tomto prípade vyvstávajú iné problémy (viď kapitola Výhody a nevýhody užívateľského testovania).<br/><br/>Hlavné je dať testovanému pred samotným výskumom zrozumiteľné pokyny a vyzvať ho, aby čo najviac komunikoval a komentoval svoju činnosť. Nemal by mať strach vytknúť webu negatíva, prípadne neprehľadnosť. Nemal by mať pocit, že tým ublíži človeku, ktorý s ním test vykonáva - je preto dobré v ňom vzbudiť dojem neutrálnosti.<br/>Je možné ho i do istej miery nasmerovať k jednotlivým krokom. Nepostrádateľnou pomôckou je správne formulovanie otázok. (napr.: Kam by ste klikli, aby ste sa zalogovali? Čo by ste urobili potom? Prečo si myslíte, že je to práve toto? etc). Susan E. Beck a Kate Manuel radia aby sa počiatočná úloha, či problém definovali pomocou príbehu, pretože príbehy sú pre ľudí najviac zrozumiteľné (Predstavte si, že...).<br/><br/>Podľa marketingovej agentúry | + | Je nutné zamieriť užívateľské testovanie na osoby, ktoré sú s veľkou pravdepodobnosťou cieľovou skupinou webu.<br/>Nie je výhodou čo najväčšie množstvo testovaných, omnoho významnejšia je kvalita výskumu a zameranie sa na hĺbkový pohľad na jednotlivé funkcie a podniknuté kroky.<br/>Keďže sa jedná o “osobný” spôsob výskumu, založený na ľudskom správaní, aj príprava by mala prebehnúť v čo najľudskejších rozmeroch. Užívateľ sa pri testovaní musí cítiť pohodlne a uvoľnené, nemal by mať pocit, že je skúšaný. Z toho dôvodu je výhodou vzdialené testovanie, kedy môže test prebehnúť v pohodlí domova užívateľa. Avšak v tomto prípade vyvstávajú iné problémy (viď kapitola Výhody a nevýhody užívateľského testovania).<br/><br/>Hlavné je dať testovanému pred samotným výskumom zrozumiteľné pokyny a vyzvať ho, aby čo najviac komunikoval a komentoval svoju činnosť. Nemal by mať strach vytknúť webu negatíva, prípadne neprehľadnosť. Nemal by mať pocit, že tým ublíži človeku, ktorý s ním test vykonáva - je preto dobré v ňom vzbudiť dojem neutrálnosti.<br/>Je možné ho i do istej miery nasmerovať k jednotlivým krokom. Nepostrádateľnou pomôckou je správne formulovanie otázok. (napr.: Kam by ste klikli, aby ste sa zalogovali? Čo by ste urobili potom? Prečo si myslíte, že je to práve toto? etc). Susan E. Beck a Kate Manuel radia aby sa počiatočná úloha, či problém definovali pomocou príbehu, pretože príbehy sú pre ľudí najviac zrozumiteľné (Predstavte si, že...).<ref name="beckandmanuel"/><br/><br/>Podľa marketingovej agentúry H1.cz by malo užívateľké testovanie použiteľnosti pozostávať z nasledujúcich krokov: |
#Osobné stretnutie s testovanými a príprava scenára | #Osobné stretnutie s testovanými a príprava scenára | ||
| Řádek 130: | Řádek 122: | ||
#Analýza testovaním ziskaných dát a návrh riešenia nedostatkov | #Analýza testovaním ziskaných dát a návrh riešenia nedostatkov | ||
| − | <br/>Ukážka užívateľského testovania na prednáške ''Pozorováním nic nenahradíš'' podľa Lukáša Marvana a Martina Koptu (zo spoločnosti | + | <br/>Ukážka užívateľského testovania na prednáške ''Pozorováním nic nenahradíš'' podľa Lukáša Marvana a Martina Koptu (zo spoločnosti <a href="http://www.seznam.cz/">Seznam.cz</a> na konferencii <a href="http://lmt.knihovna.cz/">Library Marketing Tuesday</a> http://vimeo.com/album/2072412/video/49005953 <br/><br/>Jacob Nielsen popisuje, ako testovať užívateľský design: http://www.youtube.com/watch?v=r0A6IW2TFFI |
== Jaké jsou příklady využití tohoto designu v ISK? == | == Jaké jsou příklady využití tohoto designu v ISK? == | ||
| − | V oblasti knihovnictví se uživatelské testování využívá hlavně od dob, kdy knihovny provozují vlastní webové stránky. UT se také využívá při přizpůsobování komerčně produkovaných online katalogů, portálů eletronických zdrojů, bibliografických a fulltextových databází aj. UT je také využitelné pro ostatní knihovnické "produkty", jako jsou online semináře, samoobslužné systémy, uspořádání regálů v knihovně aj.<ref | + | V oblasti knihovnictví se uživatelské testování využívá hlavně od dob, kdy knihovny provozují vlastní webové stránky. UT se také využívá při přizpůsobování komerčně produkovaných online katalogů, portálů eletronických zdrojů, bibliografických a fulltextových databází aj. UT je také využitelné pro ostatní knihovnické "produkty", jako jsou online semináře, samoobslužné systémy, uspořádání regálů v knihovně aj.<ref name="beckandmanuel"/> Příklady využití UT v knihovní vědě: |
==== Zjišťování, jak studenti vyhledávají na webových stránkách knihovny<br/> ==== | ==== Zjišťování, jak studenti vyhledávají na webových stránkách knihovny<br/> ==== | ||
| − | Cílem tohoto UT bylo testování čerstvě redesignovaných webových stránek knihovny University of Illinois v Chicagu za účelem zjistit, jak zde uživatelé vyhledávají informace, což je důležitým podkladem pro další upravení stránek a služeb knihovny. Testování probíhalo s 12 účastníky a sestávalo z testů o 20 úkolech, přičemž jeden úkol trval 3 minuty. Během výzkumu byla použita metoda verbálního protokolu. Výsledky testování naznačují, že navzdory jasnému designu stránek si uživatelé stále nejsou vědomi existence knihovnických zdrojů a nástrojů a neumí je použít. Dalším problémem pro studenty je použití knihovnické terminologie, kterou neumí interpretovat - je třeba více instrukcí a vysvětlivek pro uživatele a užití jasnějšího jazyka. Studie dále poukazuje na to, že studenti jsou zvyklí používat vyhledávače, spíše než se k výsledku "proklikat" hierarchickým uspořádáním stránek - potřeba vytvořit výkonné vyhledávače a metadata. <ref>AUGUSTINE | + | Cílem tohoto UT bylo testování čerstvě redesignovaných webových stránek knihovny University of Illinois v Chicagu za účelem zjistit, jak zde uživatelé vyhledávají informace, což je důležitým podkladem pro další upravení stránek a služeb knihovny. Testování probíhalo s 12 účastníky a sestávalo z testů o 20 úkolech, přičemž jeden úkol trval 3 minuty. Během výzkumu byla použita metoda verbálního protokolu. Výsledky testování naznačují, že navzdory jasnému designu stránek si uživatelé stále nejsou vědomi existence knihovnických zdrojů a nástrojů a neumí je použít. Dalším problémem pro studenty je použití knihovnické terminologie, kterou neumí interpretovat - je třeba více instrukcí a vysvětlivek pro uživatele a užití jasnějšího jazyka. Studie dále poukazuje na to, že studenti jsou zvyklí používat vyhledávače, spíše než se k výsledku "proklikat" hierarchickým uspořádáním stránek - potřeba vytvořit výkonné vyhledávače a metadata. <ref name=augustine>AUGUSTINE 2002</ref> |
==== Jak vyhledám článek? Nahlédnutí z uživatelské studie webu ==== | ==== Jak vyhledám článek? Nahlédnutí z uživatelské studie webu ==== | ||
| − | Cílem této části studie bylo poznat, jak uživatelé postupují při hledání článků na webových stránkách knihovny Western Michigan University. Zúčastnilo se 50 účastníků reprezentujících fakulty, absolventy a vysokoškolské knihovny. Kompletní UT sestávalo z 20 úkolů, na vyhledávání článků byly zaměřeny 3 oddělené úlohy. Úkolem bylo nalézt název článku z časopisu, z odborného časopisu a novinový článek. V době testování měla domovská stránka knihovny 6 hlavních voleb, mezi nimi tlačítko "Zdroje pro vyhledávání", které odkazuje na databáze a rejstříky. Závěr uživatelského testování ukazuje, že uživatelé nerozumí procesu vyhledávání článků, k jejich vyhledávání většinou používají namísto databáze online katalog. Dále mají problém s rozdíly mezi populárním a odborným časopisem a nerozumí termínům jako jsou seriály, periodika, odborný časopis, databáze a rejstříky. Mnoho uživatelů neví o jakýchkoli konihovnických zdrojích mimo online katalog. Řešením problému je přizpůsobení webových stránek uživatelům - poskytnout odborné vedení, vytvořit návody popisující krok za krokem, jak najít článek nebo knihu. Propojit online katalog se zbytkem stránek - v online katalogu vytvořit možnost "Najít článek" a "Databáze a rejstříky". Přidat slovníček knihovnických termínů a specializovanou terminologii užívat střídmě. <ref>COCKRELL | + | Cílem této části studie bylo poznat, jak uživatelé postupují při hledání článků na webových stránkách knihovny Western Michigan University. Zúčastnilo se 50 účastníků reprezentujících fakulty, absolventy a vysokoškolské knihovny. Kompletní UT sestávalo z 20 úkolů, na vyhledávání článků byly zaměřeny 3 oddělené úlohy. Úkolem bylo nalézt název článku z časopisu, z odborného časopisu a novinový článek. V době testování měla domovská stránka knihovny 6 hlavních voleb, mezi nimi tlačítko "Zdroje pro vyhledávání", které odkazuje na databáze a rejstříky. Závěr uživatelského testování ukazuje, že uživatelé nerozumí procesu vyhledávání článků, k jejich vyhledávání většinou používají namísto databáze online katalog. Dále mají problém s rozdíly mezi populárním a odborným časopisem a nerozumí termínům jako jsou seriály, periodika, odborný časopis, databáze a rejstříky. Mnoho uživatelů neví o jakýchkoli konihovnických zdrojích mimo online katalog. Řešením problému je přizpůsobení webových stránek uživatelům - poskytnout odborné vedení, vytvořit návody popisující krok za krokem, jak najít článek nebo knihu. Propojit online katalog se zbytkem stránek - v online katalogu vytvořit možnost "Najít článek" a "Databáze a rejstříky". Přidat slovníček knihovnických termínů a specializovanou terminologii užívat střídmě. <ref name=cockrell>COCKRELL 2002</ref> |
==== Uživatelské testování knihovny Univerzity Tomáše Bati ve Zlíně ==== | ==== Uživatelské testování knihovny Univerzity Tomáše Bati ve Zlíně ==== | ||
| − | Testování proběhlo v květnu 2012. Projekt připravila knihovna UTB ve spolupráci se společností Seznam.cz. "Uživatelské testování knihovny má přiblížit, jak vypadá první styk studenta s knihovnou, zda je schopný se zorientovat v základních službách a zdrojích, jakým způsobem si poradí nejen s první výpůjčkou, ale také s vyhledáváním v databázích, na jaké naráží problémy apod." <ref name= | + | Testování proběhlo v květnu 2012. Projekt připravila knihovna UTB ve spolupráci se společností Seznam.cz. "Uživatelské testování knihovny má přiblížit, jak vypadá první styk studenta s knihovnou, zda je schopný se zorientovat v základních službách a zdrojích, jakým způsobem si poradí nejen s první výpůjčkou, ale také s vyhledáváním v databázích, na jaké naráží problémy apod." <ref name=biernatova>BIERNÁTOVÁ 2012</ref> Účastnilo se 5 středoškolských studentů, délka testování byla 1,5 hodiny. Studenti měli za úkol vypůjčit a zarezervovat knihu, objednat knihu meziknihovní výpůjčkou a najít odborný zdroj v databázi a vytisknout výstup. Výsledky testování poukazují na několik problémů - studenti se často neumí správně zeptat, mají problém s použitím knihovnického slangu a s označeními, kterým nerozumí. Stejně tak nerozumí řazení knih podle MDT, jsou zvyklí na řazení dle žánru a autora. Dalším problémem jsou odborné databáze, do kterých studenti nedokážou najít cestu, hledají často na Googlu a ve Wikipedii. Možným řešením je vytvoření manuálu pro nováčky, FAQ, exkurze do knihovny atd.<ref name=biernatova/> |
== Poznámky == | == Poznámky == | ||
| Řádek 153: | Řádek 145: | ||
== Použitá literatura == | == Použitá literatura == | ||
| − | *AUGUSTINE, Susan a Courtney GREENE. Discovering How Students Search a Library Web Site: A Usability Case Study. College & Research Libraries [online]. 2002, roč. 63, č. 4, s. 354-365 [cit. 2012-10-11]. Dostupné z: http://crl.acrl.org/content/63/4/354.full.pdf+html | + | |
| − | *BECK, E. Susan a MANUEL, Kate. Practical Research Methods for Librarians and Information Professionals. Vyd. 1. New York: Neal-Schuman Publishers, 2008. ISBN 9781555705916. | + | *AUGUSTINE, Susan a Courtney GREENE. ''Discovering How Students Search a Library Web Site: A Usability Case Study.'' College & Research Libraries [online]. 2002, roč. 63, č. 4, s. 354-365 [cit. 2012-10-11]. Dostupné z: [http://crl.acrl.org/content/63/4/354.full.pdf+html http://crl.acrl.org/content/63/4/354.full.pdf+html] |
| − | *BOLT, Nate. Pros and Cons of Remote Usability Testing. In | + | *BECK, E. Susan a MANUEL, Kate. ''Practical Research Methods for Librarians and Information Professionals.'' Vyd. 1. New York: Neal-Schuman Publishers, 2008. ISBN 9781555705916. |
| − | *COCKRELL, Barbara J. a Elaine Anderson JAYNE. How do I find an article? Insights from a web usability study. The Journal of Academic Librarianship. 2002, roč. 28, č. 3, s. 122-132. Dostupné z: http://www.sciencedirect.com.ezproxy.muni.cz/science/article/pii/S0099133302002793 | + | *BIERNÁTOVÁ, Olga. Uživatelské testování knihovny. In ''INFORUM 2012'' [online]. 2012 [cit. 2012-10-12]. Dostupné z: [http://www.inforum.cz/pdf/2012/biernatova-olga-1.pdf http://www.inforum.cz/pdf/2012/biernatova-olga-1.pdf] |
| − | *KRUG, Steve. Web design: nenuťte uživatele přemýšlet!. 2. aktualiz. vyd. Překlad Jan Škvařil. Brno: Computer Press, 2006, 167 s. ISBN 80-251-1291-8. | + | *BOLT, Nate. Pros and Cons of Remote Usability Testing. In ''Johnny Holland: It's all about interaction'' [online]. June 2, 2010 [cit. 2012-10-10]. Dostupné z: [http://johnnyholland.org/2010/06/pros-and-cons-of-remote-usability-testing/ http://johnnyholland.org/2010/06/pros-and-cons-of-remote-usability-testing/] |
| − | *RUBIN, Jeffrey. Handbook of usability testing: how to plan, design, and conduct effective tests. | + | *COCKRELL, Barbara J. a Elaine Anderson JAYNE. ''How do I find an article? Insights from a web usability study.'' The Journal of Academic Librarianship. 2002, roč. 28, č. 3, s. 122-132. Dostupné z: [http://www.sciencedirect.com.ezproxy.muni.cz/science/article/pii/S0099133302002793 http://www.sciencedirect.com.ezproxy.muni.cz/science/article/pii/S0099133302002793] |
| − | *ŠPANIHEL, Jakub. Nástroje testování použitelnosti. In: | + | *KRUG, Steve. ''Web design: nenuťte uživatele přemýšlet!.'' 2. aktualiz. vyd. Překlad Jan Škvařil. Brno: Computer Press, 2006, 167 s. ISBN 80-251-1291-8. |
| − | * | + | *RUBIN, Jeffrey. ''Handbook of usability testing: how to plan, design, and conduct effective tests.'' Vyd. 2. Indianapolis: Wiley. ISBN 978-0-470-18548-3. |
| − | + | *ŠPANIHEL, Jakub. ''Nástroje testování použitelnosti.'' In: ''UX Wiki'' [online]. 2012-02-28T12:34:07+0100 [cit. 2012-10-10]. Dostupné z: http://uzivatelsketestovani.cz/wiki/doku.php/testovani-pouzitelnosti/start | |
| − | * | + | *ŠPANIHEL, Jakub. ''Uživatelské testování jinak. Nově a lépe.''Creative Digital Agency'' [online]. 22. 5. 2009 [cit. 2012-10-12]. Dostupné z: http://www.symbio.cz/clanky/uzivatelske-testovani-jinak-nove-a-lepe.html |
| + | *WILDEMUTH, Barbara M. ''Applications of social research methods to questions in information and library science.'' Westport, Conn.: Libraries Unlimited, 2009, 421 s. ISBN 15-915-8503-1. | ||
Aktuální verze z 6. 1. 2013, 17:52
Úvodní charakteristika uživatelského testování
Hlavním cílem metody uživatelského testování (dále jen UT) je získání dat, vycházejících z chování člověka, který využívá určitý produkt či službu, a jejich následné zhodnocení, které by mělo přispět k vylepšení testovaného produktu či služby.[1]
Přestože základní poznatky vycházejí z chování uživatele, primárním bodem uživatelského testování je vždy objekt, který je testován, jelikož cílem je získat takové poznatky, které nám umožní daný objekt co nejvíce přiblížit k uživatelsky přívětivému fungování - použitelnosti. Použitelnost je soubor vlastností objektu, které vedou ke snadnému a intuitivnímu ovládání objektu uživatelem.[1]
Jak uvádějí Norlin and Winters neměli bychom zapomínat na hlavní zásady použitelnosti:
- Vždy mějte na paměti uživatele.
- Uživatelské testování je jednoduché, ale elegantní.
- Pamatujte si, že použitelnost je vždy o zlepšení výkonu skrz design.
- Zlepšete design produktu/objektu a testujte znovu.[2]
Obsahem UT je řízený experiment, na jehož základě zkoumáme produkt či službu. A to tak, že si identifikujeme cíle, kterých má objekt dosáhnout. Stanovíme si postupy či scénáře testování a metodu jejich vyhodnocení. Také je potřeba zvolit měřítka pro hodnocení spokojenosti uživatelů. To mám umožní správnou analýzu získaných dat.[3]
Studie, které se zabývají použitelností, a jejich součástí by tedy mělo být UT, by podle Rubin (2004) měly sestávat z těchto základních bodů.
- Stanovit si výzkumný problém nebo cíle, nikoli hypotézy.
- Využít reprezentativní vzorek, který není náhodný.
- Využít testovacích úloh, které představují aktuální fungování produktu.
- Kontrolované pozorování a dotazování by mělo být součástí testování.
- Sběr kvalitativních i kvantitativních dat pro definování výkonu produktu a požadavků uživatelů.[4]
UT jsou charakteristické následujícími znaky. UT nepotvrzuje a nevyvrací hypotézy, ale snaží vytvořit cestu k vyřešení nějakého problému či dosažení cíle. Klademe si otázky, které se vztahují k tématu a snažíme se na ně, pomocí UT, najít odpovědi.[5]
Co se týká kvantity, výzkumný vzorek není příliš velký. Zde platí pravidlo méně je více. Pro UT bychom mohli vystačit i s jedním uživatelem, ale podle Steva Kruga je ideálním počtem 3 až 4 účastníci v rámci jednoho kola testování. Steve Krug uvádí, že v prvním kole testování respondenti odhalí většinu problémů, ale i tak je potřebné, aby testování probíhalo v několika rovinách, kdy každé další testování v sobě odráží zkušenosti z předcházejícího.[6]
Kdy je vhodné tento design/tuto metodu použít?
S pomocí uživatelského testování odhalíme problémy, se kterými se uživatelé potýkají při průchodu naší službou. Díky tomu můžeme zjistit, proč jsou některé služby málo využívány, i když jsou pro uživatele přínosné. Jak uvádí Steve Krug: „Pokud chcete mít skvělý server, musíte ho testovat. Jakmile pracujete na serveru několik týdnů, nebude vám už nikdy připadat svěží. Víte o něm příliš mnoho a zda skutečně funguje, zjistíte jen jeho otestováním. Testování vám připomene, že ne každý přemýšlí stejným způsobem jako vy.“[7]
Z toho důvodu by testování nemělo probíhat pouze těsně před dokončením služby, ale mělo by odehrávat v průběhu celého vývoje. Uživatelské testování lze použít v jakékoliv části vývoje webu dokonce i když máme pouze papírový náčrtek. Jak takový test probíhá se můžete podívat v tomto videu: http://www.youtube.com/watch?v=GrV2SZuRPv0 Po každém provedeném testování by měla přijít fáze opravy zjištěných chyb.
Uživatelské testování je vhodné provádět:
- na začátku vývoje nové služby
- v průběhu vývoje, abychom odstranily případné chyby
- před spuštěním služby, pro vyladění detailů
- když už naše služba funguje, abychom zjistili proč je naše služba málo využívána
Nejdůležitější částí uživatelského testování je testování na začátku služby, kdy je ještě dostatek času na případné opravy a změny. Změny které se provádějí v již spuštěné službě se často mohou projevit negativně zvláště po finanční stránce a případném odlivu části uživatelů, kteří nepřímou změny.
Jaké jsou výhody a nevýhody?
Výhody:[1]
- V porovnání s dotazníky a rozhovory, je uživatelské testování důvěryhodnější, protože popisuje uživatele tak jak se chovají, ne tak jak říkají nebo si myslí že se chovají.
- UT může být použito jako ověření informací získaných z jiných studií. Navíc dává výzkumným pracovníkům data s daleko větším stupňem rozlišovací schopnosti než data získaná z dotazníků a rozhovorů.
- Pomocí UT můžeme „dolovat“ informace z uživatelů, kteří nechtějí nebo nemohou diskutovat o zkoumaném tématu. Například děti nebo pacienti s Alzheimerovou chorobou. Někteří lidé zase nemohou mluvit o svém chování, protože je moc běžné. Například řidiči si nejsou vědomi, že používají směrová světla.
Nevýhody:[1]
- Pozorování uživatele může být použito pouze pro zkoumání chování (co člověk dělá); nemůže být použito při zkoumání poznávání (co si člověk myslí) nebo vlivu (jak se člověk cítí).
- Finanční a časová náročnost. Jedno testovací sezení může trvat i několik hodin, při kterých musíme platit výzkumníky, dobrovolníky a v některých případech i pronájem prostor.
- Pozorování uživatelů je náchylné k zaujatosti výzkumníka.
- UT moc dobře nefunguje s lidmi, kteří mají tendence se ptát výzkumníka hned jak narazí na problém.
Porovnání metod uživatelského testování
To co je pro jednu metodu uživatelského testování výhodou, může být naopak pro jinou nevýhodou.
Vzdálené testování a zpětná vazba
Výhody:[8]
- Levné
- Domácí prostředí uživatele
- Geografická rozmanitost uživatelů
- Demokratizace uživatelského testování (stále více lidí využívá testování a nepotřebují si kvůli tomu najímat odborníky)
Nevýhody:[8]
- Bezpečnost (může dojít k úniků informací o utajeném prototypu)
- Někteří uživatelé nemají možnost z technických důvodů použít funkci „sdílení-obrazovky“, která je nutná pro vzdálené testování
- V domácím prostředí nemůžeme použít speciální nástroje co jsou pouze v laboratoři
- Nemožnost zachytit celé uživatelovo tělo a chování
Laboratorní uživatelské testování
Ve zkratce se jedná o tyto hlavní body:[9]
- Dražší, ale často nejlepší.
- Je třeba zapojit řadu lidí.
- Vyžaduje detailní přípravu scénáře.
Dále záleží na použité testovací metodě.
Think aloud protokoly („přemýšlení nahlas“)
- Výsledky se mohou lišit v závislosti na tom, kdo prováděl sezení[10]
- „...přítomnost moderátora během testování zkresluje výsledky“[11]
Testování s oční kamerou (eye tracking)
- Výhodou této metody je její exaktnost. Výstup dat z tohoto testování je ve formě „tepelných“ map (heatmaps).
- Nevýhodou je nutnost vlastnit speciální oční kameru.
PEEP metoda
PEEP neboli "Post Evaluation Eyetracked Protocol" můžeme volně (a hodně kostrbatě) přeložit jako "následné vyhodnocení záznamů sledování pohybu očí"[11]
Výhody:[11]
- Testera nerozptyluje přítomnost dalšího člověka
- Cítí se příjemněji a tolik se nestydí
- V případě nouze si musí poradit sám
Nevýhody:[11]
- Náročnější příprava, zabere více času
- „musíme pečlivě vybírat a správně formulovat všechny úkoly“
Jak takový výzkum probíhá?
V prvom rade je dôležité aké stránky, služba či funkcia sa budú testovať.
Je nutné zamieriť užívateľské testovanie na osoby, ktoré sú s veľkou pravdepodobnosťou cieľovou skupinou webu.
Nie je výhodou čo najväčšie množstvo testovaných, omnoho významnejšia je kvalita výskumu a zameranie sa na hĺbkový pohľad na jednotlivé funkcie a podniknuté kroky.
Keďže sa jedná o “osobný” spôsob výskumu, založený na ľudskom správaní, aj príprava by mala prebehnúť v čo najľudskejších rozmeroch. Užívateľ sa pri testovaní musí cítiť pohodlne a uvoľnené, nemal by mať pocit, že je skúšaný. Z toho dôvodu je výhodou vzdialené testovanie, kedy môže test prebehnúť v pohodlí domova užívateľa. Avšak v tomto prípade vyvstávajú iné problémy (viď kapitola Výhody a nevýhody užívateľského testovania).
Hlavné je dať testovanému pred samotným výskumom zrozumiteľné pokyny a vyzvať ho, aby čo najviac komunikoval a komentoval svoju činnosť. Nemal by mať strach vytknúť webu negatíva, prípadne neprehľadnosť. Nemal by mať pocit, že tým ublíži človeku, ktorý s ním test vykonáva - je preto dobré v ňom vzbudiť dojem neutrálnosti.
Je možné ho i do istej miery nasmerovať k jednotlivým krokom. Nepostrádateľnou pomôckou je správne formulovanie otázok. (napr.: Kam by ste klikli, aby ste sa zalogovali? Čo by ste urobili potom? Prečo si myslíte, že je to práve toto? etc). Susan E. Beck a Kate Manuel radia aby sa počiatočná úloha, či problém definovali pomocou príbehu, pretože príbehy sú pre ľudí najviac zrozumiteľné (Predstavte si, že...).[1]
Podľa marketingovej agentúry H1.cz by malo užívateľké testovanie použiteľnosti pozostávať z nasledujúcich krokov:
- Osobné stretnutie s testovanými a príprava scenára
- Určenie cieľovej skupiny
- Samotné testovanie
- Analýza testovaním ziskaných dát a návrh riešenia nedostatkov
Ukážka užívateľského testovania na prednáške Pozorováním nic nenahradíš podľa Lukáša Marvana a Martina Koptu (zo spoločnosti <a href="http://www.seznam.cz/">Seznam.cz</a> na konferencii <a href="http://lmt.knihovna.cz/">Library Marketing Tuesday</a> http://vimeo.com/album/2072412/video/49005953
Jacob Nielsen popisuje, ako testovať užívateľský design: http://www.youtube.com/watch?v=r0A6IW2TFFI
Jaké jsou příklady využití tohoto designu v ISK?
V oblasti knihovnictví se uživatelské testování využívá hlavně od dob, kdy knihovny provozují vlastní webové stránky. UT se také využívá při přizpůsobování komerčně produkovaných online katalogů, portálů eletronických zdrojů, bibliografických a fulltextových databází aj. UT je také využitelné pro ostatní knihovnické "produkty", jako jsou online semináře, samoobslužné systémy, uspořádání regálů v knihovně aj.[1] Příklady využití UT v knihovní vědě:
Zjišťování, jak studenti vyhledávají na webových stránkách knihovny
Cílem tohoto UT bylo testování čerstvě redesignovaných webových stránek knihovny University of Illinois v Chicagu za účelem zjistit, jak zde uživatelé vyhledávají informace, což je důležitým podkladem pro další upravení stránek a služeb knihovny. Testování probíhalo s 12 účastníky a sestávalo z testů o 20 úkolech, přičemž jeden úkol trval 3 minuty. Během výzkumu byla použita metoda verbálního protokolu. Výsledky testování naznačují, že navzdory jasnému designu stránek si uživatelé stále nejsou vědomi existence knihovnických zdrojů a nástrojů a neumí je použít. Dalším problémem pro studenty je použití knihovnické terminologie, kterou neumí interpretovat - je třeba více instrukcí a vysvětlivek pro uživatele a užití jasnějšího jazyka. Studie dále poukazuje na to, že studenti jsou zvyklí používat vyhledávače, spíše než se k výsledku "proklikat" hierarchickým uspořádáním stránek - potřeba vytvořit výkonné vyhledávače a metadata. [12]
Jak vyhledám článek? Nahlédnutí z uživatelské studie webu
Cílem této části studie bylo poznat, jak uživatelé postupují při hledání článků na webových stránkách knihovny Western Michigan University. Zúčastnilo se 50 účastníků reprezentujících fakulty, absolventy a vysokoškolské knihovny. Kompletní UT sestávalo z 20 úkolů, na vyhledávání článků byly zaměřeny 3 oddělené úlohy. Úkolem bylo nalézt název článku z časopisu, z odborného časopisu a novinový článek. V době testování měla domovská stránka knihovny 6 hlavních voleb, mezi nimi tlačítko "Zdroje pro vyhledávání", které odkazuje na databáze a rejstříky. Závěr uživatelského testování ukazuje, že uživatelé nerozumí procesu vyhledávání článků, k jejich vyhledávání většinou používají namísto databáze online katalog. Dále mají problém s rozdíly mezi populárním a odborným časopisem a nerozumí termínům jako jsou seriály, periodika, odborný časopis, databáze a rejstříky. Mnoho uživatelů neví o jakýchkoli konihovnických zdrojích mimo online katalog. Řešením problému je přizpůsobení webových stránek uživatelům - poskytnout odborné vedení, vytvořit návody popisující krok za krokem, jak najít článek nebo knihu. Propojit online katalog se zbytkem stránek - v online katalogu vytvořit možnost "Najít článek" a "Databáze a rejstříky". Přidat slovníček knihovnických termínů a specializovanou terminologii užívat střídmě. [13]
Uživatelské testování knihovny Univerzity Tomáše Bati ve Zlíně
Testování proběhlo v květnu 2012. Projekt připravila knihovna UTB ve spolupráci se společností Seznam.cz. "Uživatelské testování knihovny má přiblížit, jak vypadá první styk studenta s knihovnou, zda je schopný se zorientovat v základních službách a zdrojích, jakým způsobem si poradí nejen s první výpůjčkou, ale také s vyhledáváním v databázích, na jaké naráží problémy apod." [14] Účastnilo se 5 středoškolských studentů, délka testování byla 1,5 hodiny. Studenti měli za úkol vypůjčit a zarezervovat knihu, objednat knihu meziknihovní výpůjčkou a najít odborný zdroj v databázi a vytisknout výstup. Výsledky testování poukazují na několik problémů - studenti se často neumí správně zeptat, mají problém s použitím knihovnického slangu a s označeními, kterým nerozumí. Stejně tak nerozumí řazení knih podle MDT, jsou zvyklí na řazení dle žánru a autora. Dalším problémem jsou odborné databáze, do kterých studenti nedokážou najít cestu, hledají často na Googlu a ve Wikipedii. Možným řešením je vytvoření manuálu pro nováčky, FAQ, exkurze do knihovny atd.[14]
Poznámky
- ↑ 1,0 1,1 1,2 1,3 1,4 1,5 BECK & MANUEL 2008 Chybná citace: Neplatná značka
<ref>; název „beckandmanuel“ použit vícekrát s různým obsahem Chybná citace: Neplatná značka<ref>; název „beckandmanuel“ použit vícekrát s různým obsahem - ↑ Tamtéž str. 122-123
- ↑ Tamtéž str.111
- ↑ Tamtéž str.121
- ↑ Tamtéž str.118
- ↑ KRUG 2006 str.114
- ↑ Tamtéž str. 115
- ↑ 8,0 8,1 BOLT 2010
- ↑ ŠPANIHEL 2012
- ↑ WILDEMUTH 2009
- ↑ 11,0 11,1 11,2 11,3 ŠPANIHEL 2009 Chybná citace: Neplatná značka
<ref>; název „spanihel01“ použit vícekrát s různým obsahem Chybná citace: Neplatná značka<ref>; název „spanihel01“ použit vícekrát s různým obsahem Chybná citace: Neplatná značka<ref>; název „spanihel01“ použit vícekrát s různým obsahem - ↑ AUGUSTINE 2002
- ↑ COCKRELL 2002
- ↑ 14,0 14,1 BIERNÁTOVÁ 2012
Použitá literatura
- AUGUSTINE, Susan a Courtney GREENE. Discovering How Students Search a Library Web Site: A Usability Case Study. College & Research Libraries [online]. 2002, roč. 63, č. 4, s. 354-365 [cit. 2012-10-11]. Dostupné z: http://crl.acrl.org/content/63/4/354.full.pdf+html
- BECK, E. Susan a MANUEL, Kate. Practical Research Methods for Librarians and Information Professionals. Vyd. 1. New York: Neal-Schuman Publishers, 2008. ISBN 9781555705916.
- BIERNÁTOVÁ, Olga. Uživatelské testování knihovny. In INFORUM 2012 [online]. 2012 [cit. 2012-10-12]. Dostupné z: http://www.inforum.cz/pdf/2012/biernatova-olga-1.pdf
- BOLT, Nate. Pros and Cons of Remote Usability Testing. In Johnny Holland: It's all about interaction [online]. June 2, 2010 [cit. 2012-10-10]. Dostupné z: http://johnnyholland.org/2010/06/pros-and-cons-of-remote-usability-testing/
- COCKRELL, Barbara J. a Elaine Anderson JAYNE. How do I find an article? Insights from a web usability study. The Journal of Academic Librarianship. 2002, roč. 28, č. 3, s. 122-132. Dostupné z: http://www.sciencedirect.com.ezproxy.muni.cz/science/article/pii/S0099133302002793
- KRUG, Steve. Web design: nenuťte uživatele přemýšlet!. 2. aktualiz. vyd. Překlad Jan Škvařil. Brno: Computer Press, 2006, 167 s. ISBN 80-251-1291-8.
- RUBIN, Jeffrey. Handbook of usability testing: how to plan, design, and conduct effective tests. Vyd. 2. Indianapolis: Wiley. ISBN 978-0-470-18548-3.
- ŠPANIHEL, Jakub. Nástroje testování použitelnosti. In: UX Wiki [online]. 2012-02-28T12:34:07+0100 [cit. 2012-10-10]. Dostupné z: http://uzivatelsketestovani.cz/wiki/doku.php/testovani-pouzitelnosti/start
- ŠPANIHEL, Jakub. Uživatelské testování jinak. Nově a lépe.Creative Digital Agency [online]. 22. 5. 2009 [cit. 2012-10-12]. Dostupné z: http://www.symbio.cz/clanky/uzivatelske-testovani-jinak-nove-a-lepe.html
- WILDEMUTH, Barbara M. Applications of social research methods to questions in information and library science. Westport, Conn.: Libraries Unlimited, 2009, 421 s. ISBN 15-915-8503-1.
