Delphi Metoda: Porovnání verzí
(→Výhody) |
m |
||
| Řádek 1: | Řádek 1: | ||
== Charakteristika metody Delphi == | == Charakteristika metody Delphi == | ||
| − | Pojmenování Delphi jakožto výzkumné metody vychází z názvu mystické antické věštírny. Již toto pojmenování napovídá, že tato technika je založena na předvídání budoucích výsledků, v tomto případě za účasti expertů v daném vědním oboru. Jedná se o techniku využití subjektivních názorů skupiny lidí za účelem nalezení společného konsenzu ohledně přítomnosti nebo budoucnosti.<ref>WILDEMUTH, Barbara M. | + | Pojmenování Delphi jakožto výzkumné metody vychází z názvu mystické antické věštírny. Již toto pojmenování napovídá, že tato technika je založena na předvídání budoucích výsledků, v tomto případě za účasti expertů v daném vědním oboru. Jedná se o techniku využití subjektivních názorů skupiny lidí za účelem nalezení společného konsenzu ohledně přítomnosti nebo budoucnosti.<ref>WILDEMUTH, Barbara M. Applications of social research methods to questions in information and library science. Westport, Conn.: Libraries Unlimited, 2009, s. 83.</ref>''"Delphi může být charakterizované jako metoda pro vytvoření skupinového komunikačního procesu tak, že je proces efektivní v ponechání skupiny jednotlivců jakožto celek se vyrovnat s komplexním problémem. K dosažení této 'strukturované komunikace'je poskytováno: nějaká zpětná vazba ze stran individuálního příspěvku informace či znalosti; nějaké posouzení skupinového rozsudku či názoru; jakási možnost pro jednotlivce revidovat názory; a určitý stupeň anonymity pro jednotlivé odpovědi."''<ref>FISHER, R. G. The Delphi Method : A description, view and criticism. Journal of Academic Librarianship. 1978, 4(2), s. 64-70.</ref><br/>Technika Delphi byla formulována v roce 1969 pod záštitou amerického letectva a sponzorována RAND Corporation. Vycházela z experimentů ohledně utváření rozhodnutí proběhnuvších na jaře a v létě r. 1968. Již tehdy byly formulovány tyto tři prvky: |
*anonymní odpovědi - názory členů musí být získány formálními dotazníky | *anonymní odpovědi - názory členů musí být získány formálními dotazníky | ||
*opakovaná a kontrolovaná odezva - interakce je zefektňována systematickými cvičeními řízenými několikerým opakováním, s pečlivě řízenou odezvou za každým kolem | *opakovaná a kontrolovaná odezva - interakce je zefektňována systematickými cvičeními řízenými několikerým opakováním, s pečlivě řízenou odezvou za každým kolem | ||
| − | *statistická skupinová odpověď - názor skupiny je definován jako přijatelný průnik názorů jednotlivců v konečném kole. | + | *statistická skupinová odpověď - názor skupiny je definován jako přijatelný průnik názorů jednotlivců v konečném kole. |
Tato kritéria byla přijata na zákledě nutnosti omezit vliv dominantní osobnosti vzorku, omezení irelevantní komunikace a tlaku skupinové komformity.<ref>DALKEY, Norman C. UNITED STATES AIR FORCE. The Delphi Method: An Experimental Study of Group Opinion. Santa Monica: Rand, 1969, s. v.</ref> Proto je také metoda Delphi považována za opak komunikace face-to-face. Neprobíhá přímá diskuze. Každý jednotlivec zkoumaného vzorku pracuje samostatně, jediná možná komunikace se skupinou je umožněna skrze hlášení organizovaných skupinových výsledků zpracovaných výzkumníky, většinou ve formě statistických shrnutí. Výzkumníci vyhodnocují dotazníky různými způsoby statistické analýzy, jako vypočítávání průměrů, interkvartilového rozsahu, standartní odchylky, aj. Výsledky jsou poté vráceny účastníkům výzkumu, kteří tak získají přístup k celkovému obrazi skupinového názoru. V této fázi má účastník možnost porovnat svou vlastní odpověď s názorem celé skupiny a rozhodnout se, zda ji změnit, či nikoli, s dalšími opakováními se rozsah názorů obvykle zužuje. | Tato kritéria byla přijata na zákledě nutnosti omezit vliv dominantní osobnosti vzorku, omezení irelevantní komunikace a tlaku skupinové komformity.<ref>DALKEY, Norman C. UNITED STATES AIR FORCE. The Delphi Method: An Experimental Study of Group Opinion. Santa Monica: Rand, 1969, s. v.</ref> Proto je také metoda Delphi považována za opak komunikace face-to-face. Neprobíhá přímá diskuze. Každý jednotlivec zkoumaného vzorku pracuje samostatně, jediná možná komunikace se skupinou je umožněna skrze hlášení organizovaných skupinových výsledků zpracovaných výzkumníky, většinou ve formě statistických shrnutí. Výzkumníci vyhodnocují dotazníky různými způsoby statistické analýzy, jako vypočítávání průměrů, interkvartilového rozsahu, standartní odchylky, aj. Výsledky jsou poté vráceny účastníkům výzkumu, kteří tak získají přístup k celkovému obrazi skupinového názoru. V této fázi má účastník možnost porovnat svou vlastní odpověď s názorem celé skupiny a rozhodnout se, zda ji změnit, či nikoli, s dalšími opakováními se rozsah názorů obvykle zužuje. | ||
| − | ==Příklady výzkumu v ISK== | + | == Příklady výzkumu v ISK == |
| − | |||
| − | |||
| + | === Knihovníci odpovídají na "Reading at Risks" === | ||
| − | == Jak takový výzkum probíhá?== | + | Tato studie byla uspořádána roku 2002 institucí National Endowment of Arts jakožto odpověď knihovníků na výzkum, z nějž vyplynulo, že obzvláště v mladší generaci četba drasticky poklesla. Jedenáct odborníků a lektorů odpovídalo na dotazník zjišťující, zda digitalní média ovlivňují četbu u dětí i dospělých, zda je četba v ohrožení, a jestli pokles čtení dává tušit i erozi v kulturním a občanském dění. Knihovníci se většinou shodli, že digitální média ovlivňují i čas na četbu u dětí, u dospělých tyto výsledky tolik shodné nebyly. Většinou se shodly v tvrzení, že participace v kulturním a občanském životě není nedostatkem četby ovlivněna.<ref>DU, Yunfei. Librarians' responses to "reading at risk": A Delphi study. Library. 2009, roč. 31, č. 1, s. 46-53.</ref> |
| + | |||
| + | |||
| + | |||
| + | == Jak takový výzkum probíhá? == | ||
Jak již napovídá název, zaměřuje se tato metoda na předvídání budoucnosti. | Jak již napovídá název, zaměřuje se tato metoda na předvídání budoucnosti. | ||
První aplikace metody Delphi byly v oblasti vědy a techniky prognózování. Cílem této metody bylo spojit expertízy o pravděpodobnosti a očekávané době vývoje na konkrétní technologii, pomocí jediného ukazatele. Jednou z prvních takových zpráv, připravené v roce 1964 Gordonem a Helmerem, bylo posoudit směr dlouhodobých trendů ve vědě a technologického rozvoje, která zahrnuje témata jako vědecké průlomy, kontrola populace, automatizace, vesmírný pokrok, válečné prevence a zbraňové systémy. Další předpovědi technologie měly co do činění s vozidlem dálničních systémů, průmyslových robotů, inteligentním internetem, širokopásmový připojením a technologií ve vzdělávání. | První aplikace metody Delphi byly v oblasti vědy a techniky prognózování. Cílem této metody bylo spojit expertízy o pravděpodobnosti a očekávané době vývoje na konkrétní technologii, pomocí jediného ukazatele. Jednou z prvních takových zpráv, připravené v roce 1964 Gordonem a Helmerem, bylo posoudit směr dlouhodobých trendů ve vědě a technologického rozvoje, která zahrnuje témata jako vědecké průlomy, kontrola populace, automatizace, vesmírný pokrok, válečné prevence a zbraňové systémy. Další předpovědi technologie měly co do činění s vozidlem dálničních systémů, průmyslových robotů, inteligentním internetem, širokopásmový připojením a technologií ve vzdělávání. | ||
| − | Později byla metoda Delphi použita i v jiných oblastech, zejména v souvislosti s otázkami veřejného pořádku, například ekonomické trendy, zdravotnictví a vzdělávání. WIKI Výsledky vyšly v obchodní prognóze s vysokou přesností, tudíž velmi úspěšně. | + | |
| − | V nynější době se Delphi metoda používá jako nástroj k realizaci multi-přístupů zúčastněných stran pro participativní tvorby politiky v rozvojových zemích. | + | Později byla metoda Delphi použita i v jiných oblastech, zejména v souvislosti s otázkami veřejného pořádku, například ekonomické trendy, zdravotnictví a vzdělávání. WIKI Výsledky vyšly v obchodní prognóze s vysokou přesností, tudíž velmi úspěšně. V nynější době se Delphi metoda používá jako nástroj k realizaci multi-přístupů zúčastněných stran pro participativní tvorby politiky v rozvojových zemích. |
Postup: | Postup: | ||
| − | Nejprve se pro potřeby výzkumu vybírají odborníci z dané problematiky. Hledáním dle seznamu jejich literatury či doporučením významných institucí se vybere | + | |
| + | Nejprve se pro potřeby výzkumu vybírají odborníci z dané problematiky. Hledáním dle seznamu jejich literatury či doporučením významných institucí se vybere | ||
| Řádek 36: | Řádek 40: | ||
*anonymita expertů | *anonymita expertů | ||
| − | *vícekolové dotazování se zpětnou vazbou na předchozí kolo, které expertům umožňuje změnit názor | + | *vícekolové dotazování se zpětnou vazbou na předchozí kolo, které expertům umožňuje změnit názor |
*přehledná prezentace odpovědí | *přehledná prezentace odpovědí | ||
*schopnost prozkoumat bez emocí a objektivně zvolenou problematiku | *schopnost prozkoumat bez emocí a objektivně zvolenou problematiku | ||
| Řádek 43: | Řádek 47: | ||
*je nezávislá na osobnostech expertů | *je nezávislá na osobnostech expertů | ||
| − | V užším slova smyslu Ize Delphi metodu vymezit také jako metodu sběru expertních názorů prostřednictvím vícekolového dotazování s kontrolovanou zpětnou vazbou mezi jednotlivými koly.<ref>LINSTONE, H. A., TUROFF, M. The Delphi method – Techniques and Applications [online]. Addison – Wesley Publishing Company, Reading, Massachusetts, 2002. [cit 2009-01-10].</ref> | + | V užším slova smyslu Ize Delphi metodu vymezit také jako metodu sběru expertních názorů prostřednictvím vícekolového dotazování s kontrolovanou zpětnou vazbou mezi jednotlivými koly.<ref>LINSTONE, H. A., TUROFF, M. The Delphi method – Techniques and Applications [online]. Addison – Wesley Publishing Company, Reading, Massachusetts, 2002. [cit 2009-01-10].</ref> |
| + | |||
*výhoda tkví právě ve vícekolovém dotazování, díky němuž jsou výsledky více objektivní | *výhoda tkví právě ve vícekolovém dotazování, díky němuž jsou výsledky více objektivní | ||
== Nevýhody == | == Nevýhody == | ||
| − | *výběr expertů, stejně jako struktura dotazníku jsou chápány jako nejzranitelnější a též nejkritizovanější komponenty Delphi výzkumu | + | *výběr expertů, stejně jako struktura dotazníku jsou chápány jako nejzranitelnější a též nejkritizovanější komponenty Delphi výzkumu |
*může docházet k nedostatečnému zpětnému zhodnocení výsledků získaných metodou Delphi | *může docházet k nedostatečnému zpětnému zhodnocení výsledků získaných metodou Delphi | ||
*některé Delphi predikce jsou formulovány pro dlouhodobý časový horizont a jejich platnost tak prozatím nemůže být ověřena | *některé Delphi predikce jsou formulovány pro dlouhodobý časový horizont a jejich platnost tak prozatím nemůže být ověřena | ||
| Řádek 62: | Řádek 67: | ||
<references /> | <references /> | ||
| − | ==Použitá literatura== | + | == Použitá literatura == |
| − | DALKEY, Norman C. UNITED STATES AIR FORCE. The Delphi Method: An Experimental Study of Group Opinion. Santa Monica: Rand, 1969. Dostupné z: http://www.rand.org/content/dam/rand/pubs/research_memoranda/2005/RM5888.pdf | + | |
| + | DALKEY, Norman C. UNITED STATES AIR FORCE. The Delphi Method: An Experimental Study of Group Opinion. Santa Monica: Rand, 1969. Dostupné z: <a href="[http://www.rand.org/content/dam/rand/pubs/research_memoranda/2005/RM5888.pdf http://www.rand.org/content/dam/rand/pubs/research_memoranda/2005/RM5888.pdf]">[http://www.rand.org/content/dam/rand/pubs/research_memoranda/2005/RM5888.pdf http://www.rand.org/content/dam/rand/pubs/research_memoranda/2005/RM5888.pdf]</a> | ||
| − | DU, Yunfei. Librarians' responses to "reading at risk": A Delphi study. Library. 2009, roč. 31, č. 1, s. 46-53. ISSN 07408188. DOI: 10.1016/j.lisr.2008.10.006. Dostupné z: http://linkinghub.elsevier.com/retrieve/pii/S0740818808001357 | + | DU, Yunfei. Librarians' responses to "reading at risk": A Delphi study. Library. 2009, roč. 31, č. 1, s. 46-53. ISSN 07408188. DOI: 10.1016/j.lisr.2008.10.006. Dostupné z: <a href="[http://linkinghub.elsevier.com/retrieve/pii/S0740818808001357 http://linkinghub.elsevier.com/retrieve/pii/S0740818808001357]">[http://linkinghub.elsevier.com/retrieve/pii/S0740818808001357 http://linkinghub.elsevier.com/retrieve/pii/S0740818808001357]</a> |
| − | FISHER, R. G. The Delphi Method : A description, view and criticism. ''Journal of Academic Librarianship.'' 1978, 4(2), s. 64-70. | + | FISHER, R. G. The Delphi Method : A description, view and criticism. ''Journal of Academic Librarianship.'' 1978, 4(2), s. 64-70. |
| − | GORDON, T. J. The Delphi Metod (1994) Futures Research Metodology [online]. AC/ UNU Millennium Project. | + | GORDON, T. J. The Delphi Metod (1994) Futures Research Metodology [online]. AC/ UNU Millennium Project. Dostupné z: <<a href="[http://www.gerenciamento.ufba.br/Downloads/delphi http://www.gerenciamento.ufba.br/Downloads/delphi]">[http://www.gerenciamento.ufba.br/Downloads/delphi http://www.gerenciamento.ufba.br/Downloads/delphi]</a> %20(1).pdf>. |
| − | LINSTONE, H. A., TUROFF, M. (1975): The Delphi method – Techniques and Applications. Addison – Wesley Publishing Company, Reading, Massachusetts, 620 s. (dostupné z http://www.is.njit.edu/pubs/delphibook/) | + | LINSTONE, H. A., TUROFF, M. (1975): The Delphi method – Techniques and Applications. Addison – Wesley Publishing Company, Reading, Massachusetts, 620 s. (dostupné z <a href="[http://www.is.njit.edu/pubs/delphibook/ http://www.is.njit.edu/pubs/delphibook/]">[http://www.is.njit.edu/pubs/delphibook/ http://www.is.njit.edu/pubs/delphibook/]</a>) |
WILDEMUTH, Barbara M. ''Applications of social research methods to questions in information and library science.'' Westport, Conn.: Libraries Unlimited, 2009, 421 s. ISBN 15-915-8503-1. | WILDEMUTH, Barbara M. ''Applications of social research methods to questions in information and library science.'' Westport, Conn.: Libraries Unlimited, 2009, 421 s. ISBN 15-915-8503-1. | ||
| + | |||
| + | ---- | ||
Verze z 12. 10. 2012, 22:06
Charakteristika metody Delphi
Pojmenování Delphi jakožto výzkumné metody vychází z názvu mystické antické věštírny. Již toto pojmenování napovídá, že tato technika je založena na předvídání budoucích výsledků, v tomto případě za účasti expertů v daném vědním oboru. Jedná se o techniku využití subjektivních názorů skupiny lidí za účelem nalezení společného konsenzu ohledně přítomnosti nebo budoucnosti.[1]"Delphi může být charakterizované jako metoda pro vytvoření skupinového komunikačního procesu tak, že je proces efektivní v ponechání skupiny jednotlivců jakožto celek se vyrovnat s komplexním problémem. K dosažení této 'strukturované komunikace'je poskytováno: nějaká zpětná vazba ze stran individuálního příspěvku informace či znalosti; nějaké posouzení skupinového rozsudku či názoru; jakási možnost pro jednotlivce revidovat názory; a určitý stupeň anonymity pro jednotlivé odpovědi."[2]
Technika Delphi byla formulována v roce 1969 pod záštitou amerického letectva a sponzorována RAND Corporation. Vycházela z experimentů ohledně utváření rozhodnutí proběhnuvších na jaře a v létě r. 1968. Již tehdy byly formulovány tyto tři prvky:
- anonymní odpovědi - názory členů musí být získány formálními dotazníky
- opakovaná a kontrolovaná odezva - interakce je zefektňována systematickými cvičeními řízenými několikerým opakováním, s pečlivě řízenou odezvou za každým kolem
- statistická skupinová odpověď - názor skupiny je definován jako přijatelný průnik názorů jednotlivců v konečném kole.
Tato kritéria byla přijata na zákledě nutnosti omezit vliv dominantní osobnosti vzorku, omezení irelevantní komunikace a tlaku skupinové komformity.[3] Proto je také metoda Delphi považována za opak komunikace face-to-face. Neprobíhá přímá diskuze. Každý jednotlivec zkoumaného vzorku pracuje samostatně, jediná možná komunikace se skupinou je umožněna skrze hlášení organizovaných skupinových výsledků zpracovaných výzkumníky, většinou ve formě statistických shrnutí. Výzkumníci vyhodnocují dotazníky různými způsoby statistické analýzy, jako vypočítávání průměrů, interkvartilového rozsahu, standartní odchylky, aj. Výsledky jsou poté vráceny účastníkům výzkumu, kteří tak získají přístup k celkovému obrazi skupinového názoru. V této fázi má účastník možnost porovnat svou vlastní odpověď s názorem celé skupiny a rozhodnout se, zda ji změnit, či nikoli, s dalšími opakováními se rozsah názorů obvykle zužuje.
Příklady výzkumu v ISK
Knihovníci odpovídají na "Reading at Risks"
Tato studie byla uspořádána roku 2002 institucí National Endowment of Arts jakožto odpověď knihovníků na výzkum, z nějž vyplynulo, že obzvláště v mladší generaci četba drasticky poklesla. Jedenáct odborníků a lektorů odpovídalo na dotazník zjišťující, zda digitalní média ovlivňují četbu u dětí i dospělých, zda je četba v ohrožení, a jestli pokles čtení dává tušit i erozi v kulturním a občanském dění. Knihovníci se většinou shodli, že digitální média ovlivňují i čas na četbu u dětí, u dospělých tyto výsledky tolik shodné nebyly. Většinou se shodly v tvrzení, že participace v kulturním a občanském životě není nedostatkem četby ovlivněna.[4]
Jak takový výzkum probíhá?
Jak již napovídá název, zaměřuje se tato metoda na předvídání budoucnosti.
První aplikace metody Delphi byly v oblasti vědy a techniky prognózování. Cílem této metody bylo spojit expertízy o pravděpodobnosti a očekávané době vývoje na konkrétní technologii, pomocí jediného ukazatele. Jednou z prvních takových zpráv, připravené v roce 1964 Gordonem a Helmerem, bylo posoudit směr dlouhodobých trendů ve vědě a technologického rozvoje, která zahrnuje témata jako vědecké průlomy, kontrola populace, automatizace, vesmírný pokrok, válečné prevence a zbraňové systémy. Další předpovědi technologie měly co do činění s vozidlem dálničních systémů, průmyslových robotů, inteligentním internetem, širokopásmový připojením a technologií ve vzdělávání.
Později byla metoda Delphi použita i v jiných oblastech, zejména v souvislosti s otázkami veřejného pořádku, například ekonomické trendy, zdravotnictví a vzdělávání. WIKI Výsledky vyšly v obchodní prognóze s vysokou přesností, tudíž velmi úspěšně. V nynější době se Delphi metoda používá jako nástroj k realizaci multi-přístupů zúčastněných stran pro participativní tvorby politiky v rozvojových zemích.
Postup:
Nejprve se pro potřeby výzkumu vybírají odborníci z dané problematiky. Hledáním dle seznamu jejich literatury či doporučením významných institucí se vybere
Přijetí Delphi metody je pro zatím smíšené. Existuje mnoho případů, kdy metoda produkovala špatné výsledky. Někteří autoři tyto chyby připisují špatnému použití metody, a nikoliv slabinám metody samotné. Je třeba také si uvědomit, že předpovídání v oblastech, jako je věda a technologie, je míra nejistoty tak velká, že přesné a vždy správné předpovědi jsou nemožné, takže vysoký stupeň chyb je třeba očekávat.
I přes tyto nedostatky, je dnes metoda Delphi široce přijímaným nástrojem pro odhad a byla úspěšně použita pro tisíce studií.
Výhody
- anonymita expertů
- vícekolové dotazování se zpětnou vazbou na předchozí kolo, které expertům umožňuje změnit názor
- přehledná prezentace odpovědí
- schopnost prozkoumat bez emocí a objektivně zvolenou problematiku
- ideální pro získávání informací o budoucích obecných trendech, žádostivosti určitého jevu a směrech k jeho dosažení
- odstraňuje překážky s dosahováním shody mezi experty v jedné lokalitě
- je nezávislá na osobnostech expertů
V užším slova smyslu Ize Delphi metodu vymezit také jako metodu sběru expertních názorů prostřednictvím vícekolového dotazování s kontrolovanou zpětnou vazbou mezi jednotlivými koly.[5]
- výhoda tkví právě ve vícekolovém dotazování, díky němuž jsou výsledky více objektivní
Nevýhody
- výběr expertů, stejně jako struktura dotazníku jsou chápány jako nejzranitelnější a též nejkritizovanější komponenty Delphi výzkumu
- může docházet k nedostatečnému zpětnému zhodnocení výsledků získaných metodou Delphi
- některé Delphi predikce jsou formulovány pro dlouhodobý časový horizont a jejich platnost tak prozatím nemůže být ověřena
- celý proces vyžaduje značné množství času
- problém s experty s extrémními názory, které raději změní, než aby je vysvětlili
- možnost, že experti nedojdou ke konsensu - shodě
- možný výskyt extrémních hodnot
- je třeba vytvořit podrobný postup pro zodpovídání otázek
- úspěch závisí na vhodném výběru dotazovaných
Poznámky
- ↑ WILDEMUTH, Barbara M. Applications of social research methods to questions in information and library science. Westport, Conn.: Libraries Unlimited, 2009, s. 83.
- ↑ FISHER, R. G. The Delphi Method : A description, view and criticism. Journal of Academic Librarianship. 1978, 4(2), s. 64-70.
- ↑ DALKEY, Norman C. UNITED STATES AIR FORCE. The Delphi Method: An Experimental Study of Group Opinion. Santa Monica: Rand, 1969, s. v.
- ↑ DU, Yunfei. Librarians' responses to "reading at risk": A Delphi study. Library. 2009, roč. 31, č. 1, s. 46-53.
- ↑ LINSTONE, H. A., TUROFF, M. The Delphi method – Techniques and Applications [online]. Addison – Wesley Publishing Company, Reading, Massachusetts, 2002. [cit 2009-01-10].
Použitá literatura
DALKEY, Norman C. UNITED STATES AIR FORCE. The Delphi Method: An Experimental Study of Group Opinion. Santa Monica: Rand, 1969. Dostupné z: <a href="http://www.rand.org/content/dam/rand/pubs/research_memoranda/2005/RM5888.pdf">http://www.rand.org/content/dam/rand/pubs/research_memoranda/2005/RM5888.pdf</a>
DU, Yunfei. Librarians' responses to "reading at risk": A Delphi study. Library. 2009, roč. 31, č. 1, s. 46-53. ISSN 07408188. DOI: 10.1016/j.lisr.2008.10.006. Dostupné z: <a href="http://linkinghub.elsevier.com/retrieve/pii/S0740818808001357">http://linkinghub.elsevier.com/retrieve/pii/S0740818808001357</a>
FISHER, R. G. The Delphi Method : A description, view and criticism. Journal of Academic Librarianship. 1978, 4(2), s. 64-70.
GORDON, T. J. The Delphi Metod (1994) Futures Research Metodology [online]. AC/ UNU Millennium Project. Dostupné z: <<a href="http://www.gerenciamento.ufba.br/Downloads/delphi">http://www.gerenciamento.ufba.br/Downloads/delphi</a> %20(1).pdf>.
LINSTONE, H. A., TUROFF, M. (1975): The Delphi method – Techniques and Applications. Addison – Wesley Publishing Company, Reading, Massachusetts, 620 s. (dostupné z <a href="http://www.is.njit.edu/pubs/delphibook/">http://www.is.njit.edu/pubs/delphibook/</a>)
WILDEMUTH, Barbara M. Applications of social research methods to questions in information and library science. Westport, Conn.: Libraries Unlimited, 2009, 421 s. ISBN 15-915-8503-1.
