Stephen Robertson

Z WikiKnihovna

e-mail: stephenerobertson@hotmail.co.uk


Stephen Robertson

http://www.staff.city.ac.uk/~sb317/ser6l.jpg http://www.staff.city.ac.uk/~sb317/ser6l.jpg

 
Londýn, Spojené království
Datum a
místo úmrtí

 
 
  Londýn, Spojené království
  anglické
Vzdělání PhD Knihovnictví a informační studia University College v Londýně
Pracoviště University College London
  2000: Cena Gerarda Saltona, ACM SIGIR, 1998: Cena Tony Kent Strix, 2013 ACM Fellow
Známý pro Výzkumná práce na získávání informací a frekvenci inverzních dokumentů

Stephen Robertson je britský informační vědec. Emeritní profesor Katedry knihovnictví a informační vědy v City University London. Věnuje se výzkumu se zaměřením na systémy na vyhledávání informací (vyhledávací stroje), modely (zejména statistické) a jejich hodnocení. V soukromém životě se věnuje psaní básní a celkově se zajímá o umění.

ŽIVOT

Ve své práci, kterou zveřejnil v únoru 2019 se věnuje stručné historii vyhledávacích systémů. Článek podrobně popisuje vývoj pravděpodobnostního modelování vyhledávání informací, nejprve v knihovnách, následně pak prostřednictvím webu, od 50. let do současnosti. Robertson zde říká, že: „Pravděpodobností modelování vyhledávání informací má úctyhodnou historii, ale oproti ostatním oborům počítačových věd je tato historie málo známá mimo odborné kruhy“.[1]

Od roku 1998 do roku 2013 pracoval jako výzkumný pracovník ve výzkumné laboratoři společnosti Microsoft Research v Cambridge (Anglie), kde vedl skupinu, která zkoumala procesy jádrového vyhledávání, jako je termínové vážení, skórování dokumentů a algoritmy hodnocení, kombinující důkazy z různých zdrojů a metriky a metody hodnocení a optimalizace vyhledávání. "V dřívějších stádiích historie experimentace s informačním vyhledáváním by jeden mohl mít touhu tvrdit, že základní metodologická práce již byla dokončena, že jsme se již dohodli na společném způsobu, jakým provádět experimenty. Toto tvrzení je ovšem daleko od pravdy. I přes to, že některé nápady zůstaly pozoruhodně stabilní, je obor experimentace s informačním vyhledáváním stejně vzrušující a rychle se měnící, jako tomu bylo i v období mého počátečního ponoření se do tématu, ve dnech Cyrila Cleverdona a Jasona Farradaneho."[2] 

Velká část jeho práce přispěla k vývoji vyhledávače Microsoft Bing . Několikrát se účastnil konference TREC. Byl členem Girton College, Cambridge v letech 2003 až 2013.

Otec Stehena Robertse, profesor Martin Robertson, se věnoval studiu řeckého starověku a psaní poezie. Stephen Robertson se také kromě infovědy zajímá o umění a sám píše poezii. Výběr jeho básní je prezentován na webu The Girton Poetry Group. Se svým synem Colinem Robertsonem, v zastoupení rodiny Kitching, spravuje webovou stránku The Arthur Kitching Gallery a jejich dlouhodobým cílem je vytvořit kompletní katalog díla Arthura Kitchinga. 

To, že se dá informační věda spojit s poezií, dokazuje odkazem na báseň na svém oficiálním webu. "Toto je báseň, kterou mi napsala má kolegyně Susana Jonesová, když jsem se v roce 1998 začal pracovat  společnosti Microsoft." [3]

If

If you can do thesaurus navigations, 
Give every query term its proper weight, 
Retrieve a set for all search formulations, 
Then rank the documents by score and date --

If you can log and analyse transactions, 
Perform word-stemming (either strong or weak), 
And follow feed-back loops with term extractions 
To find the reference enquirers seek --

If you can handle deadlock and collision 
But not betray the bottleneck you're in, 
And learn to balance recall with precision 
Whilst greeting both impostors with a grin --

If you can stand a tough evaluation, 
Maintaining a congenial interface, 
Yours is the key to boundless information, 
And worlds that lie beyond the database!

Susan Jones

 

ZAMĚSTNÁNÍ

  • 2010 - dosud: emeritní profesor, City University, Londýn
  • 2008 - dosud: hostující profesor, University College London
  • 2003 - dosud: člen Girton College Cambridge
  • 1998-2013: vědecký pracovník / výzkumný pracovník společnosti Microsoft Research Cambridge
  • 1988-2009 (částečný úvazek 1998-2009): profesor informačních systémů, Katedra informačních věd, City University, Londýn
  • 1988-1996 vedoucí katedry informačních věd
  • 1978-88: přednášející, pak lektor, Katedra informačních věd, City University, Londýn
  • Duben-červen 1981: hostující docent, University of California Berkeley (Fulbright Award)
  • 1973-78: Královská vědecká společnost pro vědeckou informatiku, Fakulta archivních a informačních studií, University College London
  • 1968-73: vědecký pracovník, Aslib

VZDĚLÁNÍ

  • 1976: PhD knihovnictví a a informační studia University College v Londýně
  • 1968: MSc informační věda City University
  • 1967: BA matematika Trinity College Cambridge (první třída) (MA 1971)

AKTIVITY

  • získávání informací
  • počítače a programování
  • analýza systémů
  • metody výzkumu

VÝZKUMY

  • Série příspěvků k pravděpodobnostnímu modelování vyhledávání informací a návrhu systémů vyhledávání, konkrétně pořadí algoritmů (jeho algoritmus BM25 z roku 1994 je momentálně nejmodernější).
  • Rozsáhlé vyhodnocovací experimenty při vyhledávání informací, včetně účasti na roční soutěži TREC, a příspěvky k metodice hodnocení.
  • Vytvoření výzkumného střediska světové třídy na City University (dva po sobě jdoucí nejlepší výsledky RAE během jeho funkčního období vedoucího oddělení).
  • Vedení skupiny ve společnosti Microsoft Research Cambridge.

VÝZNAM PRO INFORMAČNÍ VĚDU / KNIHOVNICTVÍ

Jeho hlavní výzkumné zájmy jsou o teoriích a modelech pro získávání informací (konkrétně pravděpodobnostní modely), návrh a hodnocení IR systémů. V roce 1976 se s Karenem Sparckem Jonesem podílel na výzkumu o pravděpodobnostní teorii vážení významu, která se v této oblasti stala poměrně významnou. Výsledky práce se Stephenem Walkerem na rozšíření tohoto modelu vedlo k funkci BM25 pro termínové vážení a skórování dokumentů, který nyní používá řada dalších výzkumných skupin. Další prodloužení spolupráce s Hugo Zaragoza a Michaelem Taylorem vedlo k modifikaci Okapi BM25 na BM25F.

OKAPI byl systém pro vyhledávání v knihovním katalogu, experimentální, ale sloužící skutečným uživatelům s reálnými informačními potřebami, na adrese tehdejšího polytechnického centrálního Londýna na počátku 80. let.[4]

 

ÚSPĚCHY

  • 2013: člen Asociace pro výpočetní techniku ​​(ACM)
  • 2003: člen Girton College Cambridge
  • 2000: Cena Gerarda Saltona, ACM SIGIR
  • 1998: Cena Tony Kent Strix, Ústav informačních vědců
  • 1981: Cena Fulbright
  • 1979: člen Ústavu informačních vědců (nyní Chartered Institute of Library and Information Professionals)
  • 1973: Společenství pro výzkum společnosti Royal Society

PUBLIKACE

I. Výzkumné práce v časopisech a monografiích

  1. S.E. Robertson, The parametric description of retrieval tests. Part 1: the basic parametersPart 2: overall measuresJournal of Documentation 25, 1-27, 93-107 (1969).
  2. S.E. Robertson, Specificity and weighted retrieval. Journal of Documentation 30, 41-6 (1974).
  3. S.E. Robertson and D. Teather, A statistical analysis of retrieval tests: a Bayesian approach. Journal of Documentation 30, 273-82 (1974).
  4. S.E. Robertson, Explicit and implicit variables in information retrieval systems. Journal of the American Society for Information Science 26, 214-22 (1975).
  5. S.E. Robertson and K. Spärck Jones, Relevance weighting of search terms. Journal of the American Society for Information Science 27, 129-46 (1976). Reprinted in: P. Willett (ed.), Document Retrieval Systems. Taylor Graham, 1988. (pp 143-160).
  6. N.J. Belkin and S.E. Robertson, Information Science and the phenomenon of information. Journal of the American Society for Information Science 27, 197-204 (1976). Reprinted in: P. Layzell Ward (ed.), The professional development of the librarian and information worker. Aslib, 1980. (pp 15-22).
  7. S.E. Robertson, The probabilistic character of relevance. Information Processing and Management 13, 247-51 (1977).
  8. S.E. Robertson, Progress in Documentation: Theories and models in information retrieval. Journal of Documentation 33, 126-48 (1977). Reprinted in: Progress in Documentation: some themes and topics. Aslib, 1981. (pp 1-23).
  9. S.E. Robertson, The probability ranking principle in IR. Journal of Documentation 33, 294-304 (1977). Reprinted in: K. Spärck Jones and P. Willett (eds), Readings in Information Retrieval. Morgan Kaufmann, 1997. (pp 281-286).
  10. S.E. Robertson, Indexing theory and retrieval effectiveness. Drexel Library Quarterly 14, 40-56 (1978).
  11. S.E. Robertson, On the nature of fuzz: a diatribe. Journal of the American Society for Information Science 29, 304-7 (1978).
  12. S.E. Robertson and N.J. Belkin, Ranking in principle. Journal of Documentation 34, 93-100 (1978).
  13. S.E. Robertson, M.E. Maron and W.S. Cooper, Probability of relevance: a unification of two competing models for information retrieval. Information Technology - Research and Development 1, 1-21 (1982).
  14. J.D. Bovey and S.E. Robertson, An algorithm for weighted searching on a Boolean system. Information Technology 3, 84-8 (1984).
  15. S.E. Robertson and P. Harding, Probabilistic automatic indexing by learning from human indexers. Journal of Documentation 40, 264-70 (1984).
  16. S.E. Robertson, C.L. Thompson, M.J. Macaskill and J.D. Bovey, Weighting, ranking and relevance feedback in a front-end system. Journal of Information Science 12, 71-75 (1986).
  17. S.E. Robertson, On relevance weight estimation and query expansion. Journal of Documentation 42, 182-188 (1986).
  18. E.N. Efthimiadis and S.E. Robertson, Feedback and interaction in information retrieval. In: C. Oppenheim (ed.), Perspectives in Information Management. Butterworths, 1989. (pp 257-272).
  19. S.E. Robertson, On sample sizes for non-matched-pair IR experiments. Information Processing and Management 26, 739-753 (1990).
  20. S.E. Robertson, On term selection for query expansion. Journal of Documentation 46, 359-364 (1990).
  21. M. Hancock-Beaulieu, S.E. Robertson and C. Nielson, Evaluation of online catalogues: eliciting information from the user. Information Processing and Management 27, 523-532 (1991).
  22. S.E. Robertson and M. Hancock-Beaulieu, On the evaluation of IR systems. Information Processing and Management 28, 457-466 (1992).
  23. S.E. Robertson, Query-document symmetry and dual models. Journal of Documentation 50, 233-238 (1994).
  24. S.E. Robertson, S. Walker and M.M. Hancock-Beaulieu, Large test collection experiments on an operational, interactive system: Okapi at TREC. Information Processing and Management 31, 345-360 (1995).
  25. S. Jones, M. Gatford, S.E. Robertson, M. Hancock-Beaulieu, J. Secker and S. Walker, Interactive thesaurus navigation: Intelligence rules OK?? Journal of the American Society for Information Science 46, 52-59 (1995).
  26. S.E.Robertson, Overview of the Okapi projects (p3-7). S.E. Robertson, S. Walker and M. Beaulieu, Laboratory experiments with Okapi: participation in the TREC programme (p20-34). S.E. Robertson and M. Beaulieu, Research and evaluation in information retrieval (p51-57). X. Huang and S.E. Robertson, Application of probabilistic methods to Chinese text retrieval (p74-79). Special issue of Journal of Documentation 53(1), (1997).
  27. A. MacFarlane, S.E. Robertson and J.A. McCann, Parallel computing in information retrieval - an updated review. Journal of Documentation 53, 274-315 (1997).
  28. S.E. Robertson and S. Walker, Threshold setting in adaptive filtering. Journal of Documentation 56, 312-331 (2000).
  29. S.E. Robertson, S. Walker and M. Beaulieu, Experimentation as a way of life: Okapi at TREC. Information Processing and Management 36, 95-108 (2000).
  30. K. Spärck Jones, S. Walker and S.E. Robertson, A probabilistic model of information retrieval: development and comparative experiments. Information Processing and Management 36, Part 1 779-808; Part 2 809-840 (2000).
  31. Y. Kural, S. Robertson and S. Jones, Deciphering cluster representations Information Processing and Management 37, 593-601 (2001).
  32. M. Karamuftuoglu, S. Jones, S. Robertson, F. Venuti and X. Wang, Challenges posed by web-based retrieval of scientific papers: Okapi participation in TIPS. Journal of Information Science 28, 3-17 (2002).
  33. S.E. Robertson, Introduction to the special issue: Overview of the TREC Routing and Filtering tasks. Information Retrieval 5, 127-137 (2002).
  34. S.E. Robertson, Threshold setting and performance optimization in adaptive filtering. Information Retrieval 5, 239-256 (2002).
  35. S.E. Robertson, Comparing the performance of adaptive filtering and ranked output systems. Information Retrieval 5, 257-268 (2002).
  36. S. Jones, O. Vechtomova and S. Robertson, A tool for comparative evaluation in an interactive environment. Journal of Information Science 28, 493-504 (2002).
  37. D. Hawking and S. Robertson, On collection size and retrieval effectiveness. Information Retrieval 6, 99-150 (2003).
  38. O. Vechtomova, S. Robertson and S. Jones, Query expansion with long-span collocates. Information Retrieval 6, 251-273 (2003).
  39. K. Spärck Jones, S. Robertson, D. Hiemstra and H. Zaragoza, Language modelling and relevance. In: W.B. Croft and J. Lafferty (eds.), Language Modelling for Information Retrieval. Kluwer Academic Publishers, 2003. (pp 57-71).
  40. X. Huang, F. Peng, D. Schuurmans, N. Cercone and S.E. Robertson, Applying machine learning to text segmentation for information retrieval. Information Retrieval 6, 333-362 (2003).
  41. D. Bodoff and S. Robertson, A new unified probabilistic model. Journal of the American Society for Information Science and Technology 55, 471-487 (2004).
  42. S. Robertson, Understanding Inverse Document Frequency: On theoretical arguments for IDF. Journal of Documentation 60, 503-520 (2004). Available here, with other related papers.
  43. A. MacFarlane, S.E. Robertson and J.A. McCann, Parallel computing for passage retrieval. Aslib Proceedings 56, 201-211 (2004).
  44. S. Robertson, On event spaces and probabilistic models in information retrieval. Information Retrieval 8, 319-329 (2005).
  45. S. Robertson and J. Callan, Routing and filtering. In: E.M. Voorhees and D.K. Harman (eds.), TREC: Experiments and Evaluation in Information Retrieval. The MIT Press, 2005. (pp 99-121).
  46. S. Robertson, How Okapi came to TREC. In: E.M. Voorhees and D.K. Harman (eds.), TREC: Experiments and Evaluation in Information Retrieval. The MIT Press, 2005. (pp 287-299).
  47. A. MacFarlane, J.A. McCann and S.E. Robertson, Parallel methods for the generation of partitioned inverted files. Aslib Proceedings: New Information Perspectives 57, 434-459 (2005).
  48. O. Vechtomova, M. Karamuftuoglu and S.E.Robertson, On Document Relevance and Lexical Cohesion between Query Terms. Information Processing and Management 42, 1230-1247 (2006).
  49. S. Robertson and H. Zaragoza, On rank-based effectiveness measures and optimization. Information Retrieval 10, 321-339 (2007).
  50. K. Spärck Jones, S.E. Robertson and M. Sanderson, Ambiguous requests: implications for retrieval tests, systems and theories. SIGIR Forum 41 no. 2, 8-17 (2007).
  51. A. MacFarlane, J.A. McCann, S.E. Robertson, Parallel methods for the update of partitioned inverted files. Aslib Proceedings 59 no. 4/5, 367-396 (2007).
  52. J. Wang, S. Robertson, A.P. de Vries and M.J.T. Reinders, Probabilistic relevance ranking for collaborative filtering. Information Retrieval 11, 477-497 (2008).
  53. Stephen Robertson, On the history of evaluation in IR. Journal of Information Science 34 no. 4, 439-456 (2008). Preprint herefinal version here.
  54. Stephen Robertson and Hugo Zaragoza, The Probabilistic Relevance Framework: BM25 and Beyond. Foundations and Trends in Information Retrieval 3 no. 4, 333-389 (2009). Available here,published version here.
  55. John Guiver, Stefano Mizzaro and Stephen Robertson, A few good topics: Experiments in topic set reduction for retrieval evaluation. Transactions on Information Systems 27 no. 4, article no. 21 (2009). Available herepublished version here.
  56. Emine Yilmaz and Stephen Robertson, On the choice of effectiveness measures for learning to rank. Information Retrieval 13 no.3, 271-290 (2010). Available here
  57. Avi Arampatzis and Stephen Robertson, Modeling score distributions in information retrieval. Information Retrieval 14 no. 1, 26-46 (2011). Available here
  58. Leif Azzopardi, Dawei Song, Gabriella Kazai, Stephen Robertson, Stefan M. Rüger, Milad Shokouhi and Emine Yilmaz, Introduction to special issue on the second international conference on the theory of information retrieval. Information Retrieval 14 no. 1, 1-4 (2011). Available here

II. Výzkumné práce prezentované na konferencích a schůzkách

  1. S.E. Robertson, The role of theory in the testing of IR systems. Presented at Informatics 3, Cambridge, 1975. In: K.P. Jones and V. Horsnell (eds.). Informatics 3. Aslib, 1975. (pp 114-123).
  2. N.J. Belkin and S.E. Robertson, Some ethical and political implications of theoretical research in information science. Presented at ASIS, San Francisco, 1976. In: ASIS Proceedings 13, I: 14, II: 597-605 (1976).
  3. S.E. Robertson, Some recent theories and models in information retrieval. Presented at SIRE, Copenhagen, 1977. In: O. Harbo and L. Kajberg (eds.), Theory and applications of information research. Mansell, 1980. (pp 131-37).
  4. S.E. Robertson, An optimal, additive function for probabilistic retrieval. Presented at BCS IRSG Research Colloquium, Leeds, 1978. Synopsis in: Journal of Informatics 2, 6-7 (1978).
  5. S.E. Robertson, Between aboutness and meaning. Presented at Informatics 5, Oxford, 1979. In: M. McCafferty and K. Gray (eds.), The analysis of meaning: Informatics 5. Aslib, 1979. (pp 202-5).
  6. S.E. Robertson, Relevance, retrieval and document spaces. Presented at IRFIS 3, Oslo, 1979. In: T. Henriksen (ed.), Proceedings of IRFIS 3. Statens Bibliotekskole, Oslo, 1979. (pp 225-34).
  7. S.E. Robertson, C.J. van Rijsbergen and M.F. Porter, Probabilistic models of indexing and searching. Presented at Research and development in information retrieval, Cambridge, 1980. In: R.N. Oddy, S.E. Robertson, C.J. van Rijsbergen and P.W. Williams (eds), Information retrieval research. Butterworths, 1981. (pp 35-56).
  8. S.E. Robertson, Term frequency and term value. Presented at Theoretical issues in information retrieval, Berkeley, 1981. In: ACM SIGIR FORUM 16, 22-9 (1981).
  9. S.E. Robertson, M.E. Maron and W.S. Cooper, The unified probabilistic model for IR. Presented at Research and development in information retrieval, Berlin, 1982. In: G. Salton and H.-J. Schneider (eds.), Research and development in information retrieval. Springer-Verlag, Berlin, 1983. (pp 108-17).
  10. S.E. Robertson and C.L.Thompson, Weighted searching: the Cirt experiment. Presented at Informatics 10, York, 1989. In: K.P. Jones (ed.), Informatics 10: Prospects for intelligent retrieval.Aslib, 1990. (pp 153-165).
  11. Papers with various co-authors, presented at TREC conferences, published in the proceedings and available from the TREC website, 1992 to date.
  12. S.E. Robertson and S. Walker, Some simple effective approximations to the 2-Poisson model for probabilistic weighted retrieval. Presented at SIGIR 94, Dublin, 1994. In: W.B. Croft and C.J. van Rijsbergen (eds.), SIGIR '94. Springer-Verlag, 1994. (pp 232-241). Reprinted in: K. Spärck Jones and P. Willett (eds), Readings in Information Retrieval. Morgan Kaufmann, 1997. (pp 345-354).
  13. A. MacFarlane, S.E. Robertson and J.A. McCann, On concurrency control for inverted files. In: F.C. Johnson (ed.), Proceedings of the 18th BCS IRSG Annual Colloquium on Information Retrieval Research, March 26-27 1996. BCS IRSG, 1996 (pp 67-79).
  14. S.E. Robertson and S. Walker, On relevance weights with little relevance information. Presented at SIGIR 97, Philadephia, 1997. In: N.J. Belkin, A.D. Narasimhalu and P. Willett (eds), SIGIR '97. ACM, 1997. (pp 16-24).
  15. V. Manglano, M. Beaulieu and S. Robertson, Evaluation of interfaces for IRS: modelling end-user searching behaviour. Presented at IRSG 98, Autrans, France, 1998. In: BCS-IRSG Annual Colloquium on IR Research 1998, BCS Workshops in Computing, 1998.
  16. A. MacFarlane, J.A. McCann and S.E. Robertson, PLIERS: A Parallel Information Retrieval System using MPI. In: J. Dongarra, E. Luque, T. Margalef (eds), Recent Advances in Parallel Virtual Machine and Message Passing Interface. (Proceedings of 6th European PVM/MPI Users' Group Meeting, Barcelona, Spain, September 1999), LNCS 1697, 1999.
  17. Stephen Robertson, Salton Award Lecture: On theoretical argument in information retrieval. Talk given at SIGIR 2000, Athens, July 2000. ACM SIGIR Forum 34, 1, Spring 2000. (pp 1--10).
  18. A. MacFarlane, J.A. McCann and S.E. Robertson, Parallel Search using partitioned Inverted Files. In: P. de la Fuente (ed), Proceedings of SPIRE 2000: the 7th International Symposium on String Processing and Information Retrieval, La Coruna, Spain, 27-29 September 2000. IEEE Computer Society Press, 2000. (pp 209-220).
  19. D. Hiemstra and S. Robertson, Relevance feedback for best match term weighting algorithms in information retrieval. In: A. F. Smeaton and J. Callan (eds), Proceedings of the Joint DELOS-NSF Workshop on Personalisation and Recommender Systems in Digital Libraries, Dublin, Ireland, June 2001. Dublin City University, 2001. (pp 37-42).
  20. T. Sakai, S.E. Robertson and S Walker Flexible Pseudo-Relevance Feedback via Direct Mapping and Categorization of Search Requests. In: BCS-IRSG ECIR 2001 Proceedings , April 2001. (pp 3-14).
  21. NTCIR-2 Proceedings, March 2001. (pp.165-172).
  22. T. Sakai and S.E. Robertson Flexible pseudo-relevance feedback using optimization tables. In: W.B. Croft et al. (eds), SIGIR 2001. ACM, 2001. (pp 396-397).
  23. T. Sakai and S.E. Robertson Relative and absolute term selection criteria: a comparative study for English and Japanese IR. In: M. Beaulieu et al. (eds), SIGIR 2002. ACM, 2002. (pp 411-412).
  24. S. Robertson, On Bayesian models and event spaces in information retrieval. Presented at the Workshop on the Mathematical Foundations of Information Retrieval, SIGIR 2002, Tampere, Finland. Revised version in Information Retrieval as On event spaces and probabilistic models in information retrieval (see above).
  25. A. MacFarlane, J.A. McCann and S.E. Robertson, Parallel Computing for Term Selection in Routing/Filtering. Presented at ECIR 2003. In: F. Sebastianini (ed), Advances in Information Retrieval: Proceedings of ECIR 2003. Springer, 2003. (pp 537-545).
  26. H. Zaragoza, D. Hiemstra, M. Tipping and S. Robertson, Bayesian extension to the language model for adhoc information retrieval. Presented at SIGIR 2003, Toronto, July 2003. In: J. Callan et al. (eds), SIGIR 2003. ACM, 2003. (pp 4-9).
  27. I. Soboroff and S. Robertson, Building a filtering test collection for TREC 2002. Presented at SIGIR 2003, Toronto, July 2003. In: J. Callan et al. (eds), SIGIR 2003. ACM, 2003. (pp 243-250).
  28. S. Robertson, The unified model revisited. Presented at the Workshop on the Mathematical Foundations of Information Retrieval, SIGIR 2003, Toronto, Canada.
  29. D. Hiemstra, S. Robertson and H. Zaragoza, Parsimonious Language Models for Information Retrieval. SIGIR 2004, Sheffield, July 2004. In: K. Jarvelin et al. (eds), SIGIR 2004. ACM, 2004. (pp 178-185).
  30. S. Robertson, H. Zaragoza and M. Taylor, Simple BM25 extension to multiple weighted fields. CIKM 2004, Washington, DC, November 2004. In: D.A. Evans et al. (eds), CIKM 2004. ACM, 2004. (pp 42-49).
  31. N. Craswell, S. Robertson, H. Zaragoza and M. Taylor, Relevance weighting for query-independent evidence. SIGIR 2005, Salvador, Brazil, August 2005. In: G Marchionini et al. (eds), SIGIR 2005. ACM, 2005. (pp 416-423).
  32. Anna Ritchie, Simone Teufel and Stephen Robertson, Creating a test collection for IR experiments with citations. HLT-NAACL, New York, USA, 4-9 June 2006. In: Proceedings of Human Language Technology conference HLT-NAACL, June 2006. ACL, 2006 (pp 391-398).
  33. Anna Ritchie, Simone Teufel and Stephen Robertson, How to find better index terms through citations. Workshop "Can Computational Linguistics Improve Information Retrieval?", ACL/COLING-2006, Sydney, Australia, 17-21 July 2006.
  34. Wei Lu, Stephen Robertson and Andrew MacFarlane, Field-weighted XML retrieval based on BM25. In: Advances in XML Information Retrieval and Evaluation, 4th International Workshop of the Initiative for the Evaluation of XML Retrieval, INEX 2005. Springer, LNCS 3977, 2006 (pp 161-171).
  35. M. Taylor, H. Zaragoza, N. Craswell, S. Robertson and C. Burges, Optimisation methods for ranking functions with multiple parameters. In: CIKM 2006. ACM, 2006. (pp 585-593).
  36. S Robertson, On GMAP - and other transformations. In: CIKM 2006. ACM, 2006. (pp 78-83).
  37. Stephen Robertson and Wei Lu and Andrew MacFarlane, XML-structured documents: retrievable units and inheritance. In: H. L. Larsen, G. Pasi, D. Ortiz-Arroyo, T. Andreasen and H. Christiansen (eds), Flexible query answering systems, Milan, June 2006. Springer, 2006. (pp 121-132).
  38. S Robertson, On score distributions and relevance. In: ECIR 2007. Springer, 2007. (pp 40-51).
  39. Stefano Mizzaro and Stephen Robertson, HITS Hits TREC -- Exploring IR Evaluation Results with Network Analysis In: SIGIR 2007. ACM, 2007. (pp 479-486).
  40. Stephen Robertson, On document populations and measures of IR effectiveness In: Studies in Theory of Information Retrieval. Budapest: Foundation for Information Science, 2007. (pp 9-22).
  41. Gabriella Kazai, Benjamin Piwowarski and Stephen Robertson, Effort-precision and gain-recall based on a probabilistic navigation model In: Studies in Theory of Information Retrieval. Budapest: Foundation for Information Science, 2007. (pp 23-36).
  42. A. Ritchie, S. Robertson and S. Teufel, Creating a test collection: Relevance judgements of cited and non-cited papers. In: Proceedings of RIAO, Pittsburgh, PA, 2007.
  43. Stephen Robertson, On the science of search: statistical approaches, evaluation, optimisation. In Proceedings of the 2006 international Workshop on Research Issues in Digital Libraries. (Kolkata, India, December 12 - 15, 2006). P. Majumder, M. Mitra, and S. K. Parui, Eds. IWRIDL '06. ACM, New York, NY, 2007. (pp 1-5).
  44. Michael Taylor, John Guiver, Stephen Robertson and Tom Minka, SoftRank: optimizing non-smooth rank metrics. In: WSDM '08: Proceedings of the international conference on Web search and web data mining. (Palo Alto, California, USA, 2008) ACM, New York, NY, 2008. (pp 77-86).
  45. Guihong Cao, Jian-Yun Nie, Jianfeng Gao and Stephen Robertson, Selecting good expansion terms for pseudo-relevance feedback. In: SIGIR 2008. ACM, 2008. (pp 243-250).
  46. Emine Yilmaz, Javed A Aslam and Stephen Robertson, A new rank correlation coefficient for information retrieval. In: SIGIR 2008. ACM, 2008. (pp 587-594).
  47. Stephen Robertson, A new interpretation of average precision. In: SIGIR 2008. ACM, 2008. (pp 689-690).
  48. Tetsuya Sakai and Stephen Robertson, Modelling a user population for designing information retrieval metrics. Presented at: The Second International Workshop on Evaluating Information Access (EVIA 2008) (NTCIR-7 workshop) Tokyo, December 2008.
  49. Anna Ritchie, Stephen Robertson and Simone Teufel, Comparing citation contexts for information retrieval. In: CIKM 2008. ACM, 2008. (pp 213-222).
  50. Anna Ritchie, Simone Teufel and Stephen Robertson, Using Terms from Citations for IR: Some First Results. In: ECIR 2008. Springer, 2008. (pp 211-221).
  51. Guihong Cao, Stephen Robertson and Jian-Yun Nie, Selecting Query Term Alternations for Web Search by Exploiting Query Contexts. In: Proceedings of ACL-08: HLT. ACL 2008. (pp 148-155).
  52. Stephen Robertson, Milan Vojnovic, Ingmar Weber, Rethinking the ESP game. In: CHI Extended Abstracts 2009. ACM, 2009. (pp 3937-3942).
  53. Avi Arampatzis, Jaap Kamps, Stephen Robertson, Where to stop reading a ranked list?: threshold optimization using truncated score distributions. In: SIGIR 2009. ACM, 2009. (pp 524-531).
  54. Stephen E. Robertson, Evangelos Kanoulas and Emine Yilmaz, Extending average precision to graded relevance judgments. In: SIGIR 2010. ACM, 2010. (pp 603-610). Available here
  55. Emine Yilmaz, Milad Shokouhi, Nick Craswell and Stephen Robertson, Expected browsing utility for web search evaluation. In: CIKM 2010. ACM, 2010. (pp 1561-1564). Available here
  56. Stephen Robertson, On the contributions of topics to system evaluation. In: ECIR 2011. Springer, 2011. (pp 129-140).
  57. Stephen Robertson, On retrieval system theory. Presented at: The ISKO UK Second Biennial Conference, 4th-5th July 2011, London. In: A Gilchrist and J Vernau (eds.), Facets of Knowledge Organization. Emerald, 2012. (pp 3-10).
  58. Stephen Robertson, On smoothing average precision. In: ECIR 2012. Springer, 2012. (pp 158-169).
  59. Stephen Robertson and Evangelos Kanoulas, On per-topic variance in IR evaluation. In: SIGIR 2012. ACM, 2012. (pp 891-900).
  60. Stephen Robertson, Evangelos Kanoulas and Emine Yilmaz, Modelling Score Distributions Without Actual Scores. In: ICTIR 2013. ACM, 2013. (pp 85-92)
  61. Andrea Berto, Stefano Mizzaro and Stephen Robertson, On Using Fewer Topics in Information Retrieval Evaluations. In: ICTIR 2013. ACM, 2013. (pp 30-37)

III. Historické a výukové materiály

  1. S.E. Robertson, The methodology of information retrieval experiment. In: K. Spärck Jones (ed.), Information retrieval experiment. Butterworths, 1981. (pp 9-31). Available from Donna Harman's website
  2. S.E. Robertson, B.C. Brookes and information science education. Journal of Information Science. 16, 9-10 (1990).
  3. S.E. Robertson, Computer retrieval as seen through the pages of Journal of Documentation. In: B.C. Vickery (ed.), Fifty years of information progress. Aslib, 1994. (pp 119-146).
  4. S. Robertson, Evaluation in information retrieval. In: M. Agosti, F. Crestani and G. Pasi (eds), Lectures on Information Retrieval: Third European Summer School, ESSIR 2000. Springer, 2001. (pp 81-92)
  5. S. Robertson and K. Spärck Jones, Retrieval system models: What's new? In: A. Herbert and K. Spärck Jones (eds), Computer Systems: Theory, Technology, and Applications -- A Tribute to Roger Needham. Springer, 2004. (pp 237-242)
  6. S. Robertson, The Key to Everything. Journal of the Institute of Electronics, Information and Communication Engineers [Japan] 90, 736-737 (2007).
  7. S. Robertson and J. Tait, In Memoriam: Karen Spärck Jones Information Processing and Management 43, 1441-1444 (2007); also Journal of the American Society for Information Science and Technology 58, (2007).
  8. P. Willett and S. Robertson, In Memoriam: Karen Spärck Jones Journal of Information Science 33, 637-639 (2007); also Journal of Documentation 63, (2007).
  9. Stephen Robertson, On the history of evaluation in IR. Journal of Information Science 34 no. 4, 439-456 (2008). Preprint herefinal version here
  10. Stephen Robertson, The web, the home and the search engine. In: R. Harper (ed.), The Connected Home: the Future of Domestic Life. Springer-Verlag, 2012. Available herepublished version here.
  11. Seminář, který přednesl v Indickém institutu managementu v Ahmedabádu v prosinci 2018
  12. Stephen Robertson, A brief history of research results ranking. IEEE Annals of the History of Computing (2019) Preprint herefinal version here

IV. Výzkumné zprávy

  1. S.E. Robertson, The parametric description of retrieval tests. MSc Thesis, City University, 1968.
  2. S.E. Robertson, A theoretical model of the retrieval characteristics of information retrieval systems. PhD Thesis, University of London, 1976.
  3. S.E. Robertson and J.D. Bovey, Statistical problems in the application of probabilistic models to information retrieval. BLR&DD Report No. 5739, 1982.
  4. S.E. Robertson and K. Spärck Jones, Simple, proven approaches to text retrieval. University of Cambridge Computer Laboratory Technical Report no. 356, 1994 (updated 1996,1997, 2006).Available from the Computer Laboratory website.
  5. K. Spärck Jones, S. Walker and S.E. Robertson, A probabilistic model of information retrieval: development and status. University of Cambridge Computer Laboratory Technical Report no. 446, 1998. Available from the Computer Laboratory website.

V. Další

  1. E.C. Scott et al., The morphology of Steve. Annals of Improbable Research 10 (4, July/August), 24-29 (2004). .
  2. S. Robertson, My father the poet. Hephaistos no.21/22, 261 (2003).
  3. Stephen Robertson and Kate Perry, Science at Girton -- Ethel Sargant Girton College Annual Review 2008 23-25 (2008).

 


CITACE

  1. ROBERTSON, Stephen. A Brief History of Search Results Ranking. IEEE Annals of the History of Computing. [online]. IEEE, 2019, 5. 2. 2019 [cit. 2019-03-30]. DOI: 10.1109/MAHC.2019.2897559. Dostupné z: http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8634887&isnumber=5255174
  2. ROBERTSON, Stephen. On the history of evaluation in IR. Journal of Information Science[online]. 2008, 13. 6. 2008, (34(4), 439–456 [cit. 2019-03-31]. Dostupné z: https://doi.org/10.1177/0165551507086989
  3. City, University of London Staff Personal Pages: Stephen Robertson [online]. 2019 [cit. 2019-04-02]. Dostupné z: http://www.staff.city.ac.uk/~sb317/
  4. ROBERTSON, Stephen. A Brief History of Search Results Ranking. IEEE Annals of the History of Computing. [online]. IEEE, 2019, 5. 2. 2019 [cit. 2019-03-30]. DOI: 10.1109/MAHC.2019.2897559. Dostupné z: http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8634887&isnumber=5255174