Chapter Eight: Expanding the Search

Extending Understanding

Much like a detective, literature reviewers wanting to conduct comprehensive literature reviews s
hould utilize these same five broad sources of data to inform their literature reviews, namely, Me
dia, Observation(s), Documents, Expert(s), and Secondary data. 

Step 1 to Step 4 yielded a traditional review of the literature. And, after completing a traditional r
eview of the literature using the guidelines and techniques outlined in Chapters 4–7, it is likely th
at you will have a useful body of information. However, it is unlikely that this body will be comp
rehensive or up-to-date. Consequently, to move toward a comprehensive review of the literature, 
a reviewer should go as far as possible beyond a traditional literature review by expanding her/
his information search. In this chapter, we provide specific information to complete Step 5 using 
five broad tasks that involve collecting data via Media, Observation(s), Documents, Expert(s), a
nd Secondary data.

The Audit Trail

Figure 8.1 illustrates the flow of Step 5 for (a) leaving an audit trail and (b) storing and organizin
g the literature, which both are positioned in the inner circles of the set of concentric ovals. This i
s because these two processes play a central role in the literature review expansion step (i.e., Step 
5). You might recall that we discussed the importance of leaving an audit trail (cf. Halpern, 1983
; Schwandt & Halpern, 1988) during all four previous steps of the CLR process.
Videos.

With respect to visual tools, videos represent another way to expand a search. Videos can be acce
ssed via both library subscription databases and public Internet sources. Regarding library subscr
iption databases, a very comprehensive repository is Academic Video Online. 

On-Site Observations

Although observations can be used in a primary qualitative inquiry, it is also informative for sim
ply setting the stage in a literature review. It is important to note how observing concepts importa
nt for a topic might influence the very nature of providing a background in inquiry. 

Mapping Observations

Another technique for incorporating observation data into the literature review is by mapping inf
ormation extracted from selected sources to examine trends of one or more types. For instance, i
n conducting a literature review of violence in U.S. public schools, a reviewer could map the loc
ations where school shootings have taken place in an attempt to identify patterns or trends. This i
nformation then could be incorporated into the literature review.

Ground truthing.

Whenever possible, reviewers should seek to validate their GIS data via a technique known as gr
ound truthing. Specifically, ground truthing involves actually visiting one or more of the places 
where the GIS data were collected in order to obtain a visual image of the data in person (Frels et 
al., 2011). When it is not possible to visit the location, the reviewer can ask a trusted associate (e.
g., colleague, friend, family member) to visit the location. 

Monographs

The word monograph (circa 1821) stems from the Greek words mono (single) and grapho (to wr
ite). Thus, a monograph, which also is called a scholarly treatise, is an extremely detailed essay o
r book covering a single subject or a component of a subject. The goal of a monograph is to prese
nt new and original information and scholarly research on a very specific topic that advances bot
h the author’s career and field. Typically, only one author is involved in writing a monograph; ho
wever, where necessary, multiple authors might be involved. Monographs are longer than are jou
rnal articles and may even be the length of a short book.
Encyclopedias

An encyclopedia (also spelled encyclopaedia or encyclopædia) is a type of reference work or co
mpendium (e.g., a book, series of books, website, or CD-ROM) that contains a summary of infor
mation about many different subjects or a lot of information about a particular subject. Typically, 
encyclopedias consist of articles or entries that are arranged alphabetically by topic. 

Government Documents

Government documents involve the publications of documents by government agencies. Within t
he United States, government documents involve the publications of documents by both federal a
nd local governments. These documents include statistical reports (e.g., U.S. Census), statutes, h
earings, treaties, and periodicals. 

Trade Catalogues

Broadly speaking, trade catalogues are printed documents that are published by manufacturers, w
holesalers, and retailers. These documents promote sales by making advertising claims, including 
detailed descriptions of sale products, giving instructions for using products, and providing testi
monials from satisfied customers. 

Grey Literature

So far, in this section, we have demonstrated ways to expand a literature review via searching for 
additional documents. For the most part, we have shown you numerous ways of searching for pu
blished documents whether in printed and/or digital form. However, as we noted in Chapter 1, m
any unpublished works, otherwise known as grey literature (or gray literature), can be a rich sour
ce of information. 

Identifying Experts

While initializing the search (Step 2), storing and organizing information (Step 3), and selecting 
and deselecting documents (Step 4), you should have identified who are the most prolific authors
/researchers regarding your chosen topic. We refer to these prolific authors and researchers as ex
perts under the assumption that they have devoted a large proportion of their professional careers 
to researching and writing about this topic. These experts should have become apparent because t
hey would have published multiple works in this area and would have been cited by many other 
authors writing on this topic. However, if, at this stage, you are still uncertain about who the mos
t productive authors/researchers (i.e., experts) are, then one useful strategy to glean this informati
on is by conducting a content analysis of the reference list of works that you have collected in St
eps 2–5.
Delphi-based interview procedures.

Another way that the reviewer can communicate with multiple experts is by using a variation of t
he Delphi method. Broadly speaking, the Delphi  method is a technique for collecting data from 
experts for the purpose of obtaining a consensus about a given topic (Brewer, 2007).

Using Already-Analyzed Secondary Data

When secondary data already have been analyzed, the reviewer should save the maximum amou
nt of time in incorporating secondary data into the literature review process. Also, such secondar
y data, typically, have a pre-established degree of validity/legitimation and reliability/
dependability that do not need to be re-examined by the reviewer.

Preferred Reporting for Systematic Reviews

A set of specific criteria has been standardized by guidelines for reporting such as the Preferred 
Reporting  Items for Systematic Reviews and Meta-Analyses, or PRISMA (Moher et al., 2009). 
As declared on the PRISMA Statement website (http://www.prisma-statement.org/), PRISMA re
presents an evidence-based, standardized, minimum set of items for the purpose of helping literat
ure reviewers improve the reporting of systematic reviews and meta-analyses that assess the bene
fits and risks of health care interventions.

Conclusions

In the next chapter, we describe Step 6, which is analyzing and synthesizing some of the sources 
selected. Before you move on to Step 6, revisit again Step 3, which is storing and organizing you
r information sources so that you begin to sort those sources that will be analyzed and synthesize
d. Keep in mind that some of your information sources do not need to be grouped into the founda
tional sources but can serve as supplemental sources which can be analyzed and synthesized sepa
rately from the foundation sources. We also suggest that you review these concepts for Step 5:

 Going beyond a traditional literature review involves expanding the search using addition
al sources including media, documents beyond journal articles, experts on the topic, and s
econdary data.
 Media are information sources that include audio books, video repositories, and visual to
ols.
 Observations can justify or create the background for understanding the CLR as a stand-
alone report or to inform primary research.
 Geographic Information Systems (GIS) are a mapping tool for creating a display to under
stand background and for ground truthing a phenomenon.
 Documents beyond journal articles lend support for your topic and include journal special 
issues, dissertation or thesis studies, monographs, government papers, blogs, grey papers, 
and numerous others.
 Experts can be prolific authors and researchers who have devoted a large proportion of th
eir professional careers to researching and writing about a topic.
 Virtual, synchronous interviews include both product (information) and process items, su
ch as proxemics (behaviors reflecting special relationships of the interviewees/
interviewers), chronemics (temporal speech markers such as gaps, silences, hesitations), a
nd paralinguistics (behaviors indicating tenor, strength, or emotive color of the vocal expr
ession).
 The Delphi method is a technique for collecting data from experts for the purpose of obta
ining a consensus about a given topic.
 Communication with experts and use of Internet-based social bookmarking services help 
a reviewer capture their voices to a much greater extent.
 Book chapters and the sets of articles that form special issues published in journals are es
pecially susceptible to lengthy emergence-to-publication time lags and, as a consequence, 
contain some outdated information.
 Debriefing interviews help to identify any hidden biases and to evaluate hunches or intuit
ions about the dialogue/interview so that greater awareness and understanding occur.
 Secondary data can be obtained in forms such as surveys, censuses, and records and can b
e used in a literature review if they are in raw or analyzed form.
 Overall, the use of MODES enhances both representation and legitimation in that a literat
ure reviewer is able to extract the most pertinent and up-to-date knowledge that informs t
he literature review process toward greater saturation and legitimation.