UNDERSTANDING VALIDITY ISSUES SURROUNDING TEST-BASED

ACCOUNTABILITY MEASURES IN THE US

Nancy Koh
Assessment and Accreditation at Lynch School of Education, Boston College,
Chestnut Hill, Massachusetts, USA

Vikash Reddy
Education Policy and Social Analysis, Teachers College, Columbia University,
New York, New York, USA, and

Madhabi Chatterji
Organization and Leadership, Teachers College, Columbia University,
New York, New York, USA

This study focuses at issues surrounding the validity of test-based actions in educational
accountability and school improvement contexts especially testing issues in the US. However, the
general principles underlying appropriate and inappropriate test use in school reform and high
stakes public accountability settings are applicable in both domestic and international settings.
This policy brief is based on a synthesis of conference proceedings and review of selected pieces
of extant literature. It begins by summarizing perspectives of an invited expert panel on the topic.
To that synthesis, the authors add their own analysis of key issues. They conclude by offering
recommendations for test developers and test users that recurring validity issues arise with tests
used in school reform and public accountability contexts, because the external tests tend to be
employed as policy instruments to drive reforms in schools, with unrealistic timelines and
inadequate resources.
To reconcile the validity issues with respect to educational assessment and forge a coherent
understanding of validity among multiple public users with different agendas, the authors offer
several recommendations, such as: adopt an integrated approach to develop content and standards
of proficiency that represent a range of cognitive processes; support studies to examine validity of
assessments and the effects of decisions taken with assessment data before results are fed into high
stakes accountability-related actions that affect teachers, leaders or schools; align standards,
curricula, instruction, assessment, and professional development efforts in schools to maximize
success; increase capacity-building efforts to help teachers, administrators, policy makers, and
other groups of test users learn more about assessments, particularly, about appropriate
interpretation and use of assessment data and reports.
 In short, validity test based is important to support the evaluation in some aspect that
support the school improvement such as teacher evaluation and students’ performance, etc.

Originality/value – Baker points out that in response to growing demands of reformers and policy-
makers for more frequent and rigorous testing programs in US public education, results from a
single test tend to get used to meet a variety of public education needs today (e.g. school
accountability, school improvement, teacher evaluation, and measurement of student
performance). While this may simply be a way to make things more cost-efficient and reduce the
extent of student testing in schools, a consequence is inappropriate test use that threatens validity
in practice settings. This policy brief confronts this recurring validity challenge and offers
recommendations to address the issues.
CONCLUSION
Orisinalitas / nilai - Baker menunjukkan bahwa sebagai respons terhadap tuntutan yang terus meningkat dari para
reformator dan pembuat kebijakan untuk program pengujian yang lebih sering dan ketat dalam pendidikan publik
AS, hasil dari tes tunggal cenderung digunakan untuk memenuhi berbagai kebutuhan pendidikan publik hari ini (
misalnya akuntabilitas sekolah, peningkatan sekolah, evaluasi guru, dan pengukuran kinerja siswa). Meskipun ini
mungkin hanya cara untuk membuat hal-hal lebih efisien dari segi biaya dan mengurangi tingkat ujian siswa di
sekolah, konsekuensinya adalah penggunaan tes yang tidak sesuai yang mengancam validitas dalam pengaturan
praktik. Ringkasan kebijakan ini menghadapi tantangan validitas berulang ini dan menawarkan rekomendasi untuk
mengatasi masalah tersebut

Studi ini berfokus pada isu-isu seputar validitas tindakan berbasis tes dalam akuntabilitas pendidikan dan konteks
peningkatan sekolah terutama masalah pengujian di AS. Namun, prinsip-prinsip umum yang melatarbelakangi
penggunaan tes yang tepat dan tidak tepat dalam reformasi sekolah dan pengaturan akuntabilitas publik yang
dipertaruhkan tinggi berlaku di lingkungan domestik dan internasional. Ringkasan kebijakan ini didasarkan pada
sintesis proses konferensi dan peninjauan literatur terpilih yang masih ada. Ini dimulai dengan merangkum
perspektif panel pakar yang diundang tentang topik tersebut. Untuk sintesis itu, penulis menambahkan analisis
mereka sendiri tentang masalah-masalah utama. Mereka menyimpulkan dengan menawarkan rekomendasi untuk
pengembang pengujian dan pengguna pengujian bahwa masalah validitas berulang muncul dengan tes yang
digunakan dalam reformasi sekolah dan konteks akuntabilitas publik, karena tes eksternal cenderung digunakan
sebagai instrumen kebijakan untuk mendorong reformasi di sekolah, dengan jadwal yang tidak realistis dan sumber
daya yang tidak memadai. . Untuk merekonsiliasi masalah validitas berkenaan dengan penilaian pendidikan dan
membentuk pemahaman yang koheren tentang validitas di antara banyak pengguna publik dengan agenda yang
berbeda, penulis menawarkan beberapa rekomendasi, seperti: mengadopsi pendekatan terpadu untuk
mengembangkan konten dan standar kecakapan yang mewakili berbagai proses kognitif; mendukung studi untuk
memeriksa validitas penilaian dan dampak keputusan yang diambil dengan data penilaian sebelum hasilnya
dimasukkan ke dalam tindakan terkait akuntabilitas berisiko tinggi yang memengaruhi guru, pemimpin, atau
sekolah; menyelaraskan standar, kurikulum, pengajaran, penilaian, dan upaya pengembangan profesional di sekolah
untuk memaksimalkan keberhasilan; tingkatkan upaya peningkatan kapasitas untuk membantu guru, administrator,
pembuat kebijakan, dan kelompok pengguna uji lainnya belajar lebih banyak tentang penilaian, khususnya, tentang
interpretasi yang sesuai dan penggunaan data dan laporan penilaian.