Statistical tools for measuring the quality of education. Part 2. Classical approach
Abstract
The article presents an overview of the statistical grounds of testology. The purpose of this paper is to explain the inexperienced readers, such as teachers of economic disciplines, opportunities of improvement of quality of education with the utilization of objective and impartial tools of students' achievement measurement, known as tests.
The first part of the article overviews the shortcomings of the traditional system of evaluation of educational achievements that is built around the use of ordinal scales. The limitations imposed to the possibilities of statistical processing of the raw data by the type of scale are shown. Basic tasks, the corresponding mathematical models, statistical characteristics and sub-test score evaluation reliability formulas are described.
The second part of the article describes approaches to the determination of reliability, uniformity and resolution of the test, built on the analysis of the correlation between students ’ answers to the identical questions asked. Options of conversion of primary points to a quantitative scale are provided. Ways of lowering the probability of correctly guessed answers are shown. The approach to processing of results of complex test structures is given and the possibility of utilization of two-factor analysis of variance (2 Way ANO VA) for dichotomous tests reliability estimation is demonstrated.
The third and the fourth parts of the article are devoted to the modem theory of tests (IRT).
The third part, provides an analysis of shortcomings of the CTT, which were the main focus of efforts to overcome of IRT supporters during the last 60 years. The theoretical basis for building a Rach model and its subsequent developments is described. The methodology of estimation of properties of the test by its characteristic curves and parameters of its information function is illustrated. The basic equation, the correspondent solution of which gives an estimate of the probability of obtaining a certain personal score of a test is formulated.
The fourth part of the article provides various methods of finding a solution of the basic equation for the 1PL and 2PL - models and data preparation for a correct use. Several software packages, both considered to be classical tools as well as brand new ones, are overviewed. An example of ranking of NASOA students’ achievements obtained by traditional evaluation and IRT approach is given.
Downloads
References
2. Морев И. А. Образовательные информационные технологии. Часть 5 : Мето-дическая система стимулирования обучаемости средствами дидактического тестирования: [монография] / И. А. Морев. — Владивосток : Изд-во Дальневост. ун-та, 2004. — 120 с.
3. Ефремова Н. Ф. Тестовый контроль в образовании : [учебное пособие] / Н. Ф. Ефремова. — М. : Университетская книга; Логос, 2005. — 368 с.
4. Крокер Л. Введение в классическую и современную теорию тестов : [учебник] / Л. Крокер, Дж. Алгина ; пер. с англ. Н. Н. Найденовой, В. Н. Смилкина, М. Б. Челышковой; под общ. ред. В. И. Звонникова, М. Б. Челышковой. — М.: Логос, 2010. — 668 с.
5. Литвак Б. Г. Экспертная информация: методы получения и анализа / Б. Г. Литвак. — М.: Радио и связь, 1982. — 184 с.
6. Орлов А. И. Нечисловая статистика / А. И. Орлов. — М. : МЗ-Пресс, 2004. -513 с.
7. Толстова Ю. Н. Измерение в психологии: [учебное пособие] / Ю. Н. Толстова. — М.: КДУ, 2007. - 288 с.
8. Гусев А. Н. Измерение в психологии : [общий психологический практикум] / А. Н. Гусев, Ч. А. Измайлов, М. Б. Михалевская. — [2-е изд.]. — М. : Смысл, 1998. — 286 с. — (Серия «Практикум». Вып. 2).
9. Глас Дж. Статистические методы в педагогике и психологии / Дж. Глас, Дж. Стэнли. — М. : Прогресс, 1976. — 495 с.
10. Звонников В. И. Современные средства оценивания результатов обучения: [учеб, пособие для студ. высш. учеб, заведений] / В. И. Звонников, М. Б. Челышкова. — М. : Издательский центр «Академия», 2007. — 224 с.
11. Steyer R. Classical (Psychometric) Test Theory [Electronic resource] / R. Steyer. — Access Mode: http://metheval.uni-jena.de/materialien/ publikationen/ctt.pdf/.
12. Rash G. On Objectivity and Specificity of the Probabilistic Basis for Testing [Electronic resource] / G. Rash. — Access Mode : http://www.rasch.org/ memo 196x.pdf
13. Нейман Ю. M. Введение в теорию моделирования и параметризации педагогических тестов / Ю. М. Нейман, В. А. Хлебников. — М. : Прометей, 2000. - 168 с.
14. Булах І. Є. Створюємо якісний тест: [навч. посіб.] /1. Є. Булах, М. Р. Мруга. — К.: Майстер-клас, 2006. — 169 с.
15. Чередниченко О. Ю. Модели тестирования знаний и методы оценки на¬дежности полученных результатов / О. Ю. Чередниченко, С. И. Ершова, О. В. Янголенко, Т. Н. Запорожец // Восточно-европейский журнал передовых технологий. — 2011. — № 6/4 (58). — С. 35-40.
16. Наследов А. Д. Математические методы психологического исследования. Анализ и интерпретация данных / А. Д. Наследов. — М. : Речь, 2003. — 400 с.
17. Как составить тест // Слойер К. Математические фантазии. — М.: Мир, 1993. — С. 116-118.
18. Ким В. С. Тестирование учебных достижений : [монография] / В. С. Ким. — Уссурийск : Издательство УГ11И, 2007. — 214 с.
19. Аванесов В. С. Форма тестовых заданий / В. С. Аванесов. — М.: Центр тестирования, 2005. - 156 с.
20. Печников А. Н. Модели и процедуры оценки результатов компьютерного тес¬тирования знаний [Электронный ресурс] / А. Н. Печников, А. О. Туровская, Р. Р. Туктаров. — Режим доступа : http://ifets.ieee.Org/russian/depository/vl6_i4/htrnl/6.htm
21. Печников А. Н. Теоретические основы психолого-педагогического проекти-рования автоматизированных обучающих систем / Печников А. Н. — Петродворец: ВВМУРЭ им. А. С. Попова, 1995. - 322 с.
22. Кумаритов А. М., Дубенко ТО. В. Методы и алгоритмы контроля знаний и оценки эффективности автоматизированных обучающих систем на производственном предприятии / А. М. Кумаритов, Ю. В. Дубенко. — Аудит и финансовый анализ. — 2009. — № 3. — 12 с.
Abstract views: 223 PDF Downloads: 112
