Главная  | О журнале  | Авторы  | Новости  | Конкурсы  | Научные мероприятия  | Вопросы / Ответы

О проблемах языкового тестирования

К содержанию номера журнала: Вестник КАСУ №2 - 2008

Автор: Тихонова Т.В.

Введение новой системы образования стало серьезным испытанием для всех вузов нашей Республики. Преподаватель, работающий по новой системе обучения, должен быть настоящим тружеником, готовым к постоянной творческой работе, так как новые технологии предъявляют большие требования. Современный педагог должен проявлять немалую фантазию в изобретении нестандартных и интересных методов обучения, а также контроля знаний студентов.

Языковой тест как основная форма проверки знаний в условиях кредитной системы становится эффективным инструментом педагогических измерений, если в процессе языкового тестирования создаются условия для роста учебных показателей. Благодаря тестовому контролю, можно успешно управлять учебным процессом, усовершенствовать его, осуществляя дифференцированный подход к учащимся. Решение данной задачи осложняется рядом проблем, возникающих в ходе педагогических измерений. Рассмотрим эти проблемы, обусловленные недостаточной валидностью и надежностью отдельных тестов, нечеткими “рубриками оценивания” тестовых заданий, а также противоречиями, связанными с языковым тестированием.

Валидность языковых тестов в педагогическом процессе

Валидность теста - непременное условие его практического применения в учебном процессе по иностранному языку. В теории тестирования различаются следующие типы валидности языкового теста:

• внешняя (face validity),

• содержательная (content validity),

• конструктная (construct validity),

• критериальная валидность (criterion-related validity),

• внутренняя (internal/consistency validity) (10).

Внешняя валидность теста определяется той мерой доверия, которую формат теста вызывает у пользователей. Некоторые тесты в силу искусственности процедуры (например, cloze procedure) вначале обладали невысокой внешней валидностью, но позже полезность этого теста была подтверждена многочисленными исследованиями. (10). Внешняя валидность во многом определяется отношением общества к языковому тестированию, которое пока еще остается неоднозначным (1). Это снижает внешнюю валидность языкового тестирования в целом.

Содержательная валидностъ теста заключается в том, что валидный тест соответствует заявленному объекту тестирования. Данный вид валидности пока еще не всегда учитывается при проведении языкового тестирования. Содержательная валидность тестов определяется использованием в них соответствующего языкового материала - лексических единиц, входящих в словарный минимум, и грамматического материала, предусмотренного действующей программой по иностранному языку. Следует однако заметить, что для языковых тестов содержательная валидность имеет несколько меньшее значение, нежели для тестов по другим учебным предметам, в которых главный объект контроля - уровень усвоенных знаний. В этих случаях соответствие материала, отобранного для контроля знаний, всему изученному ранее - необходимое условие эффективности контролирующей программы, ее посильности и доступности. В языковых тестах даже включение некоторого количества слов, не входящих в лексический минимум, существенно не снижает содержательную валидность.

Еще более существенной для качественного языкового теста является его конструктная валидностъ - измерение только заявленного объекта тестирования. Например, на результаты тестирования оказывает влияние сам тип задания, а не только его языковая сложность (9). Тем самым снижается конструктная валидность языкового теста. Определение конструктивной валидности педагогических тестов следует начинать с установления конструкта - объекта планируемого измерения. Однако для педагогических тестов нет необходимости “изобретать” конструкты. Так, в методике обучения иностранным языкам таковыми являются виды речевой деятельности, которые, в свою очередь, могут быть разложены на более дробные конструкты, также доступные измерениям.

Второй этап конструктной валидности теста - подбор типа заданий, адекватных целям измерения данного конструкта. Подобными заданиями следует считать те, которые достаточно прочно закрепились в педагогическом опыте и обычно используются как средство проверки знаний и умений обучаемых вне тестового контроля. Однако их использование в тестах возможно лишь в тех случаях, если они легко поддаются стандартизации. Так, например, в тесте для проверки понимания прочитанного конструктивной валидностью обладают следующие задания:

- выбрать из приведенных ниже предложений те, которые являются ответами на предъявленные вопросы по содержанию текста;

- расположить приведенные ниже предложения так, чтобы получился логический план прочитанного текста.

Конструктная валидность теста также зависит от введения темпоральных ограничений. Исследования показывают, что в условиях навязанного учащимся дефицита времени тестовые задания измеряют не столько заявленный объект, сколько свойства интеллектуальной деятельности тестируемых (14).

Для определения качественности тестов важное значение имеет так называемая критериальная валидность, иногда называемая статистической, которая показывает, насколько точно результаты по данному тесту могут быть использованы для определения существующего состояния (статуса) или же прогноза эффективности деятельности испытуемых в той или иной области. Для определения данного вида валидности вычисляется, как известно, коэффициент корреляции между тестовыми баллами студентов и результатами прямых или косвенных измерений по какому-нибудь внешнему измерению для этой же выборки испытуемых.

Внутренняя валидностъ (внутреннее постоянство) языкового теста является привычной характеристикой многих тестовых заданий и означает согласованность между собой заданий по уровню их сложности. В этой связи требует внимательного изучения “многоуровневый языковой тест”. Анализ показывает, что многоуровневый тест “теряет” внутреннее постоянство, но приобретает свои преимущества. Многоуровневый языковой тест позволяет определить уровень достижений студентов с использованием оценочных критериев по отношению к более сложным заданиям. Тест дает ощущение успеха от выполнения хотя бы некоторой части теста и стимулирует дальнейшие познавательные усилия. Многоуровневые тесты позволяют более точно диагностировать сильные и слабые стороны познавательной деятельности студентов. Такое тестирование дает возможность проследить за постепенным повышением уровня сложности успешно выполненных заданий.

Все виды валидности обеспечивают так называемую информативную валидность (learning validity) языкового теста, то есть конструктивность и полезность получаемой с помощью теста информации о ходе, эффективности, результативности и качестве учебного процесса (5). Информативная валидность языкового теста позволяет повысить их “функцию успеха”, то есть вероятность правильного выполнения задания с учетом характеристик этого задания и познавательных возможностей студентов (2).

Надежность языковых тестов в педагогическом процессе

Тестовая валидность неотделима от надежности языкового теста (reliability). Тест считается надежным, если его результаты хорошо согласуются между собой в случаях повторного применения и, одновременно, устойчиво совпадают с результатами независимой оценки. Тестирование продуктивных видов речевой деятельности (говорение и письмо) с форматом типа “комментарий” или “эссе” по объективным причинам является менее надежным, чем тестирование рецептивных видов (слушание и чтение) с форматом типа “множественный выбор”.

Тест типа “заполнение пропусков в связном тексте” (cloze procedure) представляет собой более надежную процедуру по сравнению с форматом “исправление ошибок” (editing procedure) (10). Одновременно, исследования показывают низкую надежность такого привычного способа измерения учебных достижений, как перевод (15). Проблема заключается в том, что тестовые задания различаются между собой по степени надежности (3), хотя вся получаемая с помощью тестов информация a priori считается надежной в равной степени.

Надежность языкового тестирования зависит не только от формата самого теста, но и от согласованных действий экзаменаторов, оценивающих результаты тестовых заданий. Несмотря на предпринимаемые усилия, экзаменаторы нередко расходятся в своем мнении, что особенно нежелательно в ситуациях, определяющих жизненный выбор студентов.

О надежности теста как инструмента педагогического измерения можно судить по тому, насколько получаемые результаты тестирования соответствуют “закону нормального распределения” то есть выявляют нормальную ожидаемую пропорцию между студентами с высокими, низкими и средними показателями.

Рубрики оценивания в языковых тестах

В процессе языкового тестирования осуществляется измерение как целостных, так и дискретных (выборочных) знаний студентов в их эксплицитной (демонстрируемой) форме. Объект языкового тестирования состоит из нескольких “рубрик оценивания” (13). Оценки по этим рубрикам выставляются в соответствии с разработанными параметрами и критериями. Данные параметры необходимы для того, чтобы согласованно выставлять оценки за выполненное устное задание с учетом, например, “грамматической правильности высказывания”, “механической организованности”, “логической и убедительной аргументации”, (темп, четкость и т.п.). Если используются дискретные рубрики, тестовое задание (например, эссе аргументирующего типа) может быть оценено отдельно за убедительность аргументов и, отдельно, по другим параметрам. При этом каждая из рубрик оценивания может иметь свой “вес”, придавая большую или меньшую значимость каждому из оцениваемых параметров.

Рубрики оценивания позволяют не только измерить педагогический результат по нужным параметрам, но также получить ценную информацию о качестве знаний студентов и наметить пути его повышения.

Противоречия языкового тестирования

Языковое тестирование является процедурой, которая не лишена характерных противоречий. Желание повысить валидность тестов приводит к тому, что важная информация, получаемая в ходе тестирования, игнорируется, так как теряется определенность того, “что именно измеряет данный тест”. Повышение надежности языковых тестов осуществляется через процедуру “модерации”, исключая гибкий личностно-ориентированный подход к организации тестирования. В тоже время стандартизация языкового тестирования, продиктованная стремлением повысить валидность, надежность и объективность применяемых контрольно-измерительных инструментов (тестов), нередко препятствует внедрению в практику педагогических измерений альтернативное языковое тестирование, обеспечивающее право выбора формы экзамена, более полный учет индивидуальных особенностей студента. Наконец, существующая количественная парадигма языкового тестирования, то есть ориентация на количественную норму, даже если применяются качественные критерии (все переводится в баллы), создает ложное впечатление, что успех есть количественный показатель.

При этом существенно снижается роль языкового теста как гуманистического инструмента педагогических измерений. Выявленные противоречия можно представить следующим образом:

Объективность vs. Компенсация

Валидность vs. Информативность

Надежность vs. Гибкость

Стандартизация vs. Альтернативность

Количественная vs. Гуманистическая

парадигма парадигма

Исследования, проводимые в области тестирования иностранных языков, подтверждают, что тесты могут быть эффективными только в том случае, если они построены в соответствии с научными данными и на правильной методической основе. Главным требованием методики составления теста является пригодность (соблюдение принципов адекватности теста характеру речевой деятельности). При составлении теста нужно обязательно учитывать общий характер текста (чаще всего используются повествовательные тексты, богатые фактическим материалом, деталями, существенными для понимания текста), стремиться к тому, чтобы задания теста излагались ясно, просто, обеспечивали только однозначные ответы на них.

Заключение

Анализ проблем показывает необходимость совершенствования существующих в педагогической практике различных языковых тестов. Необходимо учитывать все виды валидности при создании языкового теста Одновременно все больше осознается необходимость поиска альтернативных форм языкового тестирования, которые давали бы студентам право выбора формата тестового экзамена и повышали бы гуманистический потенциал процедуры педагогических измерений. Гуманистическую роль языкового тестирования в развитии и личностном росте учащихся можно повысить, если в процессе и средствами языкового тестирования сообщать всем участникам педагогического процесса полезную информацию о состоянии знаний и индивидуальных познавательных возможностях студентов, создавая условия для полной реализации личностного потенциала каждого студента.

ЛИТЕРАТУРА

1. Мильруд Р.П. Теория обучения языку. Лингвистическая дидактика. - Тамбов: Изд-во ТГУ им. Г.Р. Державина, 2003.

2. Проект отраслевого терминологического стандарта Центра тестирования. Педагогические тесты. Термины и определения. Сайт по подготовке к Единому Государственному Экзамену http://www.ege.ru

3. Backman L., Palmer A. Language Testing in Practice. Oxford, 1996.

4. Bond L. Norm- and criterion-referenced testing // Practical Assessment, Research and Evaluation. - 1996. - Vol. 5 (2). P. 11-23.

5. Brian T. Testing to learn: a personal view of language testing // ELTJ. - Oxford: Oxford University Press, 2005. - Vol. 59 (1).

6. Craig M. Designing scoring rubrics for your classroom // Practical assessment, research and evaluation. - 2004. - Vol. 7 (25).

7. Cross L. Grading students // Practical Assessment, Research and Evaluation. - 1995. -Vol. 4 (8). - P. 1-4.

8. Ding С Exploratory longitudinal profile analysis via multidimensional scaling // Practical Assessment, Research and Evaluation. - 2003. -Vol. 8(12). - P. 1-13.



К содержанию номера журнала: Вестник КАСУ №2 - 2008


 © 2024 - Вестник КАСУ