Yury Neretin 'Why variants of Unified State Examination in Russia are nonsatisfactory'; Encoding C1251

Yuri Neretin homepage (English)

Yury Neretin papers on Mathematical education

Почему не удается написать удовлетворительных вариантов ЕГЭ?

Часть 1

                                                              Ю.А.Неретин

                                                              Москва--Вена 12.05.08

Как голосованием признали Землю плоской...

Редьярд Киплинг
(The Village that Voted the Earth was Flat) .

ЕГЭ есть политическое решение. Я попытаюсь без эмоций описать некоторые проблемы, с которыми должны столкнуться люди, воплощающие его в жизнь, а также о некоторых результатах этого «воплощения».

Я -- математик и провожу анализ в соответствующей области. В отношении коррупции я экспертом не являюсь, поэтому вопрос почти не затрагивается.

Часть 1.

1. Разрешима ли поставленная задача?

2. Проблема массовой содержательной проверки

3. Уточнение обстановки

4. Итоговый продукт

5. ЕГЭ и параллельная школьная программа

6. Организационные шедевры

7. Есть ли выход из ловушки?

P.S. 17.06.08



Часть 2.

8. Аттестатаный кризис

9. Идейный источник вариантов ЕГЭ

10. Детали лихорадки. Осень-2008

11. Литература

Разрешима ли поставленная задача?

1. Вопрос об совмещенном варианте. Итак предлагается решить все проблемы вступительных экзаменов одним вариантом, пригодным на все случаи жизни.

Давайте для начала представим два института "А" и "В" с сильно различающимся уровнем математической подготовки (или просто с разным конкурсом). Скажем, в учреждении "А" нужны простые задачи, а в учреждении "В -- сложные. Попытаемся одновременно дать и те и другие. В итоге «слабых» провоцируют на попытки решения задач, которых они решить не могут, и его результат будет зависеть от того, за какие именно задачи они будут браться. Эта проблема не фатальна, но основная беда возникнет для «сильных».

Дело в том, что простых задач должно быть достаточно много, чтобы иметь возможность разделить «слабых» по двойкам, тройкам, четверкам (это, кстати, не дает возможности составить вариант из задач среднего уровня, тогда нам придется наставить двоек, а лучшая оценка будет тройка). Но с точки зрения нашей оценки «сильных», решение/не решение простых задач не имеет никакого значения. Человек должен уметь решать сложные задачи, а оценивать мы его начинаем по тому, с какой скоростью он решает простые.

Повторю еще раз. Если человек не решает сложных задач (где «нужно думать»), то он нас не устраивает. Если же он сложные задачи решил, то нам этого вполне достаточно.

В итоге мы начинаем оценивать человека по скорости решения простых задач, и в нашу оценку вносится сильный «шумовой эффект».

2. Об идее "чем больше, тем лучше". Кто-то может сказать, что ведь хорошо, что кто-то что-то быстро делает. Да, хорошо. Только с точки зрения наших целей это может быть безразличным. Как, например, вопрос, быстро ли он пишет шариковой ручкой.

3. Вопрос о всеобщем варианте. Представим, что есть три разных уровня, А, В, С (в порядке возрастания). Теперь нужно достаточно задач уровня А, что не имеет никакого значения для уровня В. Поэтому нужно достаточно задач уровня В, что не имеет никакого значения для уровня С. Поэтому задач уровня С тоже должно быть достаточно.

Теперь уровню В нужно бороться с "шумом" на уровне "А", а уровню "С" -- на уровнях "В" и "A".

Можно пытаться чего-то смягчать распределением баллов (ничего особенно путного не выходит).

Теперь надо написать вариант на всех, начиная от барабанного училища и кончая механико-математическим факультетом Московского университета (ниже -- "мехмат"). Что-то вроде A-B-C, только похуже.

Даже в идеальных условиях всеобщий вариант будет дурным. Это главное, и всего остального можно не говорить.

Здесь еще можно спорить об уровне неудовлетворительности, но мы пока обсуждали "идеальную задачу". Уже невозможность общей проверки делает степень неудовлетворительности достаточной.

А о менее очевидных проблемах -- ниже.

4. А как же ЕГЭ "во всем цивилизованном мире"? Очень просто. См. английское название цитированного мной рассказа Киплинга. Там она, вопреки здешним представлениям, круглая. Хотя иных проблем и там хватает.

5. Первое последствие идеи всеобщего варианта. Беговая дорожка. Пытаясь решить задачу о всеобщем варианте, мы организовываем соревнование на скорость. Ниже будет указана независимая причина, провоцирующая то же соревнование.

Критики ЕГЭ удивляются, почему в вариантах нет или мало задач, где можно подумать. Но они просто не вмещаются в данный формат (составители варианта по математике в этом месте стараются, но возможностей-то нет, о возможностях ниже).

Я когда-то случайно видел варианты Рязанского военно-автомобильного училища. Был нормальный набор несложных задач, который требовал вовсе не бессмысленных автоматических действий, а определенных размышлений, выбора и т.п. В рамках ЕГЭ математические размышления даже на таком уровне трудно реализуемы.

6. Проблема оценивания групп высокого уровня. Эти группы не многочисленны, но их значение для будущего страны непропорционально велико. С проблемой их оценки, разумеется, сталкивалось очень небольшое число людей. Я не могу вдаваться в детали, лишь замечу, что даже ежегодное составление одного комплекта вариантов является тонкой и, в определенном смысле, «штучной» задачей. В профессиональной математике это выяснилось уже в 60е годы.

Пытаться добавить к этому варианту что-то еще уже невозможно. Так же как нельзя заполонить Россию бесчисленными «первоклассными» вариантами (их невозможно «массами» писать из года в год).

ЕГЭ не в состоянии делать что-либо разумное на верхнем участке спектра поступающих.

Проблемы массовой содержательной проверки

1. Начало обсуждения. Напомню, чем содержательная проверка (скажем, по математике), отличается от формальной. Вы смотрите на «ответ» и видите, что он верный. Начинаете прослеживать решение и обнаруживаете ошибки. Далее ставите за задачу столько «баллов», сколько при этих ошибках положено (иногда 0). Далее. Вы встречаете неверный ответ. Ищите ошибки, находите их все. Снова ставите баллы за фактические ошибки (это может быть почти полный балл). Далее. Иногда не ясно, верен ли ответ (он может быть сформулирован сколь угодно «дико», но правильно). Тогда Вам же разбираться.

Это большая по объему утомительная работа, требующая определенной квалификации. Надо еще напомнить, что проверка дублируется, а разногласия между проверяющими согласуются; что решения задач не являются литературно отточенными, что они написаны не калиграфическим почерком и т.д и т.п.

Допустим, что мы вводим ЕГЭ с содержательной проверкой. Очевидно, на это нужно даже больше сил, чем для вступительных экзаменов. Собрать такие «силы» в единую «структуру» невозможно.

По этой причине создатели вариантов переходят к тестам и ограничивают область содержательной проверки задачами группы С.

Встает вопрос, как набрать проверяющих.

Есть два старых способа организации массовой проверки: это силовая мобилизация наличных a priory квалифицированных кадров (экзамены в вузах, предпочтительней именно "силовой" вариант) или призыв добровольцев на интересную работу (олимпиады для школьников). Оба способа в случае ЕГЭ не работают. Возможность собрать (отобрать) квалифицированных людей иными способами проблематична.

Скажем, высокими оплатами вопрос не решается. По разным причинам. Например, потому что не для всех эта работа привлекательна.

2. Смешение этажей пирамиды. В старой системе проверяли преподаватели вузов. В своей массе они были вузу адекватны. Я, скажем, долго работал в МИЭМе. Качество собственно проверки было хорошим. Но я уверен, что большая половина людей, хорошо проверявших МИЭМовские варианты, плохо проверяла бы мехматские.

Сомневаюсь, что преподаватели Рязанского военно-автомобильного училища могли бы хорошо проверять МИЭМовские варианты.

При всеобщем экзамене все смешается. Для качественной проверки нужны будут именно проверяющие мехматского уровня. Такого количества пригодных людей просто нет в природе. Поэтому вопрос, как их собрать, не стоит. Точно так же невозможен МИЭМовский уровень (по тем же "физическим" причинам), а какой этот уровень на самом деле, я не знаю.

3. Неожиданное ограничение на выбор задач. Хороших сложных (в разных смыслах) задач не так уж мало. Но их проверка, вообще говоря -- дело довольно тонкое (сложно это, и "уметь надо"). Массовый проверяющий на это не способен.

По этой причине уровень задач приходится подгонять под возможности массового проверяющего.

С другой стороны, вообще хотелось бы, чтобы проверка была попроще. Но это означает, что чего-то иного нам не хочется...

4. Еще одна проблема. Ввиду массовости системы, с неизбежностью, уровень части поступающих выше (а изредка и сильно выше) уровня среднего проверяющего. Человек, вообще говоря, плохо проверяет работы людей уровня выше его собственного.

Дело в том, что при массовой проверке человек легко входит в автоматический режим, и отслеживает не правильность текста, а соответствие схемам, зафиксированным в его голове. С другой стороны, в природе есть достаточно заавтоматизированных "доцентов", которые вообще считают ошибкой именно факт несоответствия.

Дублирование проверки здесь слабо помогает.

. 5. "Потолок" проверяющей системы. Очевидно, что он где-то есть, и он определен возможностями среднего проверяющего. Выше какого-то уровня оценивающая машина становится некомпетентной.

Кстати, есть еще вопрос о "потолке" системы, составляющей варианты.

6. Вопрос о добросовестности. Я не знаю, как его пытаются решать (уж наверно пытаются). Замечу, что он не совсем прост. Одна из проблем состоит в сохранении ясности сознания при работе "в автоматическом режиме", на это нужна какая-то сильная внутренняя установка.

В массовых проверках, в которых я участвовал, у проверяющих была уверенность (и сильная уверенность), что они делают разумное и полезное дело, это было основой качества проверки. С этой точки зрения, кажется желательным, чтобы массовый проверяющий верил в разумность и полезность ЕГЭ. Но не очевидно, что это в самом деле так уж желательно.

7. Конец обсуждения. Потолок возможностей проверяющей ЕГЭ-структуры не так уж высок.

Мы либо выбираем задачи, ручная проверка которых до предела автоматизирована, и тогда оценочные возможности варианта сокращаются (и, кроме того, мы провоцируем рост сложности вариантов, о чем ниже).

Либо мы пытаемся дать более разумный вариант, но тогда не можем его проверить.

При этом и "ниже потолока" проблем больше, чем хотелось бы.

Уточнение обстановки

Я напомню, что из предыдущего раздела мы унаследовали "задачную проблему" в части С.

1. Каковы возможности написания тестов? Тесты имеют много минусов, которые я здесь не хочу обсуждать. С другой стороны, они имеют и определенную область применимости.

Должен сказать грустную вещь. Осмысленные задачи вообще трудно придумывать. Разумных тестовых задач и задач, контролируемых по ответу, немного. Если это кому-то кажется странным, то он может попытаться опровергнуть мое высказывание.

Попытаюсь привести два популярных довода.

Первое: варианты ЕГЭ из "сокровищницы Федерального банка" моего утверждения не опровергают. Люди ведь стараются.

Может, это виднее на вариантах по «русскому языку». Их каждый год совершенствуют, но лучше они от этого не становятся. Все время приходится включать задачи, к собственно предмету «русский язык» имеющие отдаленное отношение. Ну неоткуда задачи брать...

Второе. Слово "тест" завораживает, и в нашем мире оно выглядит как что-то революционное. Но в реальности это должен быть простой разумный вопрос. Они в школьной математике все сказаны... И, если посмотреть на уже сказанные вопросы, окажется, что выбирать особенно неоткуда. А если чего и придумаешь, то в тот момент, когда ты скажешь, это тоже окажется сказанным.

Важнее, что этот ограниченный набор вопросов имеет и ограниченные возможности...

2. Задачи, проверяемые по ответу. Здесь ситуация получше, чем в буквальном тесте. Но выбор меньше, чем хотелось бы, и внимательный (и даже не очень внимательный) читатель варианта видит, что определенный кризис есть и здесь.

Одно из главных ограничений -- что задачи, где нужно время на размышление, не желательны.

3. Массовость вариантов и часовые пояса. Я объяснял, что на всех участках спектра оценивания происходит по разным причинам "задачный кризис" разной степени остроты.

С содержательной точки зрения, много вариантов не нужно. Но в наших условиях "утечка" вариантов и неизбежна, и необходима. "Мильен" вариантов нужен, чтобы уменьшить последствия утечки.

"Мильен" задач не нужен, но все равно их нужно много. Это не способствует их качеству.

Часовые пояса ситуацию обостряют.

Но это не только количественный эффект. Один из главных способов избежать вырождения экзаменационно-контрольных систем -- ежегодный вброс неожиданных задач. Из-за часовых поясов это проблематично.

Еще одна неприятность. Если на самом деле давать много задач, то возникают дополнительные проблемы и с организацией проверки, и с ее качеством. Если же давать мало задач или делать их однотипными, то резко увеличивается рыночная ценность "секрета", и параллельно провоцируется поиск для (почти) честной контригры.

Наконец, возникает и проблема "уравновешивания" разных вариантов (а их много...) и дополнительная задача уравновешивания вариантов, даваемых в разных часовых поясах. Причем "уравновешивать" надо отдельно и для тех, кто соревнуется на уровне МИФИ, и для тех желающих в Рязанское военно-автомобильное училище, и для тех, кто борется за "три с тремя минусами". И это тоже дополнительная (хоть и не главная ) степень жесткости ЕГЭ-конструкции.

4. Задача о допустимой процентовке. Здесь я отчасти повторюсь. Нужно написать вариант, по которому нужный процент школьников получит оценки 1,2,3,...,10.

Эта задача, в отличие от многих вышеперечисленных, разрешима.

Но и она накладывает ограничения на вариант. Например, вариант должен быть очень сложен. Потому что слишком большое число максимальных оценок не желательно.

С другой стороны, нужно, чтобы все состязающиеся на примерном уровне, скажем МИСиСа, не получили одну и ту же отметку, это тоже надо слегка отслеживать.

Тестовая часть, вынужденным образом, убога, но она тоже, по необходимости, должна быть большой (иначе у нас будет нежелательное уплотнение в нижней половине полученного спектра). Это вызывает соревнование на скорость, то есть усугубляет то, что уже и без того дожно было быть.

5. Итоговая картина перед началом начала игры. Разные обсуждавшиеся проблемы имеют разную степень остроты. Есть три фатальных

--- поставленную задачу удовлетворительно решить нельзя

--- оценка групп высокого уровня невозможна

--- проверяющая структура группы С имеет "потолок". Где он, неясно, но не так уж высоко

Есть "беговая дорожка" как вынужденное свойство конструкции (по двум независимым, но накладывающимся на друга причинам).

Дальше есть задача о процентовке, которую необходимо решить (в присутствии "задачного кризиса" по всей длине варианта).

И есть набор дополнительных отягчающих обстоятельств.

Итоговый продукт

Какую температуру показывает градусник,
сброшенный с борта космического корабля?

(классическая школьная задача по физике)

1. Оценка итогового продукта. Разрешительная способность. Бесспорно, что вариант разделяет людей классов соревнующихся в Рязанское автомобильное училище, в МИСиС и на мехмат.

Внутри второго и третьего из классов играют значение, по крайней мере, четыре фактора:

1) собственно познания или способность к математике (второе в малой степени)

2) беговые способности (в силу вышесказанного)

3) еще один важный и многосторонний параметр, указанный ниже в п.5.

4) Степень интенсивность предэкзаменационной подготовки по параметрам 2)-3), эффективность методик такой подготовки, способность человека эту подготовку выдерживать.

Внутри первого класса вариант разделяет людей по спобности к самодрессировке (но в упомянутом учреждении ее умеют проверять лучшими средствами) и по объему кратковременной памяти.

В следующем пункте я это объясню.

2. Почему проверка простейших навыков не проверяет простейших навыков? Представим себе, что мы хотим на третьем курсе узнать, что осталось у студентов в голове от, скажем, алгебры первого курса. Это очень просто. Достаточно взять и неожиданно, скажем, 12 апреля дать контрольную работу с набором очень простых стандартных задач (когда-то, в незапамятные времена, заведомо больше 25 лет назад Министерство Образования "развлекалось" в таком стиле). Результаты будут, скорее всего, невеселыми (я сам в этом стиле тоже "развлекался", моих коллег результаты шокировали).

Теперь сделаем то же самое, сообщив 1 апреля, что будет работа с такими-то задачами, а все ненаписавшие получат те или иные неприятности. Чем больше будут обещанные неприятности, там прекрасней работа будет написана. К вечеру 12 апреля головы студентов придут в то же "первозданное" состояние, в каком были 1 апреля на рассвете.

Вообще, контрольная или экзаменационная работа примерно предсказуемого содержания всегда дает результаты, в той или иной степени, завышенные по сравнению с реальными. Т.е., если люди на ЕГЭ демонстрируют простые навыки, то это ... не значит ничего.

Возникает вопрос, нельзя ли убрать прямую "проверку простых навыков" из варианта и, тем самым, "развязать себе руки". Если бы целью было бы только "оценивать", то да. Но, как все (учившие и учившиеся) знают, в определенной ситуации лучше оценивать неточно...

Но тут есть и другая сторона дела. Что-то "неизъяснимое" все-таки оценивается. И это тоже надо.

3. Оценка варианта в пределах возможного. Идут дискуссии, можно ли написать лучше. Моя точка зрения, что чуть-чуть лучше можно. Не более.

По-моему, люди, думающие, что существенное улучшение возможно, не видят некоторых из перечисленных неприятностей. Предложения по улучшению, которые я слышал, приводят к тому, что конструкция рвется по другим швам. Может, я выложу этот анализ в интернет.

Что касается общей оценки варианта, то я его сказал в другой своей статье («Наука и жизнь», 4, 2008) , повторяться не буду.

4. "Накрутки". Многие говорят, что задачи ЕГЭ соответствуют школьной программе. В самом широком смысле это слова это так --- любая задача ЕГЭ может быть решена средствами школьной програмы.

С другой стороны, до сих пор существовали, условно говоря, 3 типа школьных задач

--- обычные школьные задачи

--- "задачи повышенной сложности"

--- интересные или сложные задачи, которые были скорее вокруг школы, чем в ней самой.

В вариантах ЕГЭ по математике есть класс задач, которые ни к одному из ранее существовавших типов не относится. Таких задач вообще никогда не было.

Их характерный элемент --- введение в более-менее обычные задачи "усилительных элементов", или, как говорят, некоторые авторы "накруток". С содержательной точки зрения они вполне бессмысленны.

В некоторых случаях цель -- "запихнуть" задачу в форму, допустимую для машинной проверки. С другой стороны, есть вышеупомянутые проблемы задач с ручной проверкой, добавление накруток не увеличивает требований к среднему проверяющему. Наконец, вариант устроен по принципу "беговой дорожки", но нужны какие-то дополнительные препятствия (ну, скажем, подножки).

Скажу свою личную точку зрения: ввиду "задачного кризиса" авторы не смогли решить "задачу о допустимой процентовке" допустимыми средствами.

5. Почему недопустимое недопустимо? Причин много. Пока назову первую.

Теперь одна из важных способностей, проверяемых вариантами ЕГЭ ... это способность к написанию вариантов ЕГЭ.

Ровно так. Варианты ЕГЭ вводят новую математику. Она вполне бессмысленна (и с математической, и с общеинтеллектуальной точки зрения), но необходима по причине несоставимости варианта). А детей теперь оценивают по "способности к написанию вариантов ЕГЭ".

6. Что будет происходить с вариантами ЕГЭ дальше? В ближайшие годы они будут усложняться. Индустрия по подготовке к ЕГЭ набирает обороты. Увеличивается число вовлеченных лиц с обеих сторон, совершенствуются методики, начинает перестраиваться школа. «Дальнейший неуклонный рост знаний» гарантирован. Это должно повлечь усложнение вариантов. Никаких «резервов» для этого, кроме роста из абсурдности нет (изобретение новых "накруток", усложнение существующих, усиление казуистической составляющей и т.д. и т.п.).

Обратите внимание, естественное направление "ЕГЭ-люции" системы -- деградационное.

7. Эстетика. Варианты ЕГЭ малоприятны (достаточно посмотреть на "накрутки"). И готовиться к ним -- удовольствие ниже среднего. В связи со сказанным в следующем параграфе, это не безобидно.

8. Реальный ЕГЭ как инструмент отбора. Я часто слышал идею, что распад нынешней экзаменационной системы зашел так далеко, что может даже и ЕГЭ часто не хуже. Высказывание стоит проанализировать. Мы отменяем систему, потому что она "хуже некуда" и заменяем на нечто "столь же достойное". Очевидно, что следующей фразой того же высказывания должно быть требование реформы новой системы.

Или другой вариант высказывания: ЕГЭ где-то улучшает, где-то ухудшает.

Я описывал проблемы и опасности, ЕГЭ плох везде, но наиболее плох именно на верхних уровнях системы образования. В следующей главе я обсуждаю воздействие ЕГЭ на школу, оно тоже, в своем роде, пропорционально запросам обучающегося.

С другой стороны, из проведенного выше анализа следует, что "освобождение" от "лучших вузов" нужно ЕГЭ не меньше, чем лучшим вузам освобождение от ЕГЭ.

Что касается третьесортных вузов, то для них ЕГЭ как система отбора и сойдет, но их контингент в результате введения ЕГЭ ухудшится, о чем в следующем параграфе.

. 9 Еще о задачах с ручной проверкой. Наличие задач с ручной проверкой несколько успокаивает общественное мнение. Но в математике -- "творческие" задачи С3-С4-С5 -- это наихудшая часть варианта.

10. Еще раз о "потолке" систем, составляющих варианты и их проверяющих. Как автор писал выше, точное положение этого "потолка" ему не известно.

Но беда с "творческими задачами" -- есть беда не устранимая и на уровне сконструированной ЕГЭ-машины не разрешимая. Это как раз "зона", где "наиболее удачно" концентрируются все перечисленные выше проблемы.

С другой стороны, есть довольно много задач приемлимой сложности (на уровне верхней половины части B), которые в принципе можно было бы дать (и их бы неплохо решали), но которые в рамках данной структуры нельзя проверить; например, задачи с логическими элементами и простенькие задачи на доказательство (простота задачи не имеет ничего общего с простотой проверки, а простота проверки -- не то же самое, что простота организации единообразной проверки).

Последнее замечание на ту же тему. Часть B варианта (задачи с машинной проверкой) имеет сложный и противоречивый состав. Эту часть можно было бы сделать лучше, если бы перед экзаменом не ставились невозможные цели.

11. О структуре варианта. Наряду с длинным вариантом существует длинный позадачный список "навыков", которые каждая задача проверяет. К слову: задачи часто не соответствуют вывешенным на них биркам. Реально проверяется что-то иное: способность к решению особых задач ЕГЭ (что к ни к "простым", ни к "основным" навыкам может не относиться), внимательность при быстром чтении, способность быстро распутывать преднамеренно запутанные формулировки (возможно, два последних умения очень ценны, я лишь указываю на несоответствие бирки и товара).

"Тендеры", "альтернативные подходы", "конкурсные основы" и т.п. не делают принципиально неразрешимые проблемы разрешимыми.

Переписыванием вариантов ничего улучшить нельзя.

ЕГЭ и параллельная школьная программа

1. Новый предмет. Обычные экзаменационные программы пишутся для того, чтобы стимулировать человека к разбору того или иного предмета. "Учет и контроль" вводится в качестве усиливающего средства.

Варианты ЕГЭ вынуждают программу подготовки к ним, и,. тем самым (ввиду того, что эти варианты всеобщие), они формируют параллельную школьную программу.

Я скажу лишь то, что напрямую сцеплено с вышесказанным.

--- введение бессмысленных ранее не виданных задач или элементов задач, необходимых однако в силу технологии экзамена.

--- изъятие из математики идеи размышления, что, в свою очередь, ставит вопрос, о том, зачем тогда экзамен по математике нужен и зачем тогда нужна "новая математика"?

--- программа беговой подготовки.

С другой стороны, к действительному пониманию школьной программы варианты ЕГЭ достаточно индеферентны.

Выходит, что мы имеем новую учебную дисциплину, ЕГЭ-ниматику. Это должно быть указано на экзаменационных листах.

2. Столкновение параллельной программы и школьной. ЕГЭ является решающим событием в жизни молодых людей, стремящихся «получить дальнейшее образование». Их целью в 11 классе является теперь подготовка к ЕГЭ и для него это важнее, чем школьная программа.

Еще раз, для конкретного школьника, желающего поступать в вуз, параллельная программа важнее официальной. Сценарий столкновения обсуждается в моей другой статье.

Скорее всего, в случае математики, произойдет замещение de facto одного другим. В Москве этот процесс только начинается.

3. О постановке вопроса. При добропорядочной постановке вопроса о ЕГЭ нужно было в качестве необходимого условия потребовать соответствие программы, навязываемой экзаменом, со школьной.

То, что это не было сделано, показывает уровень дискуссии и дискутировавших лиц. Как и то, что "эксперимент" был признан "успешным".

Организационные шедевры

1. Немножко общих слов. "Учет и контроль" в образовании. Скажу вещь азбучную и, кажется, ныне забытую.

Многочисленные контрольные средства в образовании, в своей основе, суть инструменты положительного воздействия учителя и образовательной структуры на ученика, а также инструменты обратной связи. Даже в жестких случаях подобных действий положительная составляющая должна оставаться.

Не надо объяснять, в какое положение поставлено наше образование, начиная с 1993 года. Не удивительно, что "контрольные элементы" образования начали барахлить.

С другой стороны, в нашем современном сознании идее "учета и контроля" в образовании придается ненормально большая роль.

В связи с этим, речи о "независимом контроле" легли на благодатную почву. Но надо понимать, что "контроль" есть также власть.

2. О загадочной роли ФИПИ. Есть структура со скромным названием "Федеральный институт педагогических измерений". Его варианты de facto становятся определяющим фактором содержания обучения в старших классах.

Еще раз (сразу не ясно). Мы имеем структуру, которая не в состоянии ничего "измерить" (по вполне объективным причинам), а, с другой стороны, обладает неограниченной властью в области (составление школьной программы), которая de jure не имеет к ней никакого отношения.

Эта власть вдобавок еще "независима", т.е., обычные образовательные структуры никакого влияния на нее оказать не могут.

С другой стороны, власть должна обладать какой-то свободой действий для осуществления своих "властных полномочий". Никакой "свободы" у ФИПИ нет. Он, как может, кроит "тришкин кафтан" (по математике добросовестно), а то, что получилось, de facto становится новой школьной программой.

В частности, отвечать на внешние воздействия эта структура разумным образом и не может, потому что никакой свободы движений у нее нет.

Мы наблюдаем шедевр организационного творчества, который войдет в учебники по социологии.

3. Еще раз о тендере и шедевре. О бессмысленности конкурса "На лучший вариант ЕГЭ" я писал выше (это, скорее, сюжет для КВН).

Но есть и другая сторона медали.

ФИПИ -- организация, занимающаяся решением "вселенской проблемы". Конкурирующая организация должна выступить в том же жанре, а именно подготовить "вселенский проект". Таких (адекватных) групп людей просто нет. Мир образования огромен. В наличии есть группы, понимающие кусочки картины. Но только кусочки.

Итак эти группы (а надо помнить, кадровый кризис сейчас страшный) должны найти друг друга и объединившись написать "вселенское сочинение". Но никаких способов проверить экспериментально их идеи нет (я выше писал про контрольную "12 апреля", но подковырок для подобных "экспериментов" немеряно), опыта у этих групп тоже нет, никто из них никогда вариантов "для всего человечества" не писал... О степени запутанности ситуации я говорил выше (да вряд ли разумные люди за это возьмутся, разве лишь в стиле Александра Матросова).

Т.е. перестройка возможна лишь на уровне глобального экспертного решения. А возможно ли адекватное экспертное решение на подобном уровне?

Еще. То, что само ЕГЭ было введено, предсказывает уровень будущей экспертизы.

Можно сказать, что речь идет о решении сложных вселенских проблем, и их решение должно быть сложным.

Все проще.

В конструкцию ЕГЭ-сооружения идея, что можно что-либо менять в содержательной области, не заложена. Это все тот же организационный шедевр, изначально возведенный на века в законченом виде.

4. Странная деталь. На вариантах написано "копировать запрещено" (хотя, казалось бы, школьнику должна выдаваться копия варианта). Официальные пособия ФИПИ выдают о вариантах скудную информацию.

Тем самым, эти варианты приобретают рыночную ценность, а действительной тайной они быть не могут.

Нормальной процедуры апелляции как не было, так и нет.

Честно скажу, не знаю, что это значит. То ли это "интеллектуальная собственность" и "коммерческая тайна". То, ли увидев набор вариантов, мы увидим что-то новое, нам еще непонятное. То ли это вообще добронамеренно и содержит желание не усугублять последствия. Все эти объяснения не противоречат друг другу.

И еще: «не принимаются апеляции по содержанию и структуре КИМов» (т.е. вариантов). По структуре ладно, а почему нельзя по содержанию? По математике неверные задания, к счастью, редкость. Но по другим предметам они обычны (или даже являются нормой).

Тоже ведь интересно, за 7 лет не позаботились о создании в системе хоть какого-либо механизма обратной связи. Есть лишь разные ступени защиты от внешних воздействий.

Есть ли выход из ловушки?

1. Загадочный консенсус. Данная статья посвящена техническим проблемам. Свою точку зрения о том, что ЕГЭ есть смертельная опасность для нашего образования, я высказывал в другой статье.

Но, в действительности, на определенном уровне все понимают, что в ранг общегосударственного закона возведен закончившийся полным провалом "эксперимент".

Вот слова "главного идеолога ЕГЭ" Виктора Болотова:

--- Если ЕГЭ останется единственной формой внешней оценки, то это угробит и ЕГЭ, и систему образования в целом.

Фраза замечательна по своему построению. Далее он выдвигал проект дальнейших реформ, тут не место это комментировать.

С другой стороны, Любовь Глебова, заменившая Болотова на его должности, сообщила о конкурсном подходе к написанию вариантов ЕГЭ.

Так или иначе, люди, вполне понимающие, куда все идет, продолжаются делиться на противников ЕГЭ и его сторонников...

2. Есть ли выходы? Пока мы имеем ЕГЭ в нынешнем формате, сделать нельзя ничего. Упомянутые (и неупомянутые) в статье разрушительные процессы будут идти, независимо от желания участников.

Кажется, наиболее "бескровный" выход из ловушки такой.

1. ЕГЭ делится на 2-3 уровня (по математике на 3), I, II, III по выбору школьника. Итоговый результат -- уровень и оценка на данном уровне. Соответственно институты сообщают, какие именно уровени их интересуют. На уровнях II и III остается часть варианта с ручной проверкой

2. Составляется список вузов, имеющих право не учитывать ЕГЭ при поступлении. Составляется список вузов, у которых факультеты имеют право проводить экзамен по профилирующему предмету (если честно, то иногда надо "освобождать" лишь отдельные факультеты). Возможно, что необходимы еще дополнительные экзотические исключения.

Большая часть моих возражений из начала моей статьи (и вариантные и проверочные) при таком "раскладе" снимаются или смягчаются.

Кроме того, появляется возможность приблизить экзамен к школьной программе. Расщепление экзамена и вывод части людей из его сферы влияния смягчают его давление на школьную программу.

Упрощается и проблема с тендером (который надо объявлять, причем на каждом уровне свой). С одной стороны, тут годятся уже существующие группы людей и существующие структуры. "Вариантные проблемы" в каждой "весовой категории" проще, это задача вполне в пределах человеческого понимания, и не такая уж далекая от задач известных. Более того, при любой мало-мальски грамотной попытке написать варианты, результат будет сильно лучше того, что мы имеем. Появляется возможность улучшать сделанное...

Задача перестает быть неразрешимой, у людей, у образовательных структур, у властей появится возможность для разумных конструктивных действий. Сейчас ее нет.

Добавлю, что надо аккуратно провести попредметный анализ возможностей при участии реальных (а не "бесконтрольных контролирующих") образовательных структур. Не очевидно, что "расщепление" --- вполне универсальный рецепт (скажем, автор даже отдаленно не представляет себе реальных возможностей содержательной проверки по истории или обществознанию).

-------------------------------------------------------------------------------------------

Проблему коррупции в "освобожденных" вузах лучше решать как-то отдельно. Замечу, что кроме коррупционного кризиса остается и кризис содержания экзаменов (и, быть может, их форм), на уровне приемных комиссий в их существующих формах кризис неразрешим.

------------------------------------------------------------------------------------------

Вообще же следует искать "гибкие" решения поелику возможно.

3. Вариантые возможности. Некоторый минус в сказанном, что новосозданным вариантным структурам придется выдерживать "общественное" давление, и не ясно, как их защитить. Но ответ в виде массовости задач в принципе возможен. Если не замахиваться слишком высоко, проблема решается, нужно "случайное облако", в целом (как облако) соответствующее школьной программе. А варианты из него выбираются "случайным образом".

Есть не совсем простая задача уравновешивания вариантов. Но только ни в коем случае не допустимо позадачно-тематическое уравновешивание, иначе мы влезем в ловушку.

Облако должно быть максимально разнообразным.

Даже точное знание облака никому особенно не поможет (при том, что буквально одна задача может существовать во многих внешне разных формах), облако и будет "школьной математикой", а решание задач из облака не повредит, это будет одной из возможных нормальных форм обучения.

4. Другая возможная форма проверки единого экзамена. Вступительные экзамены пишутся в конкретном заведении и в нем же для себя проверяются. А вот комплекты вариантов (из облака) случайным образом "сваливаются" сверху в последний час.

Разумеется, это не есть решение всех проблем, но возможности для коррупции сокращаются, а сама она локализуется. В отличие от ЕГЭ, где каждый лом (против которого нет приема) достает "от Москвы до самых до окраин".

Тогда "независимых" проверяющих структур городить не надо (или точнее, городить надо мало). В хороших (и вообще в уважающих себя) местах проверять будут хорошо.

Не очень хорошо сданные экзамены одного вуза могут признаваться другим, при наличии "личного" доверия к проверке (это не так гладко, как нам ЕГЭ обещает, но я вот первые 5 лет своей жизни в 80 году должен был жить "при коммунизьме").

В каком-то смысле, это упущенная возможность конца 60х годов. Книга Сканави свидетельствовала о наличии определенных сложностей со вступительными экзаменами по математике, но допускала эволюцию примерно в этом направлении со случайным выбором в руках приемных комиссий. Однако выиграл "альтернативный проект" Огибалова (само ЕГЭ во многом есть идейный наследник победившего подхода).

В свою очередь, опять допустимы вариации уже внутри этого формата, например, экзамен нижнего уровня "I" можно сделать всеобщим выпускным и вступительным низкого уровня в формате нынешнего ЕГЭ, но только простой, а уровни "II" и "III" проверять уже по вузам...

Мне лично последний подход кажется наиболее предпочтительным. В частности, это может несколько нормализовать "рынок образовательных услуг", ЕГЭ в его нынешних формах положение на этом рынке ухудшает.

Замечу также, что при данном подходе не нужно много комплектов вариантов, а поэтому не нужна и "база данных" окончательных формулировок (а ее существование представляется нежелательным), они могут "доводиться" вручную " в предпоследний час"

5. Олимпиады и связанные с ними иллюзии. В обществе возлагаются определенные надежды на олимпиады, "творческое конкурсы" и т.п. До самого последнего времени, "по олимпиадам" поступало в вузы очень немного людей, и это давало возможность олимпиадам быть содержательными и честными. Сейчас на них обрушатся все беды, связанные с приемно-экзаменационными процедурами. А соломинка эта хрупкая...

Хуже ЕГЭ все равно это не будет, но школьные олимпиады старших класов (а это была важная, хоть и неформальная часть нашей образовательной системы) уже начали менять свое лицо.

6. И все-таки о коррупции. Идут и будут идти какие-то сложные игры с их пиарной и подковерной составляющими.

С связи с их непонятностью стоит оценить общий фон.

1) Экзамен проводится местными властями.

2) "Варианты ЕГЭ" вызывают кризис идеи справедливости на самых разных уровнях (работники образования, родители, местные элитархи, работники ЕГЭ-структуры).

3) Независимо происходит кризис идеи справедливости на межрегиональном уровне.

Фон не выглядит благоприятным.

Первый из упомянутых кризисов может быть снят переводом ЕГЭ в разумное русло.

Межрегиональный кризис в любом случае останется..

Добавлю также, что есть шанс столкнуться с высоко-профессиональной кооррупцией с несравненно более высоким социальным статусом действующих лиц.

Повторяю, сценарий, предлагаемый чуть выше, убирает многие опасности.

Вся ЕГЭ-конструкция производит впечатление системы с отрицательными обратными связями (юридическая честность наказуема). Например, в условиях обычного экзамена заметная часть аудитории заинтересована в его честности (да и нормальный вуз заинтересован в хороших студентах). В условиях ЕГЭ в этом не заинтересован никто из присутствующих (да, и что такое «честность», неясно).

7. Отстраненный взгляд. То, что чуть выше названо коррупцией, строго говоря, не совсем коррупция, это определенный тип самоорганизации местных обществ, возникший в ответ на реформы 90х годов.

Но даже, если закрыть на это глаза, то Россия -- самая малоподходящая страна для введения ЕГЭ. Она велика, разнородна, а здешние представления о свободе (хороши они или плохи) основаны на примате человека над законом.

Творцы ЕГЭ должны как-то на это реагировать, и в итоге получается слишком много секретности, слишком много криптографии, слишком много веры в кристалльную честность исполнителей.

Но это, в свою очередь, создает и иные опасности и иные уязвимые места.

В частности, мы сейчас получаем что-то вроде "Особого отдела" в образовании.

8. Выпускной экзамен. На фоне обсуждаемых проблем и опасностей мусируемый вопрос о разделении выпускного экзамена и вступительного не имеет большого значения и может решаться разными способами.

Например, разные уровни ЕГЭ можно пересчитывать в выпускной экзамен. Для тех, кому не понравился результат, можно устроить другой экзамен без заморочек с проверкой.

А можно сделать ЕГЭ нижнего уровня обязательным для всех выпускным экзаменом, и, параллельно, вступительным экзаменом нижнего уровня внутри региона (я оставляю этот абзац, раз уж он опубликован, в действительности так делать не следует, о чем во второй части статьи).

9. О чрезвычайщине. Идея ЕГЭ "пробивалась" как чрезвычайная мера по борьбе с коррупцией (Грызлов: "Без ЕГЭ мы не сокрушим коррупцию в вузах!"). Эта коррупция развилась за 15 лет под давлением вполне известных внешних причин, сложившиеся структуры заслуживают "сокрушения". Хотелось бы ограничиться сокрушением только коррупции.

Поэтому закону о ЕГЭ должны быть приданы свойства чрезвычайного закона, т.е. его срок действия должен быть ограничен.

Сам по себе госэкзамен (но не ЕГЭ) в разных странах в очень разных формах и с очень разным успехом существует. Если уровень коррупции в самом ЕГЭ будет допустимым (а в прошлом году он уже зашкаливал за дореформенный уровень), то перевод госэкзамена в нормальные формы был бы на сегодняшний день предпочтительней его отмены.

Но существование жесткого закона о ЕГЭ даже в "цивилизованных" формах (которых, однако, нет) опасно. Мы имеем сложную и смутную картину с трудно просчитываемыми последствиями производимых действий и недостатком людей, умеющих их просчитывать; отсутствие гибкости в системе может оказаться фатальным. Проблема технического реформирования должна решаться на более низком уровне, чем Государственная Дума (я рассказал о проблемах написания экзаменационных билетов, при чем тут Дума...).

Сейчас опасно "проглатывать кол", как бы живописно он не выглядел.

Но это мечтания.

Коррупция не была основной проблемой нашего образования. Быть может, теперь ЕГЭ становится главной бедой. Заслоняя собою все прочие (которые никуда не делись)...

P.S. 17.06.08

Частично обнародованы результаты ЕГЭ 2008 года.

Вот еще.