Испытание

Программа TestReader от ABBYY успешно прошла испытание при обработке результатов Единого Государственного Экзамена. Эта система была разработана специально для реализации подобных проектов в рамках образовательной сферы.

«Экзамены (от лат. examen — испытание)...»
Большая Советская Энциклопедия

Во второй половине июля Министерство образования РФ подвело итоги очередного Единого Государственного Экзамена (ЕГЭ). Впервые автоматизированное тестирование выпускников российских школ проводилось столь масштабно; в этом году количество участников экзамена, проводившегося в 47 регионах страны, превысило 54% от общего количества выпускников, составив 655 тысяч человек. Все они в обязательном порядке сдавали математику, другие предметы можно было выбирать; помимо математики в списке насчитывалось 11 экзаменационных дисциплин (русский язык, физика, химия, биология, история России, география, английский, немецкий и французский языки, обществознание и литература).

С точки зрения экзаменуемого сдача ЕГЭ представляла собой обычное тестирование, с той лишь разницей, что ответы следовало записывать не в тетради, а на бланк машиночитаемой формы. Однако с точки зрения технологий сбора и обработки информации этот проект без преувеличения может быть назван уникальным. Это становится очевидным, стоит лишь подробнее ознакомиться со схемой проведения нынешнего ЕГЭ.

Сбор бланков с ответами по каждому из предметов осуществлялся в специализированных пунктах проведения экзаменов (ППЭ); всего их было организовано более 800. Собранные бланки передавали в пункты первичной обработки информации (ППОИ), откуда данные, либо в электронном, либо в смешанном виде, поступали в региональные центры обработки (РЦОИ). Из региональных центров информация передавалась в Центр тестирования, где и производилась финальная обработка результатов. По окончании этой стадии итоги экзамена транслировались по вышеописанной цепочке в обратном направлении, и каждый выпускник, обратившись в ближайший ППЭ, мог получить информацию о своей оценке. Таким образом, экзамен по каждому из предметов представлял собой замкнутый информационный цикл.

При этом организаторы ЕГЭ вынуждены были искать решение, позволяющее уложиться в весьма жёсткие временные рамки, ведь на проведение всех экзаменов отводился неполный месяц, с 27 мая по 22 июня. Для сравнения: в Великобритании, где количество выпускников значительно меньше, на обработку результатов аналогичного тестирования отводится вдвое большее время. По причине дефицита времени на полный цикл обработки данных по каждому предмету отводилось не более 5 дней. Исключение в этом смысле составляла лишь математика – 7 дней на полный цикл – постольку, поскольку этот экзамен был самым массовым, его в обязательном порядке сдавали выпускники во всех регионах.

Даже в самом общем виде задача выглядела внушительно: в предельно сжатые сроки собрать, преобразовать в электронный вид, обработать и распространить по вышеописанной схеме информацию о миллионе тестов, изначально представляющих собой примерно 3 млн. заполненных вручную машиночитаемых бланков. При этом крайне важно было обеспечить высокое качество ввода данных, минимизировать вероятность возникновения ошибок. Смысл данного требования очевиден, если вспомнить, что оценки, полученные на выпускных экзаменах в рамках ЕГЭ, принимаются большинством российских ВУЗов в качестве результатов вступительных экзаменов. А если учесть ещё факт географической удалённости участвующих в ЕГЭ регионов друг от друга и от Центра тестирования, становится ясно, что задача перед Министерством образования стояла уникальная, не имеющая аналогов в мировой практике. И во многом возможность её успешного решения определялась правильным выбором средств технического обеспечения ЕГЭ, в частности, информационной системы, задействуемой на этапе ввода, проверки и экспорта данных.

Понятно, что при эксплуатации подобной системы в пунктах обработки информации различного масштаба к ней будут предъявляться совершенно разные требования. Например, для обеспечения бесперебойного и качественного функционирования ППОИ необходимо, чтобы оператор (операторы) могли, с одной стороны, быстро обучиться работе с системой, с другой стороны – успевали обрабатывать поступающий объём данных. Подобных пунктов, рассчитанных на обработку форм, поступающих из ППЭ одного города или даже небольшой области, в последнем ЕГЭ участвовало 240.

В то же время для РЦОИ характерны много большие объёмы входящей информации; она стекается в пункт обработки из множества ППЭ и ППОИ целого региона. Соответственно, важнейшее требование к используемой системе обработки данных – возможность организации распределённого процесса обработки. Это едва ли не единственная возможность справиться с многотысячным потоком форм, избегая, с одной стороны, неоправданного раздувания штата РЦОИ, а с другой стороны, не допуская резкого возрастания количества ошибок.

При этом существует также ряд требований, не связанных прямо с особенностями технического обеспечения ЕГЭ, однако вполне актуальных применительно к этому проекту. Это общие требования, предъявляемые, по сути, к любой системе автоматизированного ввода данных с форм. Вкратце перечислим их: возможность построения и подключения шаблонов используемых форм, наличие высокоточных и достаточно быстродействующих механизмов распознавания рукопечатных символов, а также гибких (желательно – программируемых пользователем) средств верификации распознанных данных, возможность экспорта данных в требуемый формат, поддержка русского и нескольких иностранных языков.

Выбирая средства технического обеспечения ЕГЭ, Министерство образования провело тендер, по результатам которого остановило выбор на специализированной системе ввода форм ABBYY TestReader. Эта система была разработана компанией ABBYY специально для реализации подобных проектов в рамках образовательной сферы. TestReader, построенный на базе фирменной технологии потокового ввода форм ABBYY FormReader, предназначен для автоматизированной обработки различных тестов и экзаменов. Собственно, именно свойства, «унаследованные» от базовой технологии, позволяют этой системе удовлетворять всем вышеперечисленным требованиям по точности, возможностям работы с шаблонами, поддерживаемым языкам, и т.д.

Для удовлетворения требований, специфических для образовательной сферы, и, в частности, для реализации проекта ЕГЭ, разработчиками были созданы две специализированные версии ABBYY TestReader, обозначаемые Desktop и Network. Первая из них, предназначенная для установки в небольших ППОИ, представляет собой однопользовательскую систему, крайне простую в освоении эксплуатации. Фактически оператору на всём протяжении обработки форм приходится иметь дело всего с двумя «кнопками» пользовательского интерфейса. Понятно, что освоение такой системы не представляет особой сложности. В то же время возможности ABBYY TestReader Desktop позволяют одному оператору обрабатывать с высоким качеством до 1000 бланков ЕГЭ ежедневно.

ABBYY TestReader Network, как следует из названия, предназначен для распределённой обработки данных и рассчитан на эксплуатацию в РЦОИ, либо ППОИ с большой пропускной способностью. Этот программный комплекс построен по архитектуре клиент-сервер, его функционирование основано на конвейерном принципе. Подразумевается, что весь объём выполняемых операторами работ разделён на несколько обособленных этапов, выполнение каждого из которых максимально автоматизировано. Притом система допускает параллельную обработку нескольких т.н. «проектов» (потоков форм, которые могут быть совершенно не связаны между собой по смыслу, например, результатов экзаменов по химии и французскому языку). При наличии достаточных вычислительных мощностей это даёт возможность заметно повысить общую пропускную способность пункта обработки информации.

Технические результаты благополучно завершившегося ЕГЭ оказались впечатляющими. За 18 дней (это реальное время функционирования систем автоматизированной обработки данных) при помощи ABBYY TestReader было обработано 1.080.000 тестов, поступивших от ППЭ в виде 3 млн. 350 тыс. заполненных вручную машиночитаемых бланков. Распределение количества поступающих бланков по времени оказалось неравномерным; в частности, были отмечены дни, когда общая производительность систем обработки информации ЕГЭ достигала 400 тыс. бланков в день! Подобных результатов в рамках проектов государственного значения никому в мире до сих пор достичь не удавалось.

Однако дело не в выдающихся результатах как таковых. Важно то, что в России есть теперь информационная система, позволяющая – и это подтверждено практикой – проводить общегосударственные экзамены быстро и точно. А это значит, что появилась возможность объективно и независимо оценивать качество образования, получаемого в системе средних общеобразовательных учреждений. А в перспективе, возможно, и не только их.