Модель диалога человека-преподавателя контролирует деятельность в AutoTutor

Natalie K. Person, Arthur S. Graesser, Roger J. Kreuz, Victoria Pomeroy и группа исследования преподавания

Цель этой работы заключается в том, чтобы показать, как преобладающие особенности успешного взаимодействия человека- преподавателя могут быть интегрированы в педагогическом агенте – AutoTutor. AutoTutor – это полностью автоматизированная обучающая система, которая моделирует шаги диалога квалифицированного преподавателя в ответ на вводимые обучаемым исходные данные. В основе процесса моделирования лежит пяти-шаговая структура, редко используемая обычными преподавателями. Мы оценивали AutoTutor как эффективную обучающую систему и как собеседника во время занятий с виртуальными студентами различного уровня способностей. По результатам оценок трех циклов занятий было выявлено следующее: (1) AutoTutor приспособлен к эффективному с педагогической точки зрения диалогу, имитирующему шаги диалога преподавателя; (2) AutoTutor – достаточно эффективный собеседник.

Введение

За последнее десятилетие появилось несколько исследований, в которых была сделана попытка раскрыть механизм преподавания, отвечающий за приобретение студентами знании. В научных работах приводилось много данных по анализу совместных диалогов (collaborative discourse), возникающих на лекциях между студентами и преподавателями (Fox, 1993; Graesser & Person, 1994; Graesser, Person & Magliano, 1995; Hume, Michael, Rovick & Evens,1996; McArthur, Stasz, & Zmuidzinas, 1990; Merrill, Reiser, Ranney, & Trafton, 1992; Moore, 1995; Graesser & Person, 1999; Person, Graesser, Magliano & Kreuz, 1994; Person, Kreuz, Zwaan & Graesser, 1995; Putnam, 1987).

Например, мы узнали, что занятия в основном контролируются преподавателем, т.е. преподаватели, а не студенты, обычно определяют, когда и какие темы будут охвачены на занятии. Кроме того, мы знаем, что преподаватели редко используют в работе сложные или “идеальные” модели преподавания, которые часто включаются в состав интеллектуальных обучающих систем. Взамен преподаватели больше любят полагаться на локальные стратегии, которые возникают при общении. Хотя многие обнаруженные факты, как, например, эти, делают процесс преподавания ярче, они представляют значительную проблему для создателей интеллектуальных обучающих систем. В конце концов, создание умного собеседника – немалый подвиг. Однако если авторы будущих обучающих систем пожелают систематизировать знания, полученные при изучении преподавания, следующее поколение обучающих систем будет включать в себя педагогических агентов, которые займутся обучающим диалогом. Цель этой статьи двойная. Во-первых, мы хотим показать, как основные черты квалифицированного преподавания могут быть включены в обучающую систему – AutoTutor. Во-вторых, мы предоставим данные нескольких предварительных испытаний оценок качества, в ходе которых AutoTutor взаимодействует с виртуальными студентами с различным уровнем способностей.

AutoTutor – это полностью автоматизированная обучающая система, которая была разработана группой исследования преподавания. AutoTutor – это действующая система, которая делает попытку понять обычный студенческий язык, а затем сообщить студенту исходные данные путем моделирования живого диалога преподавателя. AutoTutor отличается от остальных систем, общающихся на естественном языке по многим признакам. Во-первых, AutoTutor не ограничивает вводимые на обычном языке данные студента, как остальные обучающие системы (например, Adele (Shaw, Johnson & Ganeshan, 1999); Ymir agenta (Cassell & Thorisson, 1999); Cirscim-Tutor (Hume, Michael, Rovick & Evens, 1996; Zhou et al, 1999); Atlas (Freedman, 1999); and Basic Electricity and Electronics (Moore, 1995; Rose, Di Eugenio & Moore,1999)). Эти системы стремятся ограничивать студента при вводе данных небольшим набором реплик. Во-вторых, AutoTutor не позволяет пользователю подменять естественный язык выбором опций меню графического интерфейса пользователя, как в обучающих системах Atlas и Adele. Третье отличие заключается в открытой природе предметной области, с которой работает AutoTutor (напр. компьютерная грамотность). Системы, указанные нами ранее, по своей природе относительно более закрыты и, следовательно, ограничивают вклад студента при общении с системой.

Текущая версия AutoTutor моделирует обучающий диалог обычных, неподготовленных преподавателей; тем не менее, проект следующих версии включает интеграцию более сложных идеальных стратегий преподавания. Данная версия AutoTutor создана, чтобы помогать студентам колледжа изучать темы, относящиеся ко вводному курсу компьютерной грамотности. На типичном занятии с AutoTutor студенты будут изучать основы технического обеспечения, операционных систем и Internet.

Краткое описание AutoTutor

AutoTutor – это анимированный педагогический агент, который может служить собеседником в разговоре со студентом. Структура AutoTutor включает в себя четыре особенности: двумерную говорящую голову, текстовое окно для ввода данных, текстовое окно, где демонстрируются проблема или вопрос, находящиеся в обсуждении и графическое окно, где демонстрируется анимация, имеющая отношение к данной теме. AutoTutor начинает занятия со знакомства с собой, а затем представляет студенту тему или проблему, которая выбрана из лекций, входящих в учебный план. Вопрос/проблема остаются в текстовом окне в верхней части экрана, пока AutoTutor не перейдет к следующей теме. В некоторых случаях бывают необходимы графика и анимация, которые появляются в специально предназначенном окне. После того, как AutoTutor познакомил студента с проблемой или вопросом, начинается многошаговый обучающий диалог. Все реплики студента набираются на клавиатуре и появляются в текстовом окне в нижней части экрана. AutoTutor отвечает на каждую реплику студента одной или несколькими шагами диалога, подходящими с педагогической точки зрения. Эти фразы не появляются на экране, а передаются через синтезированную речь, подходящую интонацию, выражение лица и жесты. В будущем мы надеемся создать блок распознавания речи, управляемый AutoTutor, и студенты смогут говорить свои реплики.

Однако существующий речевой распознаватель требует расхода времени, что не подходит для работы систем, которые взаимодействуют со множеством пользователей.

Различные модули, которые дают AutoTutor возможность взаимодействовать с обучающимися, будут описаны в следующих разделах статьи. Сейчас, тем не менее, важно заметить, что наша первоначальная задача по созданию AutoTutor была успешно выполнена. Т.е. мы создали обучающую систему, которая беседует с обучаемым, воспроизводя диалог с обычным преподавателем.

Зачем имитировать обычного преподавателя?

Хорошо известно, что обычные, специально нетренированные преподаватели достаточно эффективны. В научных работах, в которых измерялись приобретенные знания обучаемых студентов сообщалось, что размеры эффекта колеблются между 0,5 и 2,3. (Bloom, 1984; Cohen, Kulik & Kulik, 1982). Какое-то время это сбивало с толку, т.к. обычные преподаватели не были экспертами в области знаний и не обладали знаниями о сложных стратегиях преподавания. Для того чтобы получить более хорошее представление об основных механизмах получения студентами знаний, небольшая группа ученых систематически анализировала диалоги, возникающие между студентами и обычными неподготовленными преподавателями (Graesser & Person, 1994; Graesser et al, 1995; Person & Graesser, 1999; Person et al, 1994; Person et al, 1995) Graesser, Person и др. проанализировали свыше 100 часов учебных взаимодействий и выделили 2 заметные особенности учебных диалогов людей-преподавателей: (1) пяти шаговая структура диалога, уникальная для преподавательских взаимодействий, (2) серия диалогов, инициированных преподавателем, которые обслуживали специфические педагогические функции. Мы полагаем, что эти две особенности отвечают за позитивные результаты обучения, которые появляются в типичной обучающей обстановке, а также, эти особенности легче воплотить в обучающей системе, чем сложные методы и стратегии, которые поддерживаются остальными педагогическими исследователями и создателями интеллектуальных обучающих систем.

Пятишаговая структура диалога

Структура диалогов преподавателей отличается от обучающих диалогов, которые часто возникают в классах. Mehan (1979) и др. сообщали о трех шаговой структуре последних. На эту структуру часто ссылаются как на НОО, что означает: Начало (вопрос или утверждение, сформулированное учителем), Ответ (ответ или комментарии студента) и Оценка (учитель оценивает ответ студента). В преподавании, тем не менее, диалог построен по пяти-шаговой системе (Graesser & Person,1994; Graesser et al.,1995). Эта структура представлена ниже.

Шаг 1:Преподаватель задаёт вопрос или ставит проблему.

Шаг 2:Обучаемый отвечает на вопрос или начинает решать проблему.

Шаг 3: Преподаватель дает немедленную короткую обратную связь по качеству ответа (или решения).

Шаг 4:Преподаватель и обучаемый совместно улучшают качество ответа.

Шаг 5:Преподаватель оценивает понимание обучаемым вопроса.

Данная пяти-шаговая структура в преподавании является существенным увеличением трех шаговой структуры диалога в классе. Мы думаем, что преимущество преподавания над обучением в классе лежит, в основном, в четвёртом шаге. Обычно шаг 4 – это растянутый диалог из нескольких реплик, в котором преподаватель и студент совместно ищут объяснение, которое отвечает на вопрос или решает проблему.

На макро уровне диалог между AutoTutor и обучаемым согласован с шагами 1-4. В пяти-шаговой структуре. Для примера, в начале каждой новой темы AutoTutor ставит перед обучаемым проблему или вопрос (шаг 1). Затем обучаемый пытается решить проблему или ответить на вопрос (шаг 2). Затем AutoTutor даёт оценочную обратную связь (шаг 3) . Во время Шага 4 AutoTutor использует различные варианты шагов диалога (см. следующий раздел), которые поощряют участие обучаемого. Таким образом, вместо существующих систем передачи информации, которые бомбардируют обучаемого большим объёмом информации, AutoTutor – это прототип лекций, при котором сделана попытка позволить обучаемому говорить о его знаниях. С педагогической точки зрения, Шаг 4 стимулирует активное обучение студента. Другие исследователи так же предполагали, что процесс конструирующих объяснений, уточнений и мысленных моделей материала крайне необходим для обучения и обычно более эффективен, чем простое предоставление информации обучаемому (Chi, Bassok, Lewis, Reinmann & Glaser, 1989; Chi et al., 1994; Moore, 1995; Pressley, Wood, Woloshin, Martin, King & Menk, 1992; Webb et al.,1996).

Решение исключить шаг 5 из структуры AutoTutor было основано на опыте. На этом шаге преподаватели обычно задают общие, проверяющие понимание вопросы (напр.: «Вы поняли?»). Исследования в прошлом показали, что на эти вопросы студенты стремятся ответить парадоксально, например «хорошие» студенты чаще отвечают: «нет, я не понял», чем неуспевающие (Chi et al., 1989;Person et al., 1994). Так как ответы студентов на эти вопросы часто не заслуживают доверия, мы не решились включать шаг 5 в диалоговую структуру AutoTutor.

Диалог обычного преподавателя-человека

В нашем анализе диалогов преподавателей мы обнаружили, что обычные преподаватели редко используют сложные стратегии преподавания, которые предлагались исследователями образования и разработчиками интеллектуальных обучающих систем. Эти стратегии включают метод Сократа (Collins,1985; Collins,Brown & Newman, 1989), взаимный тренинг (Palincsar & Brown, 1984), обнаружение и исправление ошибок (Anderson, Corbett, Koedinger & Pelletier, 1995; Van Lehn, 1990; Lesgold et al., 1992), закреплённое обучение (Bransford, Goldman & Vue, 1991), создание предпосылок (Gagne, 1977) и усложнённая техника мотивации (Lepper, Asprinwall, Mumme & Chabay, 1990). Несмотря на подробный анализ, выполненный на примерах этих усложнённых стратегий преподавания (Fox, 1993; Hume et al., 1996; McArthur et al., 1990; Merrill et al., 1992; Putnam, 1987), подобные стратегии часто отсутствовали в неподготовленных занятиях преподавателей, которые мы анализировали. Для детального описания того, как анализировались эти обучающие воздействия, см. (Graesser & Person, 1994; Grasser et al., 1995; Person & Graesser, 1999; Person et al; 1994)

Мы обнаружили, что обычные преподаватели предпочитают шаги диалога, который тщательно спроектирован с учетом предыдущей реплики студента. Точнее, преподователи предпочитают шаги диалога, позволяющего учитывать количество и качество предыдущих реплик студента. Ниже представленны категории шагов диалога преподователей, которые мы идентифицировали во время занятий.

Положительная немедленная (непосредственная) обратная связь: «Правильно», «Да».

Нейтральная непосредственная обратная связь «Окей», «угу»;

Отрицательная немедленная обратная связь «Не совсем так», «Нет»;

Стимулирование информационных высказываний «Угу», «что еще»;

Побуждение к воспроизведению специальной информации «основная память процессора это ROM и ______»;

Намекание: «Жесткий диск можно использовать для запоминания» или «Что вы можете сказать о жестком диске?»;

Выяснение деталей «CD ROM – еще один способ запоминания информации»;

Выяснение и исправление ошибки. Содержится в высказываниях, сделанных после ошибки студента;

Поведение итогов. «Итак, суммируя» (сжатый пересказ ответа на вопрос).

Как и преподователи, AutoTutor использует одну или несколько из этих категорий после каждой реплики студента. Условия, при которых воспроизводится эти категории, будут обсуждатся в разделе о воспроизведении диалогов.

Структура AutoTutor

AutoTutor – это сплав классических символических структур (например, представления утверждения, концептуальных структур и выбранных правил) и структур, которые имеют многочисленные нечеткие ограничения (например нейросистема, нечеткие продукционные системы). Главные модули AutoTutor включают в себя анимационного агента, учебный план, языковой анализатор, латентный семантический анализ (ЛСА) и генератор шагов диалога. Все модули, кроме одного, были широко описаны в ранних публикациях (см. Foltz, 1996; Graesser, Franclin, Wiemer–Hastings, & the TRG, 1998; Graesser, Wiemer–Hastings, Wiemer–Hastings, Harter, Person & the TRG в печати; Hu, Graesser& the TRG, 1998; Wiemer – Hastings, Graesser Harter,& the TRG, 1998). Исключение составляет генератор шагов диалога. Подробное его описание будет дано после краткого описания остальных модулей.

Главные модули AutoTutor

Анимированный агент

Графическое воплощение AutoTutor было создано в Microsoft Agent. Это двумерное воплащение преподователя, сидящего за столом в течение всего занятия (мы находимся в процессе интеграци трехмерного изображения). AutoTutor общается с обучаемым посредством синтезированной речи, мимики и элементарных направленных жестов. Каждый из этих коммуникационных параметров можно установить на максимизацию общей эффективности AutoTutorа как преподователя и собеседника. Несмотря на то, что об этом можно говорить еще долго, эти механизмы были описаны в других работах (см. McCauley, Gholson, Hu, Graesser and the TRG, 1998; Person, Klettke, Link, Kreuz & the TRG 1999) и находятся вне рамок этой статьи.

Учебный план

Занятие с AutoTutorом проводятся по учебному плану. Учебные планы – это тщательно очерченые свободно структурованные планы занятий, включающие важные концепции, вопросы, факты и проблемы, которые учителя и преподаватели хотят детально осветить на занятии (Graesser & Person, 1994; Graesser et al 1995; McArthur et al. 1990; Putnam, 1987). Учебный план AutoTutor включает 37 вопросов или проблем по компьютерной грамотности: один вводный вопрос (например: «Из каких частей состоит компьютер и где его используют?»), который позволяет студенту привыкнуть к синтезированному голосу, и 36 тематически связанных вопросов/проблем. Учебный план AutoTutorа на данный момент содержит информацию по трем макротемам: комплектующие, операционные системы и Internet. Структура информации по этим темам анологична используемой в курсе компьютерной грамматности и учебнике (Beekman, 1997).

Каждая из 3 макротем содержит 12 тем (всего 36). Эти 36 тем содержат дидактические описания, вопросы, поставленные преподавателем, факты, иллюстрации, диаграммы (вместе с ожидаемыми хорошими и плохими ответами на каждый вопрос/проблему). Каждая из трех макротем имеет 3 уровня сложности и 4 тематических формата. Три уровня сложности (легкий, средний, трудный) наносятся на таксономию когнитивных трудностей и трудности вопросов (Bloom, 1956; Graesser&Person, 1994; Wakefield, 1996). 4 тематических формата представляют собой: (1) Вопрос на серьезное рассуждение; (2) Дидактическая информация + вопрос; (3) Графический дисплей + Вопрос; (4) Проблема + Вопрос.

Учебный план также включает 36 идеальных ответов, которые соответствуют каждой из 36 тем. Идеальный ответ состоит из набора N хороших ответов или аспектов {A₁,A₂,….,A_N}, которые были определены экспертами в области компьютерной грамотности, число аспектов для каждой темы колеблется от 3 до 9. Прежде чем AutoTutor перейдет к следеующей теме, он должен охватить на занятии все аспекты по данной теме. Качество ответов/реплик обучаемого определяется соответсвием их каждому аспекту и всем возможным комбинациям аспектов в отдельном идеальном ответе. Подобные операции структурного(системного) соответствия выполняет ЛСА (см. следующий раздел).

Дополнительная информация, содержащаяся в учебном планне, включает: (1) ожидаемые плохие ответы для каждой из 36 тем; (2) корректирующие высказывания (напр. хорошие ответы) для каждого из ожидаемых неправильных ответов и (3) многочисленные шаги диалогов (оценки, намеки, подсказки, быстрые отклики и подведение итогов), которые связаны с аспектами идеальных ответов. Надо отметить, что все содержание учебного плана написано на английском языке, в противоположность компьютерному коду. Таким образом, учитель или другой человек, не являющийся опытным программистом, может легко создать учебный план.

Языковые анализаторы

AutoTutor содержит несколько языковых анализаторов, оперирующих словами, которые обучаемый набирает на клавиатуре во время беседы. Анализаторы включают: (1) блок словарной и пунктуационной сегментации; (2) блок идентификации семантических классов и (3) блок классификации разговорных актов. После того, как обучаемый составит фразу и нажмет “ввод”, фраза разбивается на отдельные слова и знаки препинания. Затем идентификатор семантических классов классифицирует каждое слово по большому словарю (около 10 000 слов) и идентифицирует все возможные синтаксические классы и частоту использования слова в английском языке. Например, слово “program” в английском языке является существительным, прилагательным и глаголом. Нейросистема затем определяет верный синтаксический класс слова (W) принимая во внимание синтаксические классы предшествующего (W-1) и последующего (W+1) слова. AutoTutor способен разделять вводимые обучаемым данные на последовательность слов и знаков препинания с точностью 99%, находить нужное семантические классы с точностью 97% и присваивать слову верный семантический класс основываясь на конспекте с точностью 93% (Olde, Hoeffiner, Chipman, Graesser & TRG, 1999)

Классификатор речевых выражений – это нейросеть, которая делит и классифицирует входные данные обучаемого по пяти категориям речевых выражений. Это Утверждение, Расширенный вопрос, Вопрос «да/нет», Указание и Короткий ответ. На данный момент AutoTutor верно классифицирует 89% речевых выражений. В данной версии ЛСА наиболее уместны Утверждения. Т.е. ЛСА используется для оценки качества реплик обучаемого, однажды присвоив ему категорию утверждения. От качества, оцененного ЛСА, зависит тип обратной связи и шага диалога, который AutoTutor будет генерировать после. Для остальных категорий (Расширенный вопрос, Вопрос «да/нет», Указание и Короткий Ответ) AutoTutor использует различные стратегии. Эти стратегии, необходимые для однородности диалога со смешанной инициативной, не будут представлены в этой статье.

Латентный семантический анализ (ЛСА)

Знания системы AutoTutor о компьютерной грамотности отражены в латентном семантическом анализе (ЛСА) (Foltz, 1996; Foltz, Britt & Perfetti, 1996; Landauer & Dumais, 1997; Landauer, Foltz & Laham, 1998). ЛСА - это статистический метод, который сжимает большие массивы в К измерении (обычно от 100 до 500). Для AutoTutorа мы представили ЛСА величиной в 2,3 МБ текстов. Тексты включали учебный план, два учебника комьютерной грамотности и 30 статей, которые обсуждают техническое обеспечение, операционные системы и Internet.

Мы оценивали характеристики ЛСА с размерами, колеблющимися от 100 до 500; для текущей версии AutoTutor мы приняли 200. Размеры ЛСА служат ортогональными факторами, которые используются для вычисления концептуально связанного количества (геометрический косинус между 0 и 1) между двумя некоторыми множествами слов. Количество слов, содержащихся в множестве, варьируется от 1 до бесконечности. Таким ообразом, ЛСА вычисляет концептуальную связь между двумя некоторыми множествами, содержащими одно или более слов. Существует несколько параметров, которые преподаватель отслеживает во время занятий. Эти параметры включают: (1) качество текущего Утверждения обучаемого; (2) количество раскрытых и обсужденных тем и (3) общий уровень способностей обучаемого применительно к материалу данной темы. AutoTutor способен отслеживать эти параметры путем сравнения различных комбинаций реплик обучаемого и преподавателя в диалоге в специфических концептуальных множествах. Для оценки качества Утверждения обучаемого ЛСА сравнивает его с двумя различными концептуальными множествами: множеством, содержащим хорошие ответы и множеством, содержащим плохие ответы. Более высокое значение параметра ЛСА определяет принадлежность Утверждения к тому или иному множеству; т.о. AutoTutor интерпретирует Утверждение обучаемого. В области компьютерной грамотности мы создали свою версию ЛСА, с более аккуратной и точной оценкой качества Утверждения обучаемого (Graesser, et al, в печати; Wiemer-Hastings, Wiemer-Hastings, Graaesser, and the TRG, 1999).

ЛCА также подсчитывает значения двух добавочных параметров: «охват темы» и «уровень студента». «Охват темы» – это коэффициент, который отражает, какая часть Идеального Ответа была раскрыта в обучающем диалоге по конкретной теме (напр. зачем компьютеру нужны внешние периферийные устройства). «Охват темы» содержит предыдущие реплики преподавателя и обучаемого, сравниваемые с концептуальным множеством, содержащим Идеальный Ответ. «Уровень студента» – просто коэффициент, отражающий уровень способностей студента в рамках конкретной темы. Таким образом, с множеством Идеальных Ответов сравниваются только предыдущие реплики студента. Набор продукционных правил, которые диктуют следующее действие AutoTutor, основан на заранее установленных значениях трех параметров ЛСА, описанных в этом разделе; качества реплики студента, охвата темы и уровня студента. Эти продукционные правила обрисованы в следующем разделе.

Генератор шагов диалога

AutoTutor создан для воспроизведения шагов диалога обычных преподавателей. В идеале мы хотели, чтобы AutoTutor воспроизводил шаги диалога, имеющие педагогическую ценность, учитывающие способности обучаемого и соответствующие разговорному контексту. Текущая версия AutoTutor имеет репертуар из 12 типов шагов диалога, которые контролируются генератором шагов диалога (их описание дано в предыдущем разделе). Это стимулирование, поощрительное стимулирование, намек, поправка, подсказка, оценка и подведение итогов и пять форм немедленной короткой обратной связи (положительная, положительно-нейтральная, нейтральная, отрицательно-нейтральная и отрицательная). Эти 12 типов шагов диалога генерируются в ответ на реплики обучаемого, которые классифицируются как Утверждения классификатором речевых выражений. К Утверждениям обучаемого применяют специальный подход по двум причинам: (1) Утверждения обучаемого больше говорят о способностях студента, чем его вопросы (Person et al, 1995) и (2) Утверждения обучаемого встречаются чаще в обучающих диалогах, чем в других речевых актах, в частности в вопросах (Graesser & Person, 1994). AutoTutor оборудован механизмами управления остальными категориями речевых актов (расширенный вопрос, вопрос «да/нет», указание и короткий ответ). Например, в случае расширенного вопроса (например «что значит Х?») Х сравнивается со статьями словаря и AutoTutor дает определение в случае высокого уровня соответствия. Эти механизмы находятся вне рамок данной статьи и поэтому не рассматриваются.

Генератор шагов диалога управляется 15 нечеткими продукционными правилами, которые прежде всего разрабатывают данные, предоставленные модулем ЛСА. Каждое нечеткое правило указывает значение параметров, при которых должен быть начат конкретный шаг диалога. Таким образом, AutoTutor адаптировал структуру традиционных продукционных правил за исключением параметров, которые оценены нечеткими соответствиями (Kosko, 1992). Продукционные правила живых диалогов сосредоточены на следующих четырех параметрах: (a) качество утверждений обучаемого при предыдущем повторе разговора, (b) уровень знаний студента по данной теме, (c) степень охвата темы и (d) многословность студента. Значения первых трех параметров сосчитаны ЛСА, а четвертый (многословность студента) – просто измерение того, насколько активно (…) студент участвует в обсуждении темы. Продукционные правила живого диалога приведены ниже.

Стимулирование	Pump
ЕСЛИ (раскрытие темы - НИЗКОЕ или СРЕДНЕЕ после первого утверждения обучаемого) ТОГДА (выбор стимулирования)	1. IF (topic coverage = LOW or MEDIUM after learner’s first Assertion) THEN (select PUMP)
2 ЕСЛИ (соответствие множеству хороших ответов – СРЕДНЕЕ или ВЫСОКОЕ и раскрытие темы – НИЗКОЕ или СРЕДНЕЕ) ТОГДА (выбор стимулирования)	2. IF (match with good answer bag = MEDIUM or HIGH & topic coverage = LOW or MEDIUM) THEN (select PUMP)
Положительное стимулирование	Positive pump
ЕСЛИ (раскрытие темы - ВЫСОКОЕ после первого утверждения обучаемого) ТОГДА (выбор положительного стимулирования)	IF (topic coverage = HIGH after learner’s first Assertion) THEN (select POSITIVE PUMP)
Коррекция	Splice
ЕСЛИ (уровень студента - НИЗКИЙ или СРЕДНИЙ и многословность студента - НИЗКАЯ или СРЕДНЯЯ и раскрытие темы - НИЗКОЕ или СРЕДНЕЕ и соответствие множеству плохих ответов - ВЫСОКОЕ) ТОГДА (выбор коррекции)	4. IF (student ability = LOW or MEDIUM & student verbosity = LOW or MEDIUM & match with bad answer bag = HIGH) THEN (select splice)
Подсказка	Prompt
ЕСЛИ (многословность студента – НИЗКАЯ и раскрытие темы - НИЗКОЕ или СРЕДНЕЕ) ТОГДА (выбор подсказки)	5. IF (student verbosity = LOW & topic coverage = LOW or MEDIUM) THEN (select prompt)
Намек	Hint
ЕСЛИ (уровень студента - СРЕДНИЙ или ВЫСОКИЙ и соответствие множеству плохих ответов - НИЗКОЕ) ТОГДА (выбор намека)	6. IF (student ability = MEDIUM or HIGH & match with good answer bag = LOW) THEN (select hint)
7. ЕСЛИ (уровень студента - НИЗКИЙ и многословность студента - ВЫСОКАЯ и соответствует множеству хороших ответов - НИЗКОЕ) ТОГДА (выбор совета)	IF (student ability = LOW & student verbosity = HIGH & match with good answer bag = LOW) THEN (select hint)
Подведение итогов	Summary
ЕСЛИ (раскрытие темы - ВЫСОКОЕ или число повторов - ВЫСОКОЕ) ТОГДА (выбор подведения итогов)	8. IF (topic coverage = HIGH or number of turns = HIGH) THEN (select summary)
Оценки	Elaborations
ЕСЛИ (раскрытие темы - СРЕДНЕЕ или БЛИЗКО К ВЫСОКОМУ) ТОГДА (выбор оценки)	9. IF (topic coverage = MEDIUM or SOMEWHAT HIGH) THEN (select elaborate)
Положительная обратная связь	Positive feedback
ЕСЛИ (соответствие множеству хороших ответов –ВЫСОКОЕ или ОЧЕНЬВЫСОКОЕ) ТОГДА (выбор положительной обратной связи)	10. IF (match with good answer bag = HIGH or VERY HIGH) THEN (select positive feedback)
Отрицательная обратная связь	Negative feedback
ЕСЛИ (соответствие множеству плохих ответов –ВЫСОКОЕ или ОЧЕНЬ ВЫСОКОЕ и раскрытие темы - СРЕДНЕЕ или ВЫСОКОЕ) ТОГДА (выбор отрицательной обратной связи)	11. IF (match with good answer bag = HIGH or VERY HIGH & topic coverage = MEDIUM or HIGH) THEN (select negative feedback)
Нейтральная обратная связь	Neutral feedback
ЕСЛИ (соответствие множеству хороших ответов – СРЕДНЕЕ или БЛИЗКО К ВЫСОКОМУ) ТОГДА (выбор положительно – нейтральной обратной связи)	12. IF (match with good answer bag = HIGH or SOMEWHAT HIGH) THEN (select positive neutral feedback)
13. ЕСЛИ (соответствие множеству плохих ответов – БЛИЗКО К ВЫСОКОМУ) ТОГДА (выбор отрицательно–нейтральной обратной связи)	13. IF (match with bad answer bag = SOMEWHAT HIGH) THEN (select negative neutral feedback)
ЕСЛИ (соответствие множеству плохих ответов –ВЫСОКОЕ или ОЧЕНЬ ВЫСОКОЕ и раскрытие темы - НИЗКОЕ) ТОГДА (выбор отрицательно–нейтральной обратной связи)	14. IF (match with bad answer bag = HIGH & topic coverage = LOW) THEN (select negative neutral feedback)
ЕСЛИ (соответствие множеству хороших ответов – НИЗКОЕ или СРЕДНЕЕ) ТОГДА (выбор нейтральной обратной связи)	15. IF (match with good answer bag = LOW or MEDIUM) THEN (select neutral feedback)

(Примечание: это те продукционные правила шагов диалога, которые существуют в текущей версии AutoTutor. Они были пересмотрены после трех циклов оценок).

Для того, чтобы понять эти продукционные правила, некоторые общие значения ЛСА (напр. Низкий, Средний, Высокий) нуждаются в дальнейшем уточнении. Напомним, что значение ЛСА – есть геометрические косинусы, которые колеблются между 0 и 1, где более высокие значения показывают большее концептуальное совпадение. Характерные значения, установленные в продукционных правилах (например, Средний, Низкий, Высокий), сообщаются в пределах произвольно обусловленных значений ЛСА. В AutoTutor значению «Высокий» соответствуют значения ЛСА, колеблющиеся между 0,5 и 1, а, значению «Средний» соответствует значения ЛСА, колеблющиеся между 0,25 и 0,75. Частичное совпадение значений ЛСА (напр. Средний и Высокий) является неотъемлемой частью нечеткой логики (см. Kosko, 1992). Шаги диалога AutoTutor были оценены в трех различных циклах. Границы значений, которые могут принимать параметры ЛСА, были слегка подогнаны после каждого цикла оценок, чтобы улучшить характеристики AutoTutor.

Некоторые шаги диалога имели более одного продукционного правила. Это – причина того, что многие живые диалоги выполняли более одной педагогической функции. Рассмотрим два продукционных правила намека. В правиле (6) студент со средним или высоким уровнем способностей ошибся и выдал Утверждение низкого качества. В данном случае намек поможет студенту вернуться на правильный путь. В правиле (7) активный студент низким уровнем способностей выдает Утверждение низкого качества. Здесь ему дается возможность повысить качество Утверждения, перед тем, как преподаватель даст необходимую информацию. Таким образом, это правило побуждает студента выдавать Утверждения высокого качества раньше преподавателя (что будет педагогически худшей стратегией).

Оценка характеристик AutoTutor

Для того, чтобы оценить характеристики AutoTutorа как эффективного преподавателя и собеседника, мы провели три цикла оценок. Целью этих циклов было идентифицировать и исправить недочеты шагов диалога прежде, чем AutoTutor предстанет перед обучаемыми. Для подражания людям-студентам различного уровня способностей и многословности было создано несколько виртуальных студентов. Использование виртуальных (или синтетических) студентов для тестирования обучающих систем встречается довольно часто и поддерживается другими исследователями(Ur & Vanleh, 1995; VanLehn, Ohlsson & Nason, 1994). Эксперты по языку и педагогике оценивали педагогическую эффективность и разговорное соответствие шагов диалога AutoTutor во время занятий с виртуальными студентами. После каждого цикла оценок учебный план, нечеткие продукционные правила и пороговые параметры ЛСА пересматривались, чтобы улучшить характеристики AutoTutor.

Виртуальные студенты

Для оценки эффективности AutoTutor во время фазы разработки мы создали различные типы виртуальных студентов. Каждый из виртуальных студентов отличался по уровню способностей и/или стилю речи. Для создания виртуальных студентов 100 обычным студентам, записавшимся на курс компьютерной грамотности, было задано 36 вопросов по темам учебного плана. Затем эксперты оценили качество ответов студентов на каждый из 36 вопросов. Для каждой из 36 тем учебного плана были созданы следующие студенты:

Хороший многословный студент. Первые 5 реплик этого виртуального студента содержали 2 или 3 Утверждения, которые эксперты оценили как хорошие Утверждения из человеческих примеров. Студент рассматривался как многословный, поскольку студент имел 2 или 3 утверждения в течение одной реплики, что больше, чем среднее количество Утверждений на 1 реплику в человеческом преподавании.

Хороший краткий студент. Первые 5 реплик этого виртуального студента содержали 1 Утверждение, которое эксперты оценили как хорошее Утверждение.

Средний студент. Первые 5 реплик этого виртуального студента содержали Утверждение, которое эксперты оценили как среднее (ни хорошее, ни плохое).

Ошибающийся студент. Первые 5 реплик этого виртуального студент содержали утверждения, содержащее недопонимание или ошибки, согласно заключениям людей-экспертов.

Молчаливый студент. Первые 5 реплик этого виртуального студента имели семантические бедное содержание, такое, как «хорошо», «понятно» и «о».

Хороший разборчивый студент. Первые 5 реплик этого виртуального студента содержали одно утверждение, которое оценивалось как хорошее. Тем не менее, в отличие от двух других хороших виртуальных студентов, все Утверждения в первых 5 репликах по данной теме были представлены одним человеком-студентом.

Студент Монте-Карло. Первые 5 реплик этого виртуального студента были генерированы в стиле Монте-Карло для имитирования изменчивости качества студенческих Утверждений, которая обычно возникает во время занятия с обычными преподавателями. Т.е. были представлены все виды Утверждений (например, хорошее и среднее).

Для того, чтобы AutoTutor был эффективным преподавателем, он должен быть способен: (1) различать уровень способностей обучаемого и качество утверждения и (2) отвечать одним или комбинацией подходящих шагов диалога. Graesser at al. (в печати) сообщали, что параметры ЛСА чувствительны к уровню способностей обучаемого и качеству Утверждения. Целью трех циклов оценок было увидеть, сможет ли AutoTutor генерировать педагогически эффективные шаги диалога, учитывающие эти различия.

Эксперты и измерения качества

Для оценки качества диалогов AutoTutor по двум целостным параметрам: педагогическая эффективность (ПЭ) и разговорное соответствие (РС) было выбрано четыре эксперта, по двое на каждый параметр. Эксперты, оценивавшие ПЭ, были хорошо осведомлены о педагогических стратегиях, которые часто употреблялись обычными преподавателями. Для каждого шага диалога эксперты, оценивавшие ПЭ, рассматривали: (1) был ли диалог педагогически эффективным и (2) был ли диалог приемлемым для обычных преподавателей. Эксперты, оценивавшие РС, хорошо разбирались в разговорной речи. Они рассматривали различные факторы уместности разговора в их целостных оценках каждого диалога AutoTutor. Эти факторы включали нормы вежливости и Gricean maxims качества, количества, уместности и стиля (Brown & Levinson, 1987; Grice,1975,1978). Оба фактора оценивались по 6-бальной системе, где 1 балл соответствовал очень низкой, а 6-очень высокой оценке. Для каждой пары экспертов была сосчитана достоверность измерений, которая оказалась высокой в обоих случаях (Gronbach’альфа = 0,94 для ПЭ и 0,89 для РС)

Три цикла оценок

Цикл 1

Для пяти виртуальных студентов, описанных выше, хорошего многословного, хорошего краткого, среднего, молчаливого и ошибающегося было создано пять копий преподавателя. Студенты хороший разборчивый и Монте-Карло были созданы во втором цикле оценок. Учитывая, что это было первое взаимодействие AutoTutor с обучаемыми, мы не рассматривали Цикл 1 как полностью самостоятельную оценку преподавательского и разговорного мастерства AutoTutor. Каждая копия была довольно длинной (почти 25 стр.) и мы не были уверены, что наши знания обычных преподавателей были точно отражены в нечетких продукционных правилах. Таким образом, эксперты, оценивавшие ПЭ и РС, не были обязаны оценивать каждый диалог AutoTutor.

Две пары экспертов оценивали ПЭ и РС для третьей фразы AutoTutor в каждой из 36 тем учебного плана. Средние оценки педагогической эффективности для каждого виртуального студента приведены в таблице 1, а разговорного соответствия - в таблице 2. Результаты Цикла 1 указывают на 2 вещи. Во-первых, оценки характеристик AutoTutor были обратно пропорциональны независимости Утверждений виртуальных студентов. Т.е. AutoTutor лучше работал со студентами, которые мало говорили, а именно со Средним и Молчаливым. Во-вторых, общие характеристики AutoTutor могут сопротивляться значительным улучшениям.

После просмотра данных Цикла 1 в продукционных правилах шагов диалога и пороговых значениях параметров ЛСА было сделано несколько незначительных изменений. Тем не менее, мы не решились вводить существенные изменения в правила и параметры ЛСА, т.к. оценивался только один диалог в каждой теме. Кроме того, некоторые шаги диалога повторялись очень редко, а некоторые не встречались совсем (напр. отрицательная обратная связь). Мы решили не вводить серьезные изменения в AutoTutor, пока не соберем более показательные данные

Цикл 2

Для второго цикла оценок были созданы два новых виртуальных студента, Хороший Разборчивый и Монте-Карло. Эти студенты были созданы так, чтобы давать более типичные студенческие реплики, которые чаще встречались на занятиях обычных преподавателей. Хороший Разборчивый студент был создан для подражания хорошему студенту, который обеспечивает достаточно высокое качество реплик, которое сохраняется при смене темы разговора.

Разборчивый студент отличается от остальных хороших студентов (напр. хороший многословный и хороший краткий) тем, что его первые 5 Утверждений по данной теме обеспечиваются репликами нескольких студентов. Студент Монте-Карло был создан для отражения изменчивости качества студенческих Утверждений, которая часто имеет место на занятиях с обычными преподавателями. Для Студента Монте-Карло были генерированы все классы утверждений (напр. Хороший, плохой и нейтральный).

Второй цикл оценок отличался от Цикла 1 тем, что эксперты оценивали ПЭ и РС для каждого шага диалога AutoTutor (всего 605) с копиями студентов Хороший Разборчивый и Монте-Карло. Результаты цикла представлены в таблицах 1 и 2. Средние значения ПЭ (4,25) и РС (4,97) показывают, что характеристики AutoTutor значительно улучшилось, по сравнению с Циклом 1. Тем не менее, неясно, произошло ли это благодаря небольшим изменениям в продукционных правилах и параметрах ЛСА или это можно отнести за счет более показательных моделей шагов диалога.

После второго цикла оценок AutoTutor подвергся нескольким существенным изменениям. Во-первых, было исправлено содержание учебного плана. Вводные разделы для 36 тем были переписаны так, что реплики AutoTutor стали более короткими и разговорными. Кроме того, все шаги диалога AutoTutor были обозначены маркерами речи и переписаны так, чтобы звучать более разговорно. Во-вторых, были сделаны изменения в продукционных правилах. Было добавлено продукционное правило положительного стимулирования и отрегулированы значения ЛСА в других правилах. Например, при проверке средних оценок и частоты появления каждой категории шагов диалога, мы обратили внимание, что AutoTutor генерирует слишком много стимулирования и мало-отрицательную, нейтрально-отрицательную, нейтрально-положительную связь или коррекцию (даже когда это было педагогически выгодно). Мы установили значения ЛСА в конкретных продукционных правилах, надеясь, что мы сможем проследить изменения в следующем цикле оценок.

Цикл 3

В третьем цикле оценок были использованы все 7 виртуальных студентов. Две пары экспертов оценивали ПЭ и РС для каждого шага диалога AutoTutor (всего 2283) для 7 копий преподавателя. Результаты представлены в таблицах 1 и 2. Средние значения были не очень обнадеживающими, т.к. значения РС уменьшились, а значения ПС остались приблизительно равными. Тем не менее, результаты оказались много обещающими, когда были сосчитаны средние значения для разных виртуальных студентов. Например, AutoTutor показал существенное улучшение своих характеристик в цикле 3 по сравнению с циклом 1 при работе с хорошим многословным и хорошим кратким студентами. В большинстве остальных случаев улучшение было незначительным.

Тот факт, что сделанные в AutoTutor после цикла 2 изменения не привели к повышению оценок качества ПЭ и РС, можно объяснить по–разному. Тем не менее, мы предполагаем, что главная проблема заключается в виртуальных студентах. Анекдотические отчеты экспертов показывали, что они были более расстроены Утверждениями виртуальных студентов, чем генерацией AutoTutor живых диалогов. Вспомним, что Утверждения для каждого из виртуальных студентов (исключая хорошего краткого) были предоставлены различными студентами, записавшимися на курс компьютерной грамотности. Следовательно, они часто были либо слишком многословными, либо слишком краткими.

Таблица 1.

Значения оценок педагогической эффективности.

Тип виртуального студента	Цикл 1			Цикл 2			Цикл 3
	M	SD	n	M	SD	n	M	SD	n
Хороший многословный	4,52	1,41	210				2,52	1,49	36
Хороший краткий	4,63	1,42	283				3,55	1,78	36
Средний	4,12	1,52	338				3,90	1,65	36
Ошибочный	3,30	1,59	301				3,53	1,69	36
Молчаливый	3,75	1,47	592				3,63	1,62	36
Хороший разборчивый	5,26	1,26	286	4,40	1,64	307
Монте-Карло	4,03	1,77	273	4,09	1,67	298
среднее	4,23	1,47	2283	4,25	1,66	605	3,46	1,66	180

Таблица 2.

Значения оценок разговорного соответствия.

Тип виртуального студента	Цикл 1			Цикл 2			Цикл 3
	M	SD	n	M	SD	n	M	SD	n
Хороший многословный	4,77	1,52	210				2,59	1,24	36
Хороший краткий	4,48	1,17	283				3,65	1,30	36
Средний	4,47	1,24	338				5,02	1,38	36
Ошибочный	3,97	1,59	301				3,78	1,36	36
Молчаливый	4,52	1,20	592				4,92	1,30	36
Хороший разборчивый	4,86	1,29	286	4,91	1,22	307
Монте-Карло	4,39	1,41	273	5,04	1,35	298
Среднее	4,49	1,34	2283	4,97	1,28	605	3,79	1,45	180

Заключение

Мы пытались осветить характерные ораторские черты AutoTutor, которые отличают его от остальных анализированных обучающих систем. Конечно, мы признаем, что AutoTutor все еще нуждается в оттачивании своего педагогического и разговорного мастерства, тем не менее, мы уверены, что он воплощает в себе многие из характерных педагогических и ораторских черт обучающих программ, следующего поколения. В отличие от остальных обучающих программ, понимаемые AutoTutor данные, вводимые на обычном языке, не ограничиваются набором реплик (напр. «Почему?», «намек», «Покажи» - опции в Adele (Shaw, Johnson, Ganeshan,1999), Persona (Andre, Rist & Muller,1998) или ограниченный набор высказываний, понимаемый в Gandalf (Cassell & Thorisson,1999). AutoTutor не только понимает данные, вводимые обучаемым на обычном языке, но и отвечает диалогом, который приближен к тому, которые используют обычные преподаватели. Недавно мы начали четвертый цикл оценок, в котором AutoTutor взаимодействует с обучаемыми людьми. Этот цикл закроет главу о данной версии AutoTutor. Мы разрабатываем следующий проект, AutoTutor 2. Его характерные черты включают в себя модуль обратной связи с обратным каналом, трехмерного агента, способного к демонстрации комплексных эмоций, и темы учебного плана, организованные в структуре концептуального знания, которые дадут возможность AutoTutor 2 делать более сложный выбор шагов диалога.

Список литературы

Anderson, J. R., Corbett, A. T., Koedinger, K. R., & Pelletier, R. (1995). Cognitive tutors: Lessons learned. The Journal of the Learning Sciences, 4, 167-207.

André, E., Rist, T., & Müller, J. (1998). Integrating reactive and scripted behaviors in a life-like presentation agent. Proceedings of the Second International Conference on Autonomous Agents (pp. 261-268). Minneapolis-St.Paul, MN.

Beekman, G. (1997). Computer confluence. New York: Benjamin/Cummings.

Bloom, B. S. (1956). Taxonomy of educational objectives: The classification of educational goals. Handbook I: Cognitive domain. New York: McKay.

Bloom, B. S. (1984). The 2 sigma problem: The search for methods of group instruction as effective as one-to-one tutoring. Educational Researcher, 13, 4-16.

Bransford, J. D., Goldman, S. R., & Vye, N. J. (1991). Making a difference in people’s ability to think: Reflections on a decade of work and some hopes for the future. In R. J. Sternberg & L. Okagaki (Eds.), Influences on children (pp. 147-180). Hillsdale, NJ: Erlbaum.

Brown, P., & Levinson, S. C. (1987). Politeness: Some universals in language use. Cambridge: Cambridge University Press.

Cassell, J., & Thórisson, K.R. (1999). The power of a nod and a glance: Envelope vs. emotional feedback in animated conversational agents. Applied Artificial Intelligence, 13, 519-538.

Chi, M. T. H., de Leeuw, N., Chiu, M., & LaVancher, C. (1994). Eliciting self-explanations improves understanding. Cognitive Science, 18, 439-477.

Chi, M. T., Bassok, M., Lewis, M. W., Reimann, P., & Glaser, R. (1989). Self-explanations: How students study and use examples in learning to solve problems. Cognitive Science, 13, 145-182.

Cohen, P. A., Kulik, J. A., & Kulik, C. C. (1982). Educational outcomes of tutoring: A meta-analysis of findings. American Educational Research Journal, 19, 237-248.

Collins, A. (1985). Teaching reasoning skills. In S.F. Chipman, J.W. Segal, & R. Glaser (Eds), Thinking and learning skills (vol. 2, pp. 579-586). Hillsdale, NJ: Erlbaum.

Collins, A., Brown, J. S., & Newman, S. E. (1989). Cognitive apprenticeship: Teaching the craft of reading, writing, and mathematics. In L. B. Resnick (Ed.), Knowing, learning, and instruction: Essays in honor of Robert Glaser (pp. 453-494). Hillsdale, NJ: Erlbaum.

Foltz, P.W. (1996). Latent semantic analysis for text-based research. Behavior Research Methods, Instruments, and Computers, 28, 197-202.

Foltz, P. W., Britt, M. A., & Perfetti, C. A. (1996). Reasoning from multiple texts: An automatic analysis of readers’ situation models. Proceedings of the 18th Annual Conference of the Cognitive Science Society (pp. 110-115). Mahwah, NJ: Erlbaum.

Fox, B. (1993). The human tutorial dialog project. Hillsdale, NJ: Erlbaum.

Freedman, R. (1999). Atlas: A plan manager for mixed-initiative, multimodal dialogue. AAAI ’99 Workshop on Mixed-Initiative Intelligence, Orlando.

Gagné, R. M. (1977). The conditions of learning (3rd ed.). New York: Holdt, Rinehart, & Winston.

Graesser, A. C., & Person, N.K. (1994). Question asking during tutoring. American Educational Research Journal, 31, 104-137.

Graesser, A.C., Franklin, S., & Wiemer-Hastings, P. and the Tutoring Research Group (1998). Simulating smooth tutorial dialog with pedagogical value. Proceedings of the American Association for Artificial Intelligence (pp. 163-167). Menlo Park, CA: AAAI Press.

Graesser, A. C., Person, N. K., & Magliano, J. P. (1995). Collaborative dialog patterns in naturalistic one-on-one tutoring. Applied Cognitive Psychology, 9, 359-387.

Graesser, A.C., Wiemer-Hastings, P., Wiemer-Hastings, K., Harter, D., Person, N., and the Tutoring Research Group (in press). Using latent semantic analysis to evaluate the contributions of students in AutoTutor. Interactive Learning Environment.s

Grice, H. P. (1975). Logic and conversation. In P. Cole & J. Morgan, (Eds.), Syntax and semantics, vol. 3: Speech acts (pp. 41-58). New York: Academic Press.

Grice, H. P. (1978). Further notes on logic and conversation. In P. Cole (Ed.), Syntax and semantics, vol. 9; Pragmatics (pp. 113-127).

Hu, X., Graesser, A. C., and the Tutoring Research Group (1998). Using WordNet and latent semantic analysis to evaluate the conversational contributions of learners in the tutorial dialog. Proceedings of the International Conference on Computers in Education, Vol. 2, (pp. 337-341). Beijing, China: Springer.

Hume, G. D., Michael, J. A., Rovick, A., & Evens, M. W. (1996). Hinting as a tactic in one-on-one tutoring. The Journal of the Learning Sciences, 5, 23-47.

Kosko, B. (1992). Neural networks and fuzzy systems. New York: Prentice Hall.

Landauer, T. K., & Dumais, S. T. (1997). A solution to Plato’s problem: The latent semantic analysis theory of acquisition, induction, and representation of knowledge. Psychological Review.

Landauer, T. K., Foltz, P. W., Laham, D. (1998). An introduction to latent semantic analysis. Discourse Processes, 25, 259-284.

Lepper, M. R., Aspinwall, L. G., Mumme, D. L., & Chabay, R. W. (1990). Self-perception and social-perception processes in tutoring: Subtle social control strategies of expert tutors. In J. M. Olson & M. P. Zanna (Eds.), Self-inference processes: The Ontario symposium (pp. 217-237). Hillsdale, NJ: Erlbaum.

Lesgold, A., Lajoie, S., Bunzo, M., & Eggan, G. (1992). SHERLOCK: A coached practice

environment for an electronics troubleshooting job. In J. H. Larkin & R. W. Chabay (Eds.), Computer-assisted instruction and intelligent tutoring systems (pp. 201-238). Hillsdale, NJ: Erlbaum.

McArthur, D., Stasz, C., & Zmuidzinas, M. (1990). Tutoring techniques in algebra. Cognition and Instruction, 7, 197-244.

McCauley, L., Gholson, B., Hu, X., Graesser, A. C., and the Tutoring Research Group (1998). Delivering smooth tutorial dialog using a talking head. Proceedings of the Workshop on Embodied Conversation Characters (pp. 31-38). Tahoe City, CA: AAAI and ACM.

Mehan, H. (1979). Learning lessons: Social organization in the classroom. Cambridge, MA: Harvard University Press.

Merrill, D. C., Reiser, B. J., Ranney, M., & Trafton, J. G. (1992). Effective tutoring techniques: A comparison of human tutors and intelligent tutoring systems. The Journal of the Learning Sciences, 2, 277-305.

Moore, J.D. (1995). Participating in explanatory dialogues. Cambridge, MA: MIT Press.

Olde, B. A., Hoeffner, J., Chipman, P., Graesser, A. C., and the Tutoring Research Group (1999). A connectionist model for part of speech tagging. Proceedings of the American Association for Artificial Intelligence (pp. 172-176). Menlo Park, CA: AAAI Press.

Palinscar, A. S., & Brown, A. (1984). Reciprocal teaching of comprehension-fostering and comprehension-monitoring activities. Cognition & Instruction, 1, 117-175.

Person, N. K., Graesser, A. C., Magliano, J. P., & Kreuz, R. J. (1994). Inferring what the student knows in one-to-one tutoring: The role of student questions and answers. Learning and Individual Differences, 6, 205-29.

Person, N. K., Klettke, B., Link, K., Kreuz, R. J., and the Tutoring Research Group (1999). The integration of affective responses into AutoTutor. Proceeding of the International Workshop on Affect in Interactions (pp. 167-178). Siena, Italy.

Person, N. K., Kreuz, R. J., Zwaan, R., & Graesser, A. C. (1995). Pragmatics and pedagogy: Conversational rules and politeness strategies may inhibit effective tutoring. Cognition and Instruction, 13, 161-188.

Person, N. K, & Graesser, A. C. (1999). Evolution of discourse in cross-age tutoring. In A.M.

O’Donnell and A. King (Eds.), Cognitive perspectives on peer learning (pp. 69-86). Mahwah, NJ: Erlbaum.

Pressley, M., Wood, E., Woloshyn, V. E., Martin, V., King, A., & Menk, D. (1992). Encouraging mindful use of prior knowledge: Attempting to construct explanatory answers facilitates learning. Educational Psychologist, 27, 91-110.

Putnam, R. T. (1987). Structuring and adjusting content for students: A study of live and simulated tutoring of addition. American Educational Research Journal, 24, 13-48.

Rose, C. P., Di Eugenio, B., & Moore, J. D. (1999). A dialogue based tutoring system for basic electricity and electronics. In S. P. Lajoie & M. Vivet (Eds.), Artificial Intelligence in Education (Proceedings of AI-ED ’99, Le Mans) (pp. 759–761). Amsterdam: IOS Press

Shaw, E., Johnson, W.L., & Ganeshan, R. (1999). Pedagogical agents on the web. Proceedings of the Ninth International Conference on Artificial Intelligence. IOS Press.

Ur, S. & VanLehn, K. (1995) Steps: A simulated, tutorable physics student. Journal of Artificial Intelligence in Education, 6(4), pp. 405-437.

VanLehn, K. (1990). Mind bugs: The origins of procedural misconceptions. Cambridge, MA: MIT Press.

VanLehn, K., Ohlsson, S. & Nason, R. (1994). Applications of simulated students: An exploration. Journal of Artificial Intelligence in Education, 5(2), pp. 135-175.

Wakefield, J. F. (1996). Educational psychology: Learning to be a problem solver. Boston:

Houghton Mifflin.

Webb, N. M., Troper, J. D., & Fall, R. (1995). Constructive activity and learning in collaborative small groups. Journal of Educational Psychology, 87, 406-423.

Wiemer-Hastings, P., Graesser, A. C., Harter, D., and the Tutoring Research Group (1998). The foundations and architecture of AutoTutor. Proceedings of the 4th International Conference on Intelligent Tutoring Systems (pp. 334-343). Berlin, Germany: Springer-Verlag.

Wiemer-Hastings, P., Wiemer-Hastings, K., and Graesser, A. (1999). Improving an intelligent tutor's comprehension of students with Latent Semantic Analysis. Artificial Intelligence in Education (pp. 535-542). Amsterdam: IOS Press.

Zhou, Y., Freedman, R., Glass, M., Michael, J. A., Rovick, A. A., Evens, M. W. (1999a). Delivering hints in a dialogue-based intelligent tutoring system. In Proceedings of the Sixteenth National Conference on Artificial Intelligence (AAAI ’99), Orlando, FL.

Приложение

Учебный план.

Макро тема: комплектующие

Тема: Увеличение ОЗУ улучшает общие характеристики компьютера

Уровень концептуальной сложности: Средний

Формат темы: Проблема + Вопрос

В ведение в тему, Проблема + Вопрос (представлено AutoTutor).

Предположим, что вы хотите обучиться управлению бизнесом в качестве не основной специальности и хотите работать с программой статистики BusinessStat. Инструкция по установке программы говорит, что вам необходим 486-50 компьютер с 32 МБ ОЗУ. У вас есть 486-50 компьютер, но только 8 МБ ОЗУ. Вы решаете усовершенствовать свой компьютер, чтобы запустить BusinessStat. Обдумайте проблему. Как вы усовершенствовать свой компьютер? Как это повлияет на характеристики компьютера для запуска других программ?

Идеальный ответ.

Для запуска BusinessStat вам необходимо добавить ОЗУ или увеличить виртуальную память. Добавление ОЗУ или увеличение виртуальной памяти увеличит общие характеристики компьютера. Увеличение памяти позволяет оперировать большим количеством данных, а также запускать несколько программ одновременно. Компьютер может выполнять только одну инструкцию программы за один раз, и использует ОЗУ и виртуальную память для хранения остальных программ и данных, пока они не понадобятся снова. С большим объемом памяти компьютер может сохранить большие программы и большое количество данных.

Аспекты идеального хорошего ответа

Для запуска BusinessStat вам необходимо добавить в ваш компьютер ОЗУ или увеличить виртуальную память.

Добавление ОЗУ или увеличение виртуальной памяти увеличит общие характеристики компьютера.

Добавление ОЗУ позволяет использовать большие программы.

Добавление памяти позволит манипулировать большим количеством данных.

Добавление памяти позволит запускать несколько программ одновременно.

Компьютер может выполнять только одну инструкцию программы за один раз, и использует ОЗУ и виртуальную память для хранения остальных программ и данных, пока они не понадобятся.

Имея большое объем памяти компьютером сохранить большие программы и большое количество данных.

Другие возможные ответы, которые были включены в сжатый тест ЛСА. (Такие ответы давались студентами, записавшимися на курсы компьютерной грамотности и оценивались экспертами как “хорошие”)

Для запуска BusinessStat дома, мне необходимо добавить ОЗУ или виртуальную память. Вероятно это улучшит характеристики моего компьютера, что позволит запускать программы, занимающие много места.

Для запуска BusinessStat мне необходимо добавить ОЗУ или виртуальную память. Добавление ОЗУ или виртуальной памяти вероятно улучшит характеристики моего компьютера. Я смогу запускать программы, которые занимают много памяти или запускать в то же время дополнительные программы, занимающие меньший объем памяти.

Для запуска BusinessStat дома мне надо добавить ОЗУ или виртуальную память. Добавление ОЗУ или виртуальной памяти вероятно улучшит характеристики моего компьютера. Большой объем ОЗУ или виртуальной памяти позволит запускать программы, занимающие большой объем памяти. Увеличение памяти позволит иметь дело с большим объемом данных одновременно. Компьютер использует ОЗУ как временную память.

Для запуска BusinessStat необходимо увеличить ОЗУ или виртуальную память. Увеличение ОЗУ поможет компьютеру запускать большие программы. Добавление памяти улучшит общие характеристики компьютера.

Для того, чтобы запустить BusinessStat, должен быть добавлен ОЗУ или виртуальная память. Увеличение памяти ведет к тому, что возможно будет запоминать больше объемы данных или программ.

BusinessStat запустится, если добавить в компьютер ОЗУ или виртуальную память. Увеличение ОЗУ или виртуальной памяти ведет к улучшению общих характеристик компьютера. Возможно будет запускать большие программы. Возможно будет одновременно запустить несколько программ меньшего размера. Компьютер сможет хранить большие объмы данных и программ.

Вы покупаете больше ОЗУ, что увеличит скорость компьютера.

Решением будет покупка дополнительного ОЗУ. Увеличение ОЗУ сделает ваш компьютер быстрее и позволит запускать в будущем объемные программы.

Вам необходимо добавить ОЗУ к вашей памяти, что увеличит скорость настолько, что позволит вам использовать программы, которые требуют дополнительного ОЗУ.

Я думаю, вы должны увеличить имеющееся ОЗУ, следовательно, ваш компьютер будет быстрее работать с программами, которые вы, возможно, будете использовать.

ОЗУ легко и недорого увеличивается добавлением SIMMS или DIMS к текущей памяти. Увеличение ОЗУ ведет к увеличению скорости, с которой работает программное обеспечение.

Увеличение ОЗУ увеличит способность компьютера хранить и использовать информацию, находящуюся в BusinessStat и других программах, требующих много доступного ОЗУ.

Я добавлю в свой компьютер ОЗУ, что позволит мне запустить BusinessStat и улучшит характеристики моего компьютера, т.к. компьютер не использует для запуска виртуальную память.

Если требуется 486/25, а ваша машина-486/50,вы можете запустить программу. Поскольку также требуется 32МБ 03У, то все, что вы можете сделать, это увеличить вашу память добавлением чипа SIMMS . Иначе компьютер будет работать слишком медленно, когда вы будете запускать это программное обеспечение.

Я куплю дополнительную ОЗУ. Такое решение позволит мне в дальнейшем запускать другие программы, также требующие больших объемов памяти.

Плохие ответы.

При небольшом ОЗУ вы, однако, можете хранить программу на дискете.

Для увеличения свободного места в ОЗУ, удалите старые файлы или программы.

Компьютер достаточно быстрый чтобы запустить программу.

Меньше память, медленее выполнение программы.

Добавление долговременной памяти позволит запустить программу.

Скорость компьютера позволит запустить программу.

Для запуска программы вам необходим новый компьютер с большим объемом памяти.

Увеличение памяти повлияет только на BusinessStat.

Зависящие от контекста шаги диалога, генерированные AutoTutor.

коррекция плохих ответов.

Сохранение программы на дискете не поможет вам запустить программу.

Если вы добавите ОЗУ или виртуальную память, вам не придется удалять текущие программы.

Быстрый компьютерный чип не решит проблему нехватки оперативной памяти.

Добавление ОЗУ не повлияет на скорость процессора вашего компьютера. Но это улучшит общие характеристики компьютера по использованию программы.

Zip drive увеличит обьем долговременной памяти, но не обьем оперативной памяти.

У вас недостаточно ОЗУ для использования BusinessStat.

Вы можете добавить ОЗУ и использовать старый компьютер.

Добавление ОЗУ улучшит общие характеристики вашего компьютера для всех программ.

Оценки.

Вы можете запустить BusinessStat, если добавите ОЗУ.

Увеличение ОЗУ улучшит общие характеристики вашего компьютера.

С добавочным ОЗУ вы можете работать с большими программами.

Имея достаточный обьем ОЗУ, можно манипулировать большим обьемом данных.

Увеличенное ОЗУ позволит вам запускать разные программы в одно и тоже время.

Компьютер может выполнять только одну инструкцию за один раз, а ОЗУ хранит остальные.

Если вы добавили ОЗУ, компьютер может обрабатывать большие программы и больше данных.

Намеки

Обдумаете необходимость запуска BusinessStat.

Что вы скажете об общем эффекте добавления ОЗУ или виртуальной памяти?

Что вы скажете о размере запускаемой программы?

Что вы скажете о количестве данных, которыми можно манипулировать?

Что вы скажете об одновременном запуске разных программ?

Что вы скажете об ОЗУ и набор инструкций в компьютере?

ОЗУ может каким-то образом влиять на возможности компьютера.

Подсказки и Prompt Responser, генерированые AutoTutorом.

Для запуска BusinessStat вы должны добавить Ответ: добавить ОЗУ

Добавляя ОЗУ, общие характеристики компьютера будут ? Ответ: будут увеличиваться или улучшаться.

Когда вы используете дополнительное ОЗУ, размер ваших программ может быть Ответ: может быть больше.

Когда вы используете дополнительное ОЗУ, большим количеством данных можно активно Ответ: можно активно манипулировать или обрабатывать.

Добавление ОЗУ позволит вам запускать несколько программ Ответ: запустить несколько программ одновременно.

Сколько инструкции за один раз может выполнить компьютер? Ответ: только одну инструкцию.

Если вы добавите ОЗУ, компьютер сможет хранить больше данных и большие Ответ: И большие программы.

Подведение итогов

Для запуска BusinessStat вам необходимо увеличить ОЗУ. Добавление ОЗУ позволит fвам запускать большие программы и манипулировать большими объемами данных. С дополнительным ОЗУ вы можете одновременно запускать несколько программ.

Возможные определения расширенных вопросов + заранее записанные ответы AutoTutor

Если расширенный вопрос содержит: 486/25, ответ: 486 ссылается на название Intel чипа, обычно находящегося в компьютерах IBM с начала до середины 1990-х. 25 ссылается на 25 мегагерц, конкретную скорость этого компьютерного чипа.

Если расширенный вопрос содержит: МБ, ответ: МБ означает мегабайты. Мегабайты - это способ определения размера компьютерной памяти.

Если расширенный вопрос содержит: ОЗУ, ответ: ОЗУ это сокращение от Оперативное запоминающее Устройство. Оперативное запоминающее Устройство – это один из двух видов памяти, находящейся в компьютере, другой вид называется ROM. ОЗУ компьютером. Содержание ОЗУ стирается, логда закрывается программа или выключается компьютер.

Если расширенный вопрос содержит: виртуальная память, ответ: виртуальная память – это на жестком диске оперативной системой, которая проявляется как ОЗУ компьютера.