ФИЛОЛОГИЧЕСКИЕ НАУКИ. ВОПРОСЫ ТЕОРИИ И ПРАКТИКИ

С точки зрения теории текстовых миров (Text World Theory), в нарративах содержатся элементы (указания времени, места, персонажей и др.), которые можно выявлять автоматически и сравнивать на их основе версии событий и схожие сюжеты. Мы разметили корпус сказок и коротких рассказов TextWorlds и обнаружили, что читатели не всегда согласны в том, указывает ли то или иное слово на персонажа, время или место действия. Цель исследования - установить степень согласованности читателей относительно положения этих нарративных категорий в тексте. Практическая задача исследования заключается в оценке надежности разметки, которая будет использоваться для обучения алгоритмов выявлению текстовых миров автоматически. Научная новизна заключается в том, что мы изучаем именно степень согласованности, в то время как в других работах согласованность рассматривается как нечто само собой разумеющееся, и если читатели не согласны друг с другом, то это воспринимается как ошибка одного из читателей или процедуры разметки. В статье мы представляем результаты двух метрик согласованности экспертов: процент согласия и альфа Криппендорфа. Полученные результаты для этих метрик показывают, что согласованность относительно разных элементов варьируется в зависимости от произведения и иногда достигает среднего уровня, достаточного для того, чтобы говорить о надежности разметки.