Выделение ключевых слов

После кластеризации документов, произведенной в предыдущем разделе, мы хотим извлечь слова, которые характерны для первого класса, и, в то же время, не характерны для второго. Согласно гипотезе, это и будут ключевые слова. В качестве входных данных используются файлы, полученные на предыдущем этапе.

Метод выделения ключевых слов Здесь мы снова возвращаемся к модели таблицы сопряженности. Нам нужно оценить, в какой степени данное слово тяготеет к одному или другому документу. Обозначим:

— частота встречаемости слова в первом документе;

— частота встречаемости слова во втором документе;

— общая частота остальных слов в первом документе;

— общая частота остальных слов во втором документе;

и воспользуемся одним из критериев корреляции в таблице сопряженности, которые мы описали выше.

Сортируя слова, получим два списка ключевых слов, отвечающих каждой группе.

Статистики корреляции Мы будем использовать следующие статистики:

• · Быстрый критерий z;
• · Коллигация Юла
• · G-критерий Вулфа
• · Взаимная информация
• · Ассоциация
• · Точный критерий Фишера
• · Хи-квадрат

Статистики, принимающие неограниченные значения нормируются стандартным преобразованием .

Выходные данные На выходе строятся два файла, отвечающие каждому кластеру. В каждом файле ранжированный по данной метрике список ключевых слов. Через табуляцию для каждого слова выводится его частота в первом кластере, во втором кластере и значение метрики.

Рисунок 4. Меню второго модуля программы. Опции позволяют регулировать длину списка.

Результаты.

Быстрый критерий Z

Одна из простейших метрик показала достаточно неплохие результаты. Она не очень чувствительна к общим словам (в топ-10 попало слово как), но в целом ранжирование можно назвать удовлетворительным.

Таблица 3. Топ-10 ключевых слов для быстрого критерия Z.

Коллигация Юла, взаимная информация, ассоциация

Эти три метрики словам, встретившимся лишь в одном классе, дают максимальный вес, поэтому слово ячменный будет всегда выше слова Россия.

Таблица 4. Топ-10 ключевых слов для неудачных критериев.

G-критерий Вулфа

Данный критерий показал наиболее хороший результат. G-критерий с одной стороны не очень чувствителен к частотным общим словам, с другой — к редким словам, встретившимся в одном классе текстов. На наш взгляд ранжирование в целом отвечает интуитивному представлению о ключевых словах.

Таблица 5. Топ-10 ключевых слов для G-критерия Вулва.

Точный критерий Фишера

Точный критерий Фишера в данной задаче показывает вполне удовлетворительный результат, однако его ранжирование отличается от g-критерия. Он так же чувствителен к перекосам.

Таблица 6. Топ-10 ключевых слов для точного критерия Фишера.

Хи-квадрат

Стандартный критерий Хи-квадрат показал результат, близкий к тривиальной метрике z.

Таблица 7. Топ-10 ключевых слов для критерия хи-квадрат.

При работе с большими корпусами имеет смысл хранить только верхушку корпуса. Наш модуль позволяет обрезать списки ключевых слов автоматически, исходя из распределения или задавая параметры вручную, построив гистограмму.

Рисунок 5. Гистограмма распределения весов ключевых слов для критерия Вулва. Вверху несерьезные, внизу серьезные документы. Наиболее удачные слова имеют вес, больший 0.7.