Система LAT&CSI. 
Интеграция на базе онтологии естественного языка и изображений в системе Text-to-Picture

Система LAT&CSI (Language Analyzes of Text & Conceptual Syntheses of Images) представляет собой TTP-систему синтеза изображений по ЕЯ-выражениям через общую, интегрированную онтологию, включающую лингвистические знания о языке общения, знания о предметной области и знания о возможностях подсистемы визуализации.

В системе LAT&CSI процесс синтеза изображения по тексту проходит в три этапа:

• *лингвистический анализ исходного ЕЯ-описания и получение онтологического представления текста;
• *формирование из онтологического описания специализированных структур для визуализации;
• *синтез изображения — визуализация изображения в соответствии с онтологическим представлением исходного текста.

Хотя это и стандартные этапы TTP-системы, однако, развиваемый в данной работе подход отличается наполнением каждого этапа, большей общностью, наличием онтологии и возможностью действительного синтеза изображений с вкраплениями готовых картинок.

Лингвистический анализ предметно-ориентированного креолизованного текста

Креолизованный текст характеризуется сочетанием вербализованных и невербализованных (иконических) компонентов, что наблюдается в научных и особенно научно-технических текстах. К иконическим элементам в этих текстах относятся таблицы, символические изображения, названия и марки деталей, формулы и т. п. С учетом такой специфики лингвистический анализ предложений креолизованного текста реализуется полным морфологическим анализом и редуцированным и контекстно-ориентированным семантическим анализатором.

Примером текста на предметно-ориентированном креолизованном естественном языке может быть следующее описание:

(1) Арматура типа B с числом блоков 5. В точке 0 арматуры присоединена цистерна Tank_B через точку 0. К цистерне прикреплена солнечная панель типа C, точки сцепления 1 и 0. В точке 1 арматуры присоединена вторая цистерна Tank_B через точку 0. Через точку 16 с арматурой сцеплен стыковочный элемент типа B, точка сцепки 0. Переходник типа B соединен с арматурой, точки сцепки 8 и 0, соответственно. Через точки 1 и 0 к переходнику подцеплена арматура типа B с числом блоков 2. На эту арматуру подцеплены три стыковочных элемента типа Б, точки сцепки 2:0,3:0 и 6:0 соответственно.

В рамках данной работы реализован работоспособный вариант лингвистической трансляции, который основан на базе концепции, аналогичной известному методу перифразирования, развитому в лаборатории Апресяна [1] и адаптированной для данной системы.

Вводится понятие канонического (стандартного) описания объектов и их сцеплений. Исходный текст, описывающий конструкцию, с помощью последовательного (многократного) применения правил перифразирования приводится к каноническому виду. Достоинством такого метода является наглядность процедуры перифразирования, позволяющей на каждом шаге контролировать процесс обработки (выдача диагностики на естественном языке), что существенно облегчает отладку.

Схему обработки поясним на примере одного из предложений ЕЯ-текста (1). В предложении:

• (2) В точке 0 арматуры присоединена цистерна Tank_B через точку 0. осуществляется поиск именных групп, задающих объекты, свойства и значения. После перифразирования получаем предложение:
• (3) В точке 0 (Арматура типа B [1]) присоединена (Цистерна типа B [1]) через точку 0., где объекты визуализации подчеркнуты, а в квадратных скобках стоят их номера. Общее правило перифразирования для нового предложения:

В точке {N1} {OB1} {СЦЕПКА} {OB2} через точку {N2}. В фигурных скобках стоят переменные, обобщающие объекты, номера точек сцепки и предикат, задающий отношение сцепки (присоединена, присоединен, подцеплена, подцеплен, прикреплен, подсоединена, сцеплен и т. д.). После успешного означивания этих переменных предложение транслируется в канонический вид:

(4) Арматура типа B [1] сцеплен с цистерна типа B [1] через точки 0 и 0.

Общая схема канонического представления:

{OB1} сцеплен с {OB2} через точки {N1} и {N2} .

Окончательно каноническое представление отображается в лингвистическую онтологию.