Статья: TRAIN THE RASAT MODEL THAT INTEGRATES THE RELATIONAL STRUCTURE INTO THE PRE-TRAINED SEQ2SEQ MODEL TO CONVERT TEXT INTO SQL (2024)

Читать онлайн

В данном исследовании модуль реляционного внимания интегрируется в предобученную модель Transformer Seq2Seq и осуществляется преобразование вопросов на естественном языке в команды извлечения на языке структурированных запросов (SQL) с помощью экспериментов на наборе данных Spider. Цель этой научной статьи состоит в том, чтобы улучшить точность и эффективность преобразования текста в SQLзапросы, используя механизм реляционного внимания в модели трансформера. Статья представляет модель RASAT (переход SQL на основе реляционного внимания), которая заменяет модуль самовращения в энкодере трансформера на модуль реляционного внимания для обработки задач текст-к-SQL. Этот подход позволяет лучше учитывать семантические связи между сущностями в тексте и генерировать более точные SQLзапросы. Методы исследования включают использование предобученной модели трансформера (T5-small) и ее обучение на наборе данных Spider с введением модуля реляционного внимания. Экспериментальные результаты показывают значительное улучшение показателей точности при преобразовании текста в SQL по сравнению с базовой моделью без реляционного компонента. Экспериментальные результаты демонстрируют, что модель RASAT улучшает производительность по показателю Exact Match на 1,82 % и точность выполнения на 3,26 %. Эти улучшения достигнуты несмотря на то, что количество эпох обучения было ограничено 500 вместо 3072 для базовой модели, что подчеркивает эффективность предложенного подхода даже при ограниченных вычислительных ресурсах. В заключение подчеркиваются перспективы дальнейшего развития метода реляционной модели для улучшения качества систем, связанных с обработкой естественного языка и базами данных.

Ключевые фразы: relational attention module, pre-trained model, transformer seq2seq, text to sql conversion, spider dataset
Автор (ы): Лай Сифэй
Журнал: ПРИКЛАДНАЯ МАТЕМАТИКА И ВОПРОСЫ УПРАВЛЕНИЯ

Предпросмотр статьи

Идентификаторы и классификаторы

SCI
Математика
УДК
004.89. Прикладные системы искусственного интеллекта. Интеллектуальные системы, обладающие знаниями
Для цитирования:
ЛАЙ С. TRAIN THE RASAT MODEL THAT INTEGRATES THE RELATIONAL STRUCTURE INTO THE PRE-TRAINED SEQ2SEQ MODEL TO CONVERT TEXT INTO SQL // ПРИКЛАДНАЯ МАТЕМАТИКА И ВОПРОСЫ УПРАВЛЕНИЯ. 2024. № 4
Текстовый фрагмент статьи