В данном исследовании модуль реляционного внимания интегрируется в предобученную модель Transformer Seq2Seq и осуществляется преобразование вопросов на естественном языке в команды извлечения на языке структурированных запросов (SQL) с помощью экспериментов на наборе данных Spider. Цель этой научной статьи состоит в том, чтобы улучшить точность и эффективность преобразования текста в SQLзапросы, используя механизм реляционного внимания в модели трансформера. Статья представляет модель RASAT (переход SQL на основе реляционного внимания), которая заменяет модуль самовращения в энкодере трансформера на модуль реляционного внимания для обработки задач текст-к-SQL. Этот подход позволяет лучше учитывать семантические связи между сущностями в тексте и генерировать более точные SQLзапросы. Методы исследования включают использование предобученной модели трансформера (T5-small) и ее обучение на наборе данных Spider с введением модуля реляционного внимания. Экспериментальные результаты показывают значительное улучшение показателей точности при преобразовании текста в SQL по сравнению с базовой моделью без реляционного компонента. Экспериментальные результаты демонстрируют, что модель RASAT улучшает производительность по показателю Exact Match на 1,82 % и точность выполнения на 3,26 %. Эти улучшения достигнуты несмотря на то, что количество эпох обучения было ограничено 500 вместо 3072 для базовой модели, что подчеркивает эффективность предложенного подхода даже при ограниченных вычислительных ресурсах. В заключение подчеркиваются перспективы дальнейшего развития метода реляционной модели для улучшения качества систем, связанных с обработкой естественного языка и базами данных.
Идентификаторы и классификаторы
- SCI
- Математика
SQL (Structured Query Language) is a standardized language for managing relational databases and is widely used in database management systems. It is widely used in database management systems to query, update and manage data. The difficulty of learning SQL varies from person to person: it may be relatively easy for someone with a programming or data processing background, but for beginners, understanding the concepts and syntax of SQL may take time and practice. The complexity of SQL lies mainly in its rich syntax and functionality, including, but not limited to, a variety of querying, joining, filtering, sorting, and aggregation operations. As such, SQL is an invaluable skill that provides solid support for areas such as data analysis and management and software development
Список литературы
1. Kamath, A. A Survey on Semantic Parsing / A. Kamath, R. Das // arXiv. - 2018. - 1812.00978. DOI: 10.48550/arXiv.1812.00978
2. Xu, X. SQLnet: Generating Structured Queries from Natural Language without Reinforcement Learning / X. Xu, C. Liu, D. Song // arXiv. - 2017. - 1711.04436. DOI: 10.48550/arXiv.1711.04436
3. A Comprehensive Exploration on wikiSQL with Table-aware Word Contextualization / W. Hwang, J. Yim, S. Park, M. Seo // arXiv. - 2019. - 1902.01069. 10.48550/ arXiv.1902.01069. DOI: 10.48550/arXiv.1902.01069
4. RYANSQL: Recursively Applying Sketch-based Slot Fillings for Complex Text-to-SQL in Cross-Domain Databases / D.H. Choi, M. Ch. Shin, E.G. Kim, D. R. Shin // Computational Linguistics. - 2021. - Vol. 47, № 2. - P. 309-332. DOI: 10.1162/coli_a_00403
5. Bogin, B. Global Reasoning over Database Structures for Text to-SQL Parsing / B. Bogin, M. Gardner, J. Berant // Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), 3-7 November 2019, Hong Kong, China. - Association for Computational Linguistics, 2019. - P. 3659-3664. DOI: 10.18653/v1/D19-1378
6. LGESQL: Line Graph Enhanced Text-to-SQL Model with Mixed Local and Non-Local Relations / R. Cao, L. Chen, Z. Chen, Y. Zhao, S. Zhu, K. Yu // Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), 1-6 August 2021, Online. - Association for Computational Linguistics, 2021. - P. 2541-2555. DOI: 10.18653/v1/2021.acl-long.198
7. SADGA: Structure-Aware Dual Graph Aggregation Network for Text-to-SQL / R. Cai, J. Yuan, B.Xu, Z. Hao // arXiv. - 2021. - 2111.00653. DOI: 10.48550/arXiv.2111.00653
8. S2SQL: Injecting syntax to question-schema interaction graph encoder for text-to-SQL parsers / B. Hui, R. Geng, L. Wang, B. Qin, B. Li, J. Sun, Y. Li // arXiv. - 2022. - 2408.03256. DOI: 10.48550/arXiv.2408.03256
9. Relational Graph Attention Network for Aspect-based Sentiment Analysis / K. Wang, W. Shen, Y. Yang, X. Quan, R. Wang // Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 5-10 July 2020, Online. - Association for Computational Linguistics, 2020. - P. 3229-3238. DOI: 10.18653/v1/2020.acl-main.295
10. Compositional Generalization and Natural Language Variation: Can a Semantic Parsing Approach Handle Both? / P. Shaw, M.-W. Chang, P. Pasupat, K. Toutanova // Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), 1-6 August 2021, Online - Association for Computational Linguistics, 2021. - P. 922-938. 10.18653/v1/ 2021.acl-long.75. DOI: 10.18653/v1/2021.acl-long.75
11. Scholak, T. PICARD: Parsing Incrementally for Constrained Auto-Regressive Decoding from Language Models / T. Scholak, N. Schucher, D. Bahdanau // Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, Online and Punta Cana, Dominican Republic, 7-11 November 2011. - Association for Computational Linguistics, 2021. - P. 9895-9901. DOI: 10.18653/v1/2021.emnlp-main.779
12. Spider: A Large-Scale Human-Labeled Dataset for Complex and Cross-Domain Semantic Parsing and Text-to-SQL Task / T. Yu, R. Zhang, K. Yang [et al.] // Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. Brussels, Belgium, 31 October - 4 November 2018. - Association for Computational Linguistics, 2018. - P. 3911-3921. DOI: 10.18653/v1/D18-1425
13. Shaw, P. Self-Attention with Relative Position Representations / P. Shaw, J. Uszkoreit, A. Vaswani // Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), New Orleans, Louisiana, 1-6 June 2018. - Association for Computational Linguistics, 2018. - P. 464-468. DOI: 10.18653/v1/N18-2074
14. Attention is All you Need / V. Ashish, N. M. Shazeer, N. Parmar [et al.] // Advances in Neural Information Processing Systems. - 2017. - Vol. 30. - 11 p.
15. UnifiedSKG: Unifying and Multi-Tasking Structured Knowledge Grounding with Text-to-Text Language Models / T. Xie, C. H. Wu, P. Shi [et al.] // arXiv. - 2022. - 2201.05966. DOI: 10.48550/arXiv.2201.05966
16. Yale Semantic Parsing and Text-to-SQL Challenge: сайт [Электронный ресурс]. - URL: https://yale-lily.github.io/spider (accessed 15.11.2024).
17. RASAT: Integrating Relational Structures into Pretrained Seq2Seq Model for Text-to-SQL / J. Qi, J. Tang, Z. He [et al.] // arXiv. - 2022. - 2205.06983. 10.48550/arXiv. 2205.06983. DOI: 10.48550/arXiv.2205.06983
18. Giordani, A. Corpora for Automatically Learning to Map Natural Language Questions into SQL Queries. / A. Giordani, A. Moschitti // Proceedings of the International Conference on Language Resources and Evaluation, LREC 2010, 17-23 May 2010, Valletta, Malta. - European Language Resources Association (ELRA), 2010. - P. 2336-2339.
Выпуск
Другие статьи выпуска
Рассматривается применение методов нечеткого моделирования для анализа эффективности инвестиционных инструментов. При выборе финансовой стратегии в ситуации неопределенности такой анализ помогает оценивать и принимать решение. Поскольку параметры финансовой системы в условиях неопределенности бывает невозможно установить точно, то возникают задачи, которые описываются рядом характеристик, имеющих нечеткую природу. В работе была задана система показателей для оценки инвестиционной стратегии. Значимость каждого показателя устанавливается с помощью весовых коэффициентов, для определения которых используется метод парных сравнений и шкала Саати. Для описания финансовых инструментов введены специальные лингвистические переменные, для каждой из которых были заданы терм-множества. Каждый терм представляет собой нечеткое число трапециевидного типа. После фиксации текущих значений, характеризующих финансовую систему, производится процедура фаззификации, то есть введения нечеткости. Затем определенным образом выполняется операция свертки по всем уровням показателей модели с учетом весовых коэффициентов значимости. В результате получаем общую агрегированную характеристику инвестиционного инструмента, по которой возможно сделать вывод относительно уровня его эффективности. На примерах продемонстрировано применение полученных результатов
В связи с увеличением числа личных транспортных средств в городских агломерациях и ростом грузоперевозок возникает необходимость внедрения интеллектуальных транспортных систем для разработки стратегий по снижению загруженности дорог и предотвращению дорожно-транспортных происшествий. Одним из ключевых показателей транспортной системы, отражающих эффективность использования имеющейся городской инфраструктуры, является пропускная способность планируемых маршрутов. Модель оценки пропускной способности городского маршрута на основе пропускной способности его элементов – перегонов и перекрестков – является многоуровневой, иерархической, многокритериальной. Кроме того, данная модель является динамической, поскольку ее параметры меняются с течением времени. Все это повышает вычислительную сложность анализа такой модели и приводит к необходимости уменьшить число исследуемых параметров. Один из подходов к редукции параметров модели – анализ чувствительности, основанный на анализе конечных изменений. Применительно к модели пропускной способности данный подход позволит выявить те параметры элементов маршрута, изменение которых влечет наибольшие изменения в пропускной способности маршрута в целом, и даст возможность управления ими с целью повышения общей эффективности системы. Цель исследования заключается в разработке методики иерархического анализа чувствительности модели пропускной способности улично-дорожной сети, основанной на анализе конечных изменений, которая даёт возможность выявлять критические точки и оценивать вклад отдельных элементов и групп объектов в общую эффективность функционирования транспортной системы. Полученные результаты свидетельствуют, что предложенная методика позволяет точно определить основные факторы, воздействующие на пропускную способность, и предложить меры по оптимизации управления транспортными потоками
Предложена модель процесса тестирования в нотации раскрашенных сетей Петри. Перед началом моделирования исследованы информационные потоки процесса освоения студентами кафедры прикладных информационных технологий ИОН РАНХиГС дисциплины «Информатика» в нотации IDEF3. В процессе построения модели решалась следующая задача: пусть дана сеть Петри, состоящая из множества позиций P = {p1, p2,…, pn } и множества переходов T = {t 1, t 2,…, t m }.
Метод наименьших модулей представляет собой одну из наиболее распространенных альтернатив методу наименьших квадратов в регрессионном анализе. Он позволяет получать устойчивые оценки коэффициентов, когда плотность вероятности случайных ошибок имеет более вытянутые хвосты по сравнению с нормальным распределением. Однако при сочетании нескольких нарушений условий Гаусса – Маркова, например, при одностороннем характере выбросов и наличии корреляции между объясняющими переменными и случайными ошибками, метод наименьших модулей также не позволяет обеспечить приемлемую точность оценивания регрессионных зависимостей. Одним из перспективных путей решения данной проблемы может оказаться взвешенный метод наименьших модулей. Рассмотрена задача определения параметров линейных регрессионных моделей на основе взвешенного метода наименьших модулей. Описаны точные алгоритмы ее решения. Исследована вычислительная эффективность точных алгоритмов решения задачи взвешенного метода наименьших модулей. Доказано, что добавление весовых коэффициентов в алгоритмы покоординатного и модифицированного градиентного спусков не вызвало изменений в плане вычислительной сложности и точности решения. Тем не менее зафиксирован малый рост времени выполнения вычислительных экспериментов в связи с добавлением дополнительной операции в алгоритмы спуска. Данная зависимость более заметно проявляется в покоординатном варианте, что связано с тем, это значение целевой функции в нем определяется на каждой узловой точке узловой прямой вплоть до нахождения минимума, в то время как у градиентного спуска оно определяется только в точке экстремума. В результате проведения сравнительного анализа с методом проектирования градиента и решениями прямой и двойственной задач линейного программирования при помощи симплекс-метода установлено, что они более чем на порядок уступают градиентному спуску по узловым прямым в плане времени вычислений. Показано, что метод проектирования градиента не гарантирует нахождение точного решения задачи
В статье представлены основные положения разработанной комплексной расчетно-экспериментальной методики описания поведения и исследование на ее основе напряженно-деформированного состояния системы «оправка – композиционная оболочка» в процессе изготовления оболочки с учетом термовязкоупругого поведения материалов. Использованы результаты экспериментального исследования релаксации материалов оправки и оболочки при нормальных и повышенных температурах и аппарат механики деформированного твердого тела. Численное моделирование осуществлено методом конечных элементов, реализованным в среде ANSYS Mechanical средствами параметрического языка программирования APDL. Стандартные механические испытания образцов материала оправки, связующего и образцов однонаправленного ПКМ проводились в Центре экспериментальной механики ПНИПУ на сертифицированной универсальной электромеханической системе Instron 5882. Расчетно-экспериментальная методика включает в себя: численную процедуру идентификации термомеханических параметров для описания поведения изотропного материала оправки с учетом реологии при нормальной и повышенных температурах; модель термовязкоупругого поведения композиционного материала в процессе намотки и термообработки, сочетающую анизотропию упругого поведения среды с одним независимым вязкоупругим оператором, реализованная в среде Ansys Mechanical APDL; алгоритм построения трехмерного конечно-элементного аналога системы «оправка – оболочка» с технологической оснасткой, который учитывает распределение начальных усилий в оболочке и фрикционный контакт со смазкой на границе сопряжения оправки со сборочным валом; алгоритм определения термовязкоупругого поведения системы «оправка – оболочка», реализованный путем последовательного решения задачи нестационарной теплопроводности и квазистатической краевой задачи механики деформируемого твердого тела. В результате проведенных исследований получены новые данные о пространственно-временном распределении интенсивностей напряжений и нормального давления на внешней поверхности оправки, установленные в результате комплексного исследования на основе вычислительных экспериментов, в том числе при отклонениях от проектных параметров технологического процесса
Разработка компьютерных моделей ортопедических изделий позволяет добавить в арсенал травматологаортопеда цифровой инструментарий, позволяющий рассчитать биомеханические последствия выбранной тактики реконструктивно-восстановительного лечения. Так, при использовании метода наружной чрескостной фиксации с помощью цифрового двойника аппарата Илизарова модификации Багирова оперирующий хирург на предоперационном этапе может оценить влияние выбора компоновки аппарата на риск возможной дестабилизации взаимоотношений костных фрагментов. Клиническими показаниями к использованию аппарата Илизарова модификации Багирова являются переломы костей голени, которые составляют до 45 % случаев от всех переломов длинных костей скелета человека. Сращение переломов сопровождается большим числом осложнений, поэтому проблема улучшения результатов лечения пациентов с указанной травмой по-прежнему актуальна для современной травматологии и ортопедии. Использование аппаратов наружной фиксации позволяет также обеспечить стабильно-функциональную фиксацию костных фрагментов для устранения сложных деформаций костей конечностей. Применение компрессионно-дистракционных аппаратов позволяет расширить потенциальное использование аппаратов наружной фиксации для решения задач дистракционного остеогенеза. Биомеханические взаимоотношения в системе «кость – аппарат» являются значимым фактором, позволяющим объективизировать компоновку аппарата и режим двигательной реабилитации в раннем послеоперационном периоде. В рамках проведенного исследования была построена математическая модель аппарата Илизарова модификации Багирова и с помощью метода конечных элементов рассчитано напряженно-деформированное состояние компонент конструкции аппарата при модельных нагрузках. Для валидации построенной компьютерной модели был проведен натурный эксперимент на универсальной испытательной машине Walter+Bai AG LFM-50. Исследуемая конструкция была подвергнута осевому сжатию нагрузкой до 1000 Н. В результате проведенного сравнительного анализа резистентности аппарата осевому сжатию, выявлено, что результаты расчета методом конечных элементов с достаточной точностью описывают результаты эксперимента. Сопоставление результатов расчетов с экспериментальными данными позволяет утверждать, что предложенная компьютерная модель корректно описывает механическое поведение исследованного медицинского изделия и может быть использована при проведении вычислительных экспериментов для оценки функциональности различных компоновок аппарата
Анализ чувствительности математических моделей предполагает большое количество подходов, среди которых выделяют локальные методы (исследование влияния фактора на отклик в случае его изолированного варьирования) и глобальные методы (предполагающие исследование одновременных изменений групп факторов). Классификацию методов также строят и на основе применяемых математических иструментов. Однако известные методы являются приближенными или допускают использования суррогатных моделей, аппроксимирующих исходную функцию, что является источником ошибки. Ранее авторами предложен аналитический метод анализа чувствительности по факторам математических моделей на основе анализа конечных изменений. В таком случае для исследования изменений отклика функции используют известную теорему Лагранжа о промежуточной точке. Однако в некоторых ситуациях процесс нахождения частных производных может быть вычислительно трудоемкой задачей, а в некоторых случаях функция задана таблично. В этом случае возможно применение численного дифференцирования с дальнейшим восстановлением аналитического представления функции. Для этого предлагается использовать подход математического ремоделирования и в качестве ремоделующего класса применять модели линейной регрессии с эффектами взаимодействия. Такое предположение естественно, так как моделирует наличие линейной связи между факторами модели. В работе приведен численный пример – анализ функции Розенброка, выполненный двумя способами: аналитическим методом и с применением ремоделирования для восстановления частных производных. Результаты показывают высокое качество полученных оценок чувствительности, что свидетельствует о состоятельности подхода ремоделирования в таких задачах. Перспективными аспектами представленного подхода являются: применение более широкого набора классов ремоделирующих моделей (полносвязные нейронные сети, аппроксимирующие многочлены) и оптимальный выбор шага численного дифференцирования
Издательство
- Издательство
- ПНИПУ
- Регион
- Россия, Пермь
- Почтовый адрес
- 614990, Пермский край, г. Пермь, Комсомольский проспект, д. 29
- Юр. адрес
- 614990, Пермский край, г. Пермь, Комсомольский проспект, д. 29
- ФИО
- ТАШКИНОВ АНАТОЛИЙ АЛЕКСАНДРОВИЧ (ИСПОЛНЯЮЩИЙ ОБЯЗАННОСТИ РЕКТОРА)
- E-mail адрес
- rector@pstu.ru
- Контактный телефон
- +7 (342) 2198067
- Сайт
- https://pstu.ru