Предиктивное кодирование (ПК) предполагает такую организацию нейронной сети, что на каждом ее уровне постоянно генерируется и обновляется внутреннее представление о поступающем внешнем сигнале. К настоящему времени предложены различные теоретические описания и алгоритмические представления ПК. В отличие от обычных статичных моделей машинного обучения, ПК основано на ансамблях нейронов с изменяющимся во времени поведением. Обычные искусственные нейронные сети плохо подходят для описания динамических процессов, и вместо них следует использовать импульсные (спайковые) нейронные сети. В данной работе представлены простые архитектуры динамических спайковых нейронных сетей, включающие элементы ПК для иерархического управления динамическими системами. Интеграторы, управляемые и связанные осцилляторы с ПК построены с использованием популяций импульсных нейронов с утечками (Leaky Integrate-and-Fire neurons). Показаны как обучаемые модели, так и модели, не требующие обучения. Динамические модели нейронов реализованы в свободно распространяемом пакете Nengo.
Идентификаторы и классификаторы
Возможности и функционал искусственных нейронных сетей (ИНС) постоянно расширяются. Тем не менее, способности ИНС все еще ограничены. В частности, ИНС сталкиваются с проблемой отсутствия обобщения при обучении на различных задачах и наборах данных. Кроме того, обучение ИНС очень энергозатратно, а перенос ИНС на энергоэффективное нейроморфное оборудование проблематично. В отличие от ИНС, биологические нейронные сети мозга очень энергоэффективны, способны к быстрому обучению и обобщению полученных данных. В связи с этим, исследователи интенсивно изучают механизмы работы мозга и возможности их применения в ИНС.
Список литературы
- The Free Energy Principle for Action and Perception: A Mathematical Review / C.L. Buckley, C.S. Kim, S. McGregor, A.K. Seth // Journal of Mathematical Psychology. 2017. Vol. 81. pp. 55–79.
- Spratling M.W. A Review of Predictive Coding Algorithms // Brain and Cognition. 2017. Vol. 112. pp. 92–97.
- Marino J. Predictive Coding, Variational Autoencoders, and Biological Connections // Neural Computation. 2021. Vol. 34, iss. 1 pp. 1–44.
- Rao R.P.N., Ballard D.H. Predictive Coding in the Visual Cortex: A Functional Interpretation of Some Extra-Classical Receptive-Field Effects // Nature Neuroscience. 1999. Vol. 2, iss. 1. pp. 79–87.
- Whittington J.C.R., Bogacz R. An Approximation of the Error Backpropagation Algorithm in a Predictive Coding Network with Local Hebbian Synaptic Plasticity // Neural Computation. 2017. Vol. 29, iss. 5. pp. 1229–1262.
- Wang X., Lin X., Dang X. Supervised Learning Algorithms and Evaluations // Neural Networks. 2020. Vol. 125. pp. 258–280.
- Nengo: A Python Tool for Building Large-Scale Functional Brain Models / T. Bekolay, J. Bergstra, E. Hunsberger, T. DeWolf, T.C. Stewart, D. Rasmussen, X. Choo, A.R. Voelker, C. Eliasmith // Frontiers in Neuroinformatics. 2014. Vol. 7. Article 48. pp. 1–12.
- DeWolf T., Jaworski P., Eliasmith C. Nengo and Low-Power AI Hardware for Robust, Embedded
Neurorobotics // Frontiers in Neurorobotics. 2020. Vol. 14. 568359. - Bekolay T., Kolbeck C., Eliasmith C. Simultaneous Unsupervised and Supervised Learning of Cognitive Functions in Biologically Plausible Spiking Neural Annual Meeting of the Cognitive Science Society. 2013. pp. 169–174.
- Synchronization in Complex Networks / A. Arenas,
A. Díaz-Guilera, J. Kurths, Y. Moreno, C. Zhou // Physics Reports. 2008. Vol. 469, iss. 3. pp. 93–153. - Millidge B., Seth A., Buckley C.L. Predictive Coding: a Theoretical and Experimental Review // arXiv:2107. 12979. URL: https://arxiv.org/pdf/2107.12979 (дата обращения: 03.12.2024).
- Integrating Predictive Coding with Reservoir Computing in Spiking Neural Network Model of Cultured Neurons / Y. Ishikawa, T. Shinkawa, T. Sumi, H. Kato, H. Yamamoto, Y. Katori // Nonlinear Theory and its Applications, IEICE. 2024. Vol. 15, iss. 2. pp. 432–442.
- PC-SNN: Supervised Learning with Local Hebbian Synaptic Plasticity Based on Predictive Coding in Spiking Neural Networks / M. Lan, X. Xiong, Z. Jiang, Y. Lou // arXiv:2211.15386. URL: https://arxiv.org/pdf/2211.15386 (дата обращения: 03.12.2024).
- Ororbia A. Spiking Neural Predictive Coding for Continually Learning from Data Streams // Neurocomputing. 2023. Vol. 544. 126292.
- Predictive Coding with Spiking Neurons andFeedforward Gist Signaling / K. Lee, S. Dora, J.F.
Mejias, S.M. Bohte, C.M.A. Pennartz // Frontiers in Computational Neuroscience. 2024. Vol. 18. 1338280. - Masumori A., Ikegami T., Sinapayen L. Predictive Coding as Stimulus Avoidance in Spiking Neural Networks // 2019 IEEE Symposium Series on Computational Intelligence, SSCI 2019. 2019. pp. 271–277.
- MacNeil D., Eliasmith C. Fine-Tuning and the Stability of Recurrent Neural Networks // PLoS One. 2011. Vol. 6, iss. 9. e22885.
- Controllability of Structural Brain Networks / S. Gu, F. Pasqualetti, M. Cieslak, Q.K. Telesford, A.B. Yu, A.E. Kahn, J.D. Medaglia, J.M. Vettel, M.B. Miller, S.T. Grafton, D.S. Bassett // Nature Communications. 2015. Vol. 6. 8414.
- Stewart T.C. A Technical Overview of the Neural Engineering Framework // The Newsletter of the Society for the Study of Artificial Intelligence and Simulation of Behaviour. 2012. URL: https://compneuro.uwaterloo. ca/files/publications/stewart.2012d.pdf (дата обращения: 03.12.2024).
- Khona M., Fiete I.R. Attractor and Integrator Networks in the Brain // Nature Reviews Neuroscience. 2022. Vol. 23, iss. 12. pp. 744–766.
- Brunel N. Dynamics of Sparsely Connected Networks of Excitatory and Inhibitory Spiking Neurons // Journal of Computational Neuroscience. 2000. Vol.8, iss. 3. pp. 183–208.
- Inter-Network Interactions: Impact of Connections Between Oscillatory Neuronal Networks on Oscillation Frequency and Pattern / O.J.A. Gonzalez, K.I. van Aerde, H.D. Mansvelder, J. van Pelt, A. van Ooyen // PLoS One. 2014. Vol. 9, iss. 7. e100899.
- Nolte D.D. Introduction to Modern Dynamics: Chaos, Networks, Space and Time. Oxford University Press, 2015. 423 p.
- Stewart T.C., Bekolay T., Eliasmith C. Learning to Select Actions with Spiking Neurons in the Basal Ganglia // Frontiers in Neuroscience. 2012. Vol. 6. 16887.
- Sussillo D., Abbott L.F. Generating Coherent Patterns of Activity from Chaotic Neural Networks // Neuron. 2009. Vol. 63, iss. 4. pp. 544–557.
- DePasquale B. Full-FORCE: A Target-Based Method for Training Recurrent Networks / B. DePasquale, C.J. Cueva, K. Rajan, G.S. Escola, L.F. Abbott // PLoS One. 2018. Vol. 13, iss. 2. e0191527.
Выпуск
Другие статьи выпуска
В работе представлены основные методы повышения устойчивости функционирования мультисервисной сети связи плавучего энергетического блока, которая является основой его автоматизированной системы управления производством. Показано, что актуальность и важность результатов выполненного исследования определяются тем, что плавучий энергетический блок является энергетическим предприятием, реализующим непрерывный цикл производства, функционирующим в сложных географических и климатических условиях, вследствие чего сетевые элементы могут подвергаться различным деструктивным воздействиям.
Показано, что сочетание методов нагруженного резервирования с восстановлением, оперативной поддержки принятия решений по оценке технического состояния сетевых элементов на основе концепции распределенных интеллектуальных агентов, а также применение сетевых технологий, допускающих их аппаратно-программную реализацию, позволяет значительно повысить показатели устойчивости функционирования мультисервисной сети связи плавучего энергетического блока.
Представлен алгоритм оценки погрешностей идентификации параметров тепловых эквивалентных полупроводниковых изделий по результатам измерения переходной тепловой характеристики (ПТХ). С помощью компьютерного моделирования по представленному алгоритму выполнен расчет случайных погрешностей определения пара- метров одно- и двухзвенной тепловой эквивалентной цепи. Показано, что погрешности зависят от выбора моментов времени, в которые составляется и решается система уравнений, связывающих значения ПТХ с параметрами схемы. Путем выбора моментов времени в точках наибольшей и наименьшей крутизны ПТХ возможно достичь минимальной погрешности определения параметров тепловой эквивалентной цепи.
В статье описан подход к структурно-параметрической идентификации смесителя непрерывного действия, на вход которого поступает массопоток от двух спиральных дозаторов. Дано формализованное описание этапов идентификации динамических процессов смешивания. Цифровые сигналы смешивания при этом рассматриваются как стохастические. На первом этапе строится модель сигнала со спиральных дозаторов, который подается на вход смесителя непрерывного действия. Модель построена на основе использования структурного анализа и теории непрерывных дробей и представляется мультисинусоидальным сигналом с неизвестными параметрами. На следующем этапе переходят к построению математической модели самого смесителя непрерывного действия. Математическое описание алгоритма с учетом стохастичности вход-выходных сигналов смесителя предполагает предварительный расчёт корреляционных функций сигналов. Далее дискретную передаточную функцию смесителя аппроксимируют непрерывной дробью при помощи расчёта матрицы-идентификатора. Проверка качества мо- делирования на основе принципа вариации шага дискретизации показала их достаточно высокую эффективность. Актуальность работы обусловлена потребностью автоматизации процессов контроля, мониторинга и управления в области пищевых технологий.
В статье рассматривается применение когерентного оптического рефлектометра (COTDR) для проверки состояния волоконно-оптических линий связи (ВОЛС), в состав которых включены усилители. Разработана методика расчета максимальной протяженности репитативной линии связи, проверку состояния которой возможно провести с применением COTDR. Методика учитывает влияние мощности усиленной спонтанной эмиссии, генерируемой оптическими усилителями, на динамический диапазон COTDR. Верификация методики проведена с использованием разработанного на базе Научно-исследовательского центра световодной фотоники Университета ИТМО комплекта оборудования когерентной оптической временной рефлектометрии. Приведен пример расчета с использованием методики для ВОЛС с наиболее распространенной длиной регенерации и комплекта рефлектометрии, разработанного в Университете ИТМО. Созданная методика может применяться при проектировании ВОЛС для определения оптимального количества оптических усилителей и при обосновании возможности применения конкретного COTDR для диагностики ВОЛС с известными параметрами.
Качество функционирования блока усилителя мощности передающего устройства радиолокационной станции характеризуется выходной мощностью на различных частотах и зависит от характеристик поставляемых клистронов: импульсного тока катода, напряжения накала, тока накала, токопрохождения, тока управляющего электрода, потребляемой мощности, входной оптимальной мощности, выходной мощности с клистрона, импульсного тока резонаторного блока, коэффициента усиления и других. Для оценки качества работы блока предлагается решение двух задач. Первая связана с контролем стабильности параметров поставляемых клистронов. Решение этой задачи рассмотрено ранее. Вторая задача – оценка и прогнозирование выходной мощности блока по результатам испытаний. В настоящей статье предлагается подход к построению математической модели зависимости этой мощности от характеристик клистрона с применением метода опорных векторов.
В статье исследуется влияние предварительного использования фильтра Калмана на качество обучения автоэнкодеров при обработке изображений с коррелированным шумом. Цель исследования заключается в сравнении эффективности применения фильтра Калмана с традиционными методами фильтрации, такими как медианный фильтр и фильтр Гаусса, в контексте предварительной обработки изображений. Для эксперимента использовались изображения с искусственно добавленным коррелированным шумом.
Методология включала настройку параметров фильтра Калмана для оптимального удаления коррелированного шума, а также применение медианного и Гауссового фильтров для сравнительного анализа. Оценка качества фильтрации проводилась с использованием индекса структурного сходства (SSIM) и пикового соотношения сигнал/шум (PSNR). Результаты эксперимента показывают, что фильтр Калмана значительно снижает уровень коррелированного шума, улучшая качество изображений и повышая точность обучения автоэнкодеров. Это подтверждает эффективность применения фильтра Калмана для предварительной обработки изображений и обеспечивает более чистые данные для последующих этапов машинного обучения. Результаты исследования подчеркивают важность выбора подходящих методов цифровой фильтрации шума для повышения производительности нейронных сетей.
В настоящее время одним из востребованных направлений применения интеллектуальных систем является использование нейронных систем (НС) в системах по распознаванию речи, выполняющее совместное разделение голоса и улучшение речи. Для этого необходимо различать различные шумы при смешивании чистого аудио с мешающими высказываниями.
В научной работе предложен новый подход в обучении НС при распознавании речи по двум направлениям:
во-первых, представлена обновленная функция потерь, способная напрямую учитывать производительность на уровне сигнала и транскрипции. Это позволит снизить показатель индикатора неправильно распознанных слов с 59,6 % до 55,6 % и улучшит отношение источника к искажению с ~ 4 дБ до ~ 4,1 дБ по сравнению с имеющимися аналогами. Интеграция индикатора неправильно распознанных слов в функцию потерь существенно повышает производительность разделения на уровне сигнала и транскрипции;
во-вторых, в работе предложена оригинальная модернизированная интеллектуальная система по распознаванию речи с учетом обновленной функции потерь. Преимуществом новой системы является ее возможность интегрироваться в другие системы без ограничения системной среды, что создает дополнительные возможности для более разнообразных комбинаций систем разделения и распознавания речи.В настоящее время одним из востребованных направлений применения интеллектуальных систем является использование нейронных систем (НС) в системах по распознаванию речи, выполняющее совместное разделение голоса и улучшение речи. Для этого необходимо различать различные шумы при смешивании чистого аудио смешающими высказываниями.
В статье представлены угрозы нарушения корректного функционирования систем, разработанных на основе глубоких нейронных сетей, посредством реализации против них состязательных атак уклонения и отравления данных. Состязательные атаки реализуются посредством подачи на вход системы специально подготовленных (состязательных) данных (adversarial samples), на основе которых она принимает неправильные решения. Последствия реализации состязательных атак могут быть очень серьезными, особенно в областях, критически важных для безопасности. Описаны основные виды и способы реализации атак. Рассмотрены математические модели, используемые для раз- работки состязательных атак. Представлен анализ методов защиты моделей глубоких нейронных сетей от угроз, связанных с состязательными атаками. Определено, что наиболее эффективным подходом к созданию средств.
Одной из актуальных задач логистики сегодня является задача прогнозирования загруженности складского помещения и выбора оптимальной емкости складского помещения. В настоящей статье поставлена и решена задача разработки и апробации модели динамики загрузки склада, позволяющей учесть вероятностные характеристики потоков поступления и оттока груза со склада. В качестве исследуемого параметра в модели рассмотрен один из показателей загрузки склада – объем складируемого груза, как функция времени. Объем складируемого груза в каждый момент времени зависит от объема накопленных ранее грузов, поступлений груза на склад и оттока (выдачи) груза со склада. Указанные зависимости положены в основу имитационной модели для оценки динамики объема загрузки склада. Потоки поступления и оттока грузов со склада моделируются в общем случае как нестационарные случайные процессы. Для реализации модели применяется метод статистического моделирования Монте-Карло. Требуемую емкость склада предлагается определять с использованием доверительной вероятности обработки всего объема поступающего груза. Проведены вычислительные эксперименты. Применение разработанного инструментария позволяет получить выборки возможных значений загрузки склада для каждого момента времени, оценить закон распределения возможных значений загрузки склада для каждого момента времени, получить точечные оценки параметров, оценить требуемую емкость склада.Одной из актуальных задач логистики сегодня является задача прогнозирования загруженности складского по-мещения и выбора оптимальной емкости складского помещения. В настоящей статье поставлена и решена задача разработки и апробации модели динамики загрузки склада, позволяющей учесть вероятностные характеристики потоков поступления и оттока груза со склада. В качестве исследуемого параметра в модели рассмотрен один из показателей загрузки склада – объем складируемого груза, как функция времени. Объем складируемого груза в каждый момент времени зависит от объема накопленных ранее грузов, поступлений груза на склад и оттока (выдачи) груза со склада. Указанные зависимости положены в основу имитационной модели для оценки динамики объема загрузки склада. Потоки поступления и оттока грузов со склада моделируются в общем случае как нестационарные случайные процессы. Для реализации модели применяется метод статистического моделирования Монте-Карло. Требуемую емкость склада предлагается определять с использованием доверительной вероятности обработки всего объема поступающего груза. Проведены вычислительные эксперименты. Применение разработанного инструментария позволяет получить выборки возможных значений загрузки склада для каждого момента времени, оценить закон распределения возможных значений загрузки склада для каждого момента времени, получить точечные оценки параметров, оценить требуемую емкость склада.
Современные требования к специалистам из сферы здравоохранения давно вышли за рамки непосредственно медицины. Использование современных технических средств приводит к ситуации, когда медик должен максимально быстро адаптироваться к условиям развития информационных технологий. Необходимость помимо профессиональной деятельности развиваться в смежных областях, получение опыта в таких направлениях, как информационные технологии или телемедицина [1, с. 68], приводят к постоянному повышению когнитивной нагрузки, вследствие чего снижается качество и оперативность принимаемых врачебных решений.
В рамках данной статьи будет рассмотрена проблема визуального анализа медицинских данных, а также предложены решения для снижения когнитивной нагрузки аналитика при проведении первичной обработки и анализа слабоструктурированных медицинских данных. Для решения поставленных задач предложен метод визуализации медицинских данных, предназначенный для снижения когнитивной нагрузки и, как следствие, рисков профессионального выгорания у медиков.
Представленный в статье программный модуль получен в рамках этапа разработки программного комплекса, необходимого для решения задачи повышения качества и оперативности принятия медицинских решений.
В работе оценивается списочное представление когнитивных карт декодера перестановочного декодирования (ПД) двоичных кодов, которое может быть выполнено в формате двух списков: полного списка производительных перестановок нумераторов (ППН) и полного списка непроизводительных перестановок нумераторов (НПН) символов кодового вектора. Оценивается сложность реализации процедуры поиска запрещенных для перестановки нумераторов, для двух блоковых двоичных кодов. Показано, как могут быть организованы в памяти декодера списки НПН, на основании образующих комбинаций орбит (ОКО) перестановок, с оценкой машинного времени, требуемого на формирование такого списка. При этом учитывается разнообразие трансформаций различных комбинаций избыточного кода в процедуре априорного формирования когнитивной карты. Впервые отражены свойства НПН списков для кодов различных длин. Проведено их сравнение по ряду критериев. Указывается свойство, порождающее специфические особенности ряда перестановок в процессе реализации ПД, отмечается уникальность отдельных перестановок, выявленных в ходе исследования блоковых кодов различной длины.
Целью работы является исследование изменений организации списков НПН в системе ПД в зависимости от основных характеристик применяемых в системе избыточных кодов.
В статье рассмотрена практика верификации проектного решения, представленного алгоритмом (моделью работы потока реального времени Real) в аппаратно-программном средстве, опирающаяся на авторскую методологию верификации на этапе системного проектирования. Алгоритм включает оркестровку и хореографию проектируемого аппаратно-программного средства. Выявляются ошибки хорошей согласованности, корректности и темпора́льные ошибки.
Следует отметить, что исследование велось в рамках решения проблемы по модернизации аппаратно-программного средства сложного изделия, состоящего из бортового компьютера и специализированного программного обеспечения. Бортовой компьютер работает в жестком реальном времени, сопряжен с окружающими блоками и стойками по шине и синхронизирован с работой изделия по внешнему импульсу прерывания. Полученные сведения от верификации повышают качество алгоритмов аппаратно-программного средства, а автоматизация верификации сокращает трудоемкость разработки проектного решения.В статье рассмотрена практика верификации проектного решения, представленного алгоритмом (моделью работы потока реального времени Real) в аппаратно-программном средстве, опирающаяся на авторскую методологию верификации на этапе системного проектирования. Алгоритм включает оркестровку и хореографию проектируемого аппаратно-программного средства. Выявляются ошибки хорошей согласованности, корректности и темпора́льные ошибки.
Следует отметить, что исследование велось в рамках решения проблемы по модернизации аппаратно-программного средства сложного изделия, состоящего из бортового компьютера и специализированного программного обеспечения. Бортовой компьютер работает в жестком реальном времени, сопряжен с окружающими блоками и стойками по шине и синхронизирован с работой изделия по внешнему импульсу прерывания. Полученные сведения от верификации повышают качество алгоритмов аппаратно-программного средства, а автоматизация верификации сокращает трудоемкость разработки проектного решения.
Издательство
- Издательство
- НПО "МАРС"
- Регион
- Россия, Ульяновск
- Почтовый адрес
- 432057, Ульяновская обл, г Ульяновск, Заволжский р-н, ул Солнечная, влд 20
- Юр. адрес
- 432057, Ульяновская обл, г Ульяновск, Заволжский р-н, ул Солнечная, влд 20
- ФИО
- Маклаев Владимир Анатольевич (ГЕНЕРАЛЬНЫЙ ДИРЕКТОР)