Исследователи из Льежского университета (Бельгия) недавно разработали новый искусственный нейрон, вдохновленный различными режимами работы нейронов человека. Этот процесс, получивший название бистабильной рекуррентной ячейки (BRC), позволил рекуррентным сетям изучать временные отношения более тысячи дискретных единиц времени, когда классические методы терпели неудачу только через сотню единиц времени. Эти важные результаты опубликованы в журнале PLOS ONE.
Огромный интерес к искусственному интеллекту (ИИ) в последние годы привел к разработке чрезвычайно мощных методов машинного обучения. Например, временные ряды — любые ряды данных, в которых присутствует временная составляющая, такая как цены на акции , погодные условия или электроэнцефалограммы, — по своей природе чрезвычайно распространены и представляют большой интерес из-за их широкого диапазона приложений. Анализ временных рядов — это тип задач, для которых методы машинного обучения представляют особый интерес, позволяя предсказывать будущие события на основе прошлых событий. Учитывая разнообразие потенциальных приложений, логично, что обработка таких данных с помощью алгоритмов искусственного интеллекта стала очень популярной в последние годы.
Особый тип искусственной нейронной сети, называемый рекуррентной нейронной сетью (RNN), был специально разработан в последние годы с памятью, которая позволяет сети сохранять информацию во времени для правильной обработки временных рядов. Каждый раз при получении новых данных сеть обновляет свою память, чтобы сохранить эту новую информацию. Несмотря на эти разработки, такие сети по-прежнему сложно обучать, а их возможности памяти ограничены во времени.
«Мы можем представить себе пример сети, которая получает новую информацию каждый день», — объясняет Николя Вековен, докторант лаборатории систем и моделирования Льежского университета и первый автор исследования. «Но после 50-го дня мы замечаем, что информация с первого дня уже забыта. Однако человеческие нейроны способны сохранять информацию в течение почти бесконечного периода времени благодаря механизму би-стабильности. Это позволяет нейронам стабилизироваться в два разных состояния, в зависимости от истории электрических токов, которым они подвергались, и это в течение бесконечного периода времени. Другими словами, благодаря этому механизму нейроны человека могут сохранять бит (двоичное значение) информации бесконечное время «.
Основываясь на этом механизме би-стабильности, Николя Вековен и его коллеги Дэмиен Эрнст (специалист по искусственному интеллекту) и Гийом Дрион (специалист в области нейробиологии) из ULiège создали новый искусственный нейрон с тем же механизмом и интегрировали его в повторяющиеся искусственные сети. Этот новый искусственный нейрон, получивший название бистабильной рекуррентной клетки (BRC), позволил рекуррентным сетям изучать временные отношения более чем на 1000 временных шагов, тогда как классические методы терпят неудачу только через 100 временных шагов. Эти многообещающие результаты были опубликованы в журнале PLOS One.. Трое исследователей продолжают разрабатывать технологии для улучшения памяти RNN, способствуя возникновению в них точек равновесия.
Дополнительная информация: Николас Вековен и др., Бистабильная рекуррентная клетка, вдохновленная биологией, обеспечивает долговременную память, PLOS ONE (2021 г.). DOI: 10.1371 / journal.pone.0252676
Будьте в курсе в удобном формате, присоединяйтесь: TG-канал и ВК