Новости из мира высоких технологий

Использует ли наш мозг глубокое обучение для осмысления мира?

Сразу же, когда доктор Блейк Ричардс услышал о глубоком обучении, он понял, что столкнулся не только с методом, который революционизирует искусственный интеллект. Он понял, что смотрит на нечто фундаментальное от мозга человека. Это было начало 2000-х, а Ричардс проводил курс в Университете Торонто вместе с Джеффом Хинтоном. Хинтону, который стоял у истоков создания алгоритма, покорившего мир, предложили читать вводный курс о его методе обучения, вдохновленном человеческим мозгом.

Ключевые слова здесь «вдохновленном мозгом». Несмотря на убежденность Ричардса, ставка играла против него. Мозг человека, как оказалось, не имеет важной функции, которая программируется в алгоритмах глубокого обучения. На поверхности эти алгоритмы нарушали основные биологические факты, уже доказанные нейробиологами.

Но что, если глубокое обучение и мозг на самом деле совместимы?

И вот, в новом исследовании, опубликованном в eLife, Ричардс, работая с DeepMind, предложил новый алгоритм, основанный на биологической структуре нейронов в неокортексе. Кортекс, кора головного мозга, является домом для высших когнитивных функций, таких как рассуждение, прогнозирование и гибкое мышление.

Команда объединила свои искусственные нейроны в многоуровневую сеть и поставила перед ней задачу классического компьютерного зрения — определять рукописные цифры.

Новый алгоритм справился на отлично. Но важно другое: он анализировал примеры для обучения так, как это делают алгоритмы глубокого обучения, но построен был полностью на фундаментальной биологии мозга.

«Глубокое обучение возможно в биологической структуре», заключили ученые.

Поскольку на текущий момент эта модель представляет собой компьютерный вариант, Ричардс надеется передать эстафету экспериментальным нейробиологам, которые могли бы проверить, работает ли такой алгоритм в реальном мозге.

Если да, данные могут быть переданы компьютерным ученым для разработки массово параллельных и эффективных алгоритмов, на которых будут работать наши машины. Это первый шаг по направлению к слиянию двух областей в «добродетельный хоровод» открытий и инноваций.

Поиск козла отпущения

Хотя вы наверняка слышали о том, что искусственный интеллект недавно обыграл лучшего из лучших в го, вы вряд ли знаете, как именно работают алгоритмы в основе этого искусственного интеллекта.

В двух словах, глубокое обучение основано на искусственной нейронной сети с виртуальными «нейронами». Как и высокий небоскреб, сеть структурирована в иерархии: нейроны низкого уровня обрабатывают ввод — например, горизонтальные или вертикальные черточки, образующие цифру 4, — а нейроны высокого уровня обрабатывают абстрактные аспекты цифры 4.

Чтобы обучить сеть, вы даете ей примеры того, что ищете. Сигнал распространяется по сети (поднимается по ступенькам здания), и каждый нейрон пытается усмотреть нечто фундаментальное в работе «четверки».

Как дети учатся чему-то новому, сначала сеть справляется не очень хорошо. Она выдает все, что, по ее мнению, похоже на цифру четыре — и получаются образы в духе Пикассо.

Но именно так протекает обучение: алгоритм сопоставляет вывод с идеальным вводом и рассчитывает разницу между ними (читай: ошибки). Ошибки «обратно распространяются» по сети, обучая каждый нейрон, мол, это не то, что вы ищете, ищите лучше.

Спустя миллионы примеров и повторений, сеть начинает работать безукоризненно.

Сигнал ошибки крайне важен для обучения. Без эффективного «обратного распространения ошибки» сеть не будет знать, какие из ее нейронов ошибаются. В поисках козла отпущения искусственный интеллект улучшает себя.

Мозг тоже это делает. Но как? Мы понятия не имеем.

Биологический тупик

Очевидно другое: решение с глубоким обучением не работает.

Обратное распространение ошибки — крайне важная функция. Она требует наличия определенной инфраструктуры для корректной работы.

Во-первых, каждый нейрон в сети должен получать уведомление об ошибке. Но в мозге нейроны соединены только с несколькими партнерами по нисходящему потоку (если вообще соединены). Чтобы обратное распространение работало в мозге, нейроны на первых уровнях должны воспринимать информацию от миллиардов соединений в нисходящих каналах — а это биологически невозможно.

И хотя некоторые алгоритмы глубокого обучения адаптируют локальную форму обратного распространения ошибки — по существу между нейронами — она требует, чтобы их соединение вперед и назад было симметричным. В синапсах мозга такого не происходит почти никогда.

Более современные алгоритмы адаптируют несколько иную стратегию, реализуя отдельный путь обратной связи, который помогает нейронам находить ошибки локально. Хотя это более реализуемо биологически, у мозга нет отдельной вычислительной сети, посвященной поиску козлов отпущения.

Но у него есть нейроны со сложными структурами, в отличие от однородных «шаров», которые в настоящее время применяются в глубоком обучении.

Ветвящиеся сети

Ученые черпают вдохновение из пирамидальных клеток, которые заполняют кору головного мозга человека.

«Большинство этих нейронов имеют форму деревьев, их «корни» глубоко уходят в мозг, а «ветви» выходят на поверхность», говорит Ричардс. «Что примечательно, корни получают одни наборы входных данных, а ветви другие».

Любопытно, но структура нейронов зачастую оказывается «именно такой, как нужно» для эффективного решения вычислительной задачи. Взять, к примеру, обработку ощущений: днища пирамидальных нейронов находятся там, где должны, для получения сенсорного ввода, а верхушки удобно расположены для передачи ошибок через обратную связь.

Может ли эта сложная структура быть эволюционным решением по борьбе с ошибочным сигналом?

Ученые создали многослойную нейронную сеть на основе предыдущих алгоритмов. Но вместо однородных нейронов они дали ей нейроны средних слоев — зажатые между вводом и выводом — похожие на настоящие. Обучаясь на рукописных цифрах, алгоритм показал себя намного лучше, чем однослойная сеть, несмотря на отсутствие классического обратного распространения ошибки. Клеточные структуры самостоятельно могли определить ошибку. Затем, в нужный момент, нейрон объединял оба источник информации для поиска лучшего решения.

В этом есть биологическая основа: нейробиологи давно знают, что входные ветви нейрона выполняют локальные расчеты, которые можно интегрировать с сигналами обратного распространения ошибки от ветвей вывода. Но мы не знаем, так ли работает мозг на самом деле — поэтому Ричардс поручил нейробиологам выяснить это.

Более того, эта сеть обрабатывает проблему похожим на традиционный метод глубокого обучения образом: использует многослойную структуру для извлечения прогрессивно более абстрактных идей о каждом числе.

«Это особенность глубокого обучения», объясняют авторы.

Глубоко обучающийся мозг

Без сомнения, в этой истории будет больше неожиданных поворотов, потому что компьютерные ученые вносят все больше биологических деталей в алгоритмы ИИ. Ричардс и его команда рассматривают прогностическую функцию сверху-вниз, когда сигналы с более высоких уровней непосредственно влияют на то, как более низкие уровни реагируют на ввод.

Обратная связь с верхними уровнями не только улучшает сигнализацию ошибок; она также может поощрять нейроны низшего уровня обработки работать «лучше» в режиме реального времени, говорит Ричардс. Пока сеть не превзошла другие небиологические сети глубокого обучения. Но это и не важно.

«Глубокое обучение оказало огромное влияние на ИИ, но до сегодняшнего дня его влияние на нейронауку было ограничено», говорят авторы исследования. Теперь у нейробиологов будет повод провести экспериментальную проверку и узнать, лежит ли структура нейронов в основе природного алгоритма глубокого обучения. Возможно, в следующие десять лет начнется взаимовыгодный обмен данными между нейробиологами и исследователями искусственного интеллекта.


Источник: Использует ли наш мозг глубокое обучение для осмысления мира?
Автор:
Теги: исследования искусственный интеллект Мозг Нейробиология DeepMind Алгоритм Биология борьба Вдохновение

Комментарии (0)

Сортировка: Рейтинг | Дата
Пока комментариев к статье нет, но вы можете стать первым.
Написать комментарий:
Напишите ответ :
Оптические иллюзии, которые сломают тебе мозг
Оптические иллюзии, которые сломают тебе мозг
7
Человек познаёт мир 08:30 25 сен 2023
Как понять, что мужчина вас использует: 4 красных флажка
Как понять, что мужчина вас использует: 4 красных флажка
26
Женский развлекательный и поучительный сайт. 20:18 12 ноя 2020
А как же мозг мужу вынести?
А как же мозг мужу вынести?
2
Страничка добра и сплошного жизненного позитива! 09:00 20 июн 2023
Почему мозг выносят все, а ругают за это только женщин?
Почему мозг выносят все, а ругают за это только женщин?
10
Страничка добра и сплошного жизненного позитива! 08:00 06 дек 2023
Порция прикольных фотографий ломающих мозг
Порция прикольных фотографий ломающих мозг
10
Интересный мир 23:20 03 апр 2016
«Показалось»: 20 фотоляпов, взрывающих мозг
«Показалось»: 20 фотоляпов, взрывающих мозг
6
Интересный мир 04:35 14 сен 2017
Искусство каллиграфии: Что скрывается за красивыми буквами, и стоит ли учиться писать красиво
Искусство каллиграфии: Что скрывается за красивыми буквами, и стоит ли учиться писать красиво
1
Человек познаёт мир 06:30 12 дек 2023
17 красивейших городов мира, которые нужно увидеть хотя бы раз в жизни
17 красивейших городов мира, которые нужно увидеть хотя бы раз в жизни
12
Человек познаёт мир 08:30 12 фев 2024
Обучение по-африкански: Почему архитекторы придумали для детей Малави школу из соломы
Обучение по-африкански: Почему архитекторы придумали для детей Малави школу из соломы
4
Человек познаёт мир 13:30 18 июл 2023
15 фотографий, от которых зависает мозг — ЕЩЁ
15 фотографий, от которых зависает мозг — ЕЩЁ
0
Интересный мир 07:10 14 сен 2016
Самые странные художники мира
Самые странные художники мира
0
Жизнь прекрасна 16:00 01 апр 2017
Скидки на обучение в Китае для россиян
Скидки на обучение в Китае для россиян
0
Интересный мир 01:25 10 апр 2016

Выберете причину обращения:

Выберите действие

Укажите ваш емейл:

Укажите емейл

Такого емейла у нас нет.

Проверьте ваш емейл:

Укажите емейл

Почему-то мы не можем найти ваши данные. Напишите, пожалуйста, в специальный раздел обратной связи: Не смогли найти емейл. Наш менеджер разберется в сложившейся ситуации.

Ваши данные удалены

Просим прощения за доставленные неудобства