Импульсные нейронные сети

Модель LIF (накопления и возбуждения с утечками) является расширением модели накопления и возбуждения (IF). В то время как в модели IF входные сигналы просто накапливаются, пока не произойдет возбуждение, в модели LIF входные сигналы также накапливаются, но их воздействие убывает до равновесного потенциала. Это означает, что если несколько сигналов быстро поступают один за другим, вероятность клеточного импульса гораздо выше, чем при поступлении импульсов с большими промежутками между ними. LIF является более реалистичной нейронной моделью, чем IF, так как из реальных наблюдений известно, что нейронные импульсы сильно зависят от частоты поступления входных импульсов.

В модели LIF есть пять параметров, gL, EL, C, Vth, I, и мы определяем ее в функции lif(u, p, t).

Наша система описывается одним дифференциальным уравнением: (-gL*(u-EL)+I)/C, где u — это напряжение, I — входной сигнал, gL — проводимость утечки, EL — равновесный потенциал проводимости утечки, а C — электроемкость мембраны. Как правило, любое изменение напряжения задерживается (фильтруется) электроемкостью мембраны. Вот почему мы делим все уравнение на C. При отсутствии входного сигнала извне напряжение всегда стремится к EL. Если u больше EL, u уменьшается, пока не достигнет EL. Если u меньше EL, u увеличивается, пока не достигнет EL. Единственное, что еще может повлиять на напряжение, — это внешний входной сигнал I.

Наша функция lif требует определенной структуры параметров, так как она должна быть совместима с интерфейсом DifferentialEquations. Сигнатура входных данных имеет вид lif(u, p, t), где u — это напряжение, p — коллекция параметров, описывающих уравнение, а t — время. У вас может возникнуть вопрос: почему в уравнении нет времени, хотя требуется вычислить изменение напряжения относительно времени? Дело в том, что за время отвечает решатель ОДУ. Одно из преимуществ использования решателя ОДУ вместо вычисления изменения u в цикле for заключается в том, что алгоритмы многих решателей ОДУ могут динамически регулировать временной шаг для максимальной эффективности и точности.

Однако не хватает еще одной важной детали. Ведь это должна быть модель нервных импульсов? Поэтому нам нужен механизм, распознающий импульс и в ответ увеличивающий поляризацию u. Для этого мы используем обратные вызовы. Они могут вносить дискретные изменения в модель при выполнении некоторых условий.

В нашем случае условием является thr(u,t,integrator). Оно срабатывает, когда integrator.u > integrator.p[4], где p[4] — пороговый параметр Vth. В результате выполнения условия вызывается функция reset!(integrator). Она сбрасывает u в значение равновесного потенциала p[2]. Затем мы заключаем как условие, так и его результат в обратный вызов DiscreteCallback, называемый порогом. Есть еще один особенно полезный обратный вызов, который называется PresetTimeCallback. Он увеличивает значение входного параметра p[5] при t=2 и t=15 на 210.0. Оба обратных вызова затем объединяются в CallbackSet. Моделирование системы почти завершено. Осталось лишь задать числовые значения начального напряжения и параметров.

Начальное напряжение будет u0 = - 75, что равно равновесному потенциалу, то есть мы начинаем с устойчивой точки. Затем мы зададим временной интервал, на котором будет производиться моделирование. Согласно определению модели LIF масштаб времени измеряется миллисекундами. Затем мы зададим следующие параметры: p = [10.0, -75.0, 5.0, -55.0, 0]. Напомним, что gL, EL, C, Vth, I = p. Наконец, мы заключаем все это в вызов ODEProblem. Не забываем о CallbackSet. На этом наша модель готова. Теперь осталось получить решение, просто вызвав solve.

Во-первых, в выходных данных функции solve сообщается, получилось ли вообще решить систему. В данном случае мы видим, что получилось, так как код возврата (retcode) имеет значение Success (Успешно). Затем мы получаем числовые значения временных шагов и решений для u. По самим числам понять что-либо не очень легко, поэтому давайте построим график решения.

Как мы видим, пока нет входного сигнала, модель остается на уровне -75. В момент t=2 входной сигнал увеличивается на 210 и начинается пульсация модели. Пульсация начинается не сразу, так как входной сигнал должен сначала насытить электроемкость мембраны. Обратите внимание: как только пульсация начинается, она быстро становится крайне регулярной. Когда входной сигнал снова усиливается в момент t=15, возбуждение, как и следовало ожидать, возрастает, но по-прежнему остается крайне регулярным. Это одна из особенностей LIF. Частота возбуждения является регулярной при постоянном входном сигнале и представляет собой линейную функцию от его силы. Модели LIF можно сделать менее регулярными. Например, на входе можно добавить шум определенных типов. Кроме того, можно создать множество моделей LIF и соединить их синаптическими связями. Вместо рассмотрения этих вопросов мы перейдем к модели Ижикевича, которая известна тем, что способна генерировать разнообразные кривые нейронных импульсов при постоянном воздействии.

Модель Ижикевича — это двухмерная модель нейронных импульсов. Она была разработана на основе анализа бифуркации кортикального нейрона. Из-за двухмерного характера эта модель позволяет генерировать гораздо более сложные кривые импульсов, чем модель LIF. Динамика импульсов зависит от четырех параметров и входного сигнала a, b, c, d, I = p. Все принципы действия такие же, как и в предыдущем случае, за исключением небольших изменений в определениях функций, которые отвечают за второе измерение.

Это наша модель Ижикевича. Здесь можно заметить два важных изменения. Во-первых, обратите внимание на дополнительный входной параметр du. Это последовательность разностей. du[1] соответствует напряжению (первому измерению системы), а du[2] — второму измерению. В оригинальной работе Ижикевича второе измерение обозначается как u, что усложняет понимание математической записи. В данном руководстве мы в целом будем придерживаться соглашений, принятых в Julia и DifferentialEquations, а не соглашений определенных моделей, и поэтому везде будет применяться обозначение du. Мы не будем самостоятельно определять du вне функции, но этот параметр будет использоваться внутри решателя ОДУ. Еще одно изменение — наличие знака ! после имени функции. Он означает, что параметр du будет предварительно размещаться в памяти перед интегрированием, а затем обновляться на месте, что позволяет существенно сэкономить время. Нам осталось лишь добавить обратные вызовы, которые будут обрабатывать импульсы и увеличивать входной сигнал.

Одна из ключевых особенностей модели Ижикевича заключается в том, что каждый импульс увеличивает второе измерение u[2] на предварительно заданную величину p[4]. Между импульсами u[2] убывает до значения, которое зависит от p[1], p[2] и равновесного потенциала p[3]. В остальном код не слишком отличается от модели LIF. Нам снова нужно задать параметры, и моделирование можно запускать.

Такой тип импульсов называется «пачечной активностью». Периоды возбуждения перемежаются с паузами. Обратите внимание, что входной сигнал начинается в момент t=50 и остается постоянным на всем протяжении моделирования. Одним из механизмов, обуславливающих такой вид пульсации, является гиперполяризация, индуцированная импульсами. Ее возникновение объясняется вторым измерением, поэтому давайте рассмотрим эту переменную внимательнее.

Второе измерение u[2] увеличивается с каждым импульсом. Когда оно становится слишком большим, система не может сгенерировать следующий импульс, пока u[2] не упадет до достаточно низкого значения, чтобы пульсация могла возобновиться. Этот процесс повторяется. В этой модели пульсация уже не является регулярной, как в случае с LIF. Здесь имеются две частоты: частота в течение периода пульсации и частота этих периодов. Модель LIF обладала одной частотой, являющейся функцией от силы входного сигнала. Давайте посмотрим, можно ли сгенерировать пульсацию другого типа, изменив параметры.

Такой тип называется регулярной пульсацией, и мы получили его, просто уменьшив p[3] и увеличив p[4]. Обратите внимание: хотя этот тип пульсации называется регулярным, регулярный характер наступает не сразу. Кратковременное значение частоты в начале выше. Это явление называется адаптацией частоты пульсации и свойственно реальным нейронам. Генерировать можно также множество других типов пульсации. Ознакомьтесь с оригинальной работой Ижикевича и создайте нейрон по своему вкусу!

Модель Ходжкина-Хаксли (ХХ) — наша первая биофизически реалистичная модель. Это означает, что все параметры и механизмы модели отражают биологические механизмы. В частности, модель ХХ имитирует ионный ток, который деполяризует и гиперполяризует нейрон в течение потенциала действия. Вследствие этого модель ХХ является четырехмерной. Давайте посмотрим, как она выглядит.

У нас имеются три разных вида ионной проводимости: калиевая, натриевая и проводимость утечки. Калиевая и натриевая проводимости потенциалозависимые. Они увеличиваются или уменьшаются в зависимости от напряжения. Открытые ионные каналы могут переходить в закрытое состояние, а закрытые — в открытое. Пожалуй, проще всего будет начать с калиевого тока, описываемого выражением gK * (n^4.0) * (EK - v). Здесь gK — общая проводимость, которой можно было бы достичь при всех открытых калиевых каналах. Если бы все каналы были открыты, n было бы равно 1, чего обычно не случается. Переход из открытого состояния в закрытое моделируется в alpha_n(v), а переход из закрытого состояния в открытое — в beta_n(v). Так как калиевая проводимость потенциалозависимая, эти переходы зависят от v. Числовые значения в alpha_n; beta_n были рассчитаны Ходжкиным и Хаксли на основе большого количества экспериментов с гигантским аксоном кальмара. Они также установили, что для корректного моделирования количества открытых каналов n необходимо возвести в четвертую степень.

С натриевым током ситуация почти не отличается, но у него вместо одной управляющей переменной две: m, h. У проводимости утечки gL управляющих переменных нет, так как она не потенциалозависимая. Перейдем к параметрам. Если вы хотите изучить модель ХХ во всех подробностях, отличное описание можно найти здесь.

Для модели ХХ требуется только один обратный вызов — PresetTimeCallback, который активирует входной ток. Сбрасывать напряжение по достижении порога не нужно, так как в модели ХХ имеется собственный механизм реполяризации. Это калиевый ток, который активируется при высоких напряжениях и делает напряжение более отрицательным. Найти подходящие начальные значения управляющих переменных помогают три функции: n_inf; m_inf; h_inf. Эти функции сообщают нам, что устойчивые управляющие значения требуются для начального напряжения. Параметры были выбраны так, чтобы модель приблизительно представляла кортикальную пирамидальную клетку, а не гигантский аксон, с которым изначально работали Ходжкин и Хаксли.

Мы получили вполне регулярную пульсацию напряжения. Одним из достоинств биофизически реалистичной модели является то, что управляющие переменные несут информацию о механизмах, отвечающих за потенциал действия. Возможно, в учебнике по биологии вам встречался такой график или что-то наподобие.

До сих пор мы подавали на нейроны простые ступенчатые сигналы, просто изменяя число I. В действительности нейроны получают входные сигналы в основном от химических синапсов. Они производят изменения проводимости очень сложной структуры. В следующей главе мы включим синапс в модель ХХ.

Одним из самых простых синаптических механизмов, используемых в нейроинформатике, является альфа-синапс. При его активации происходит мгновенное повышение проводимости, которая затем убывает по экспоненте. Давайте включим этот механизм в нашу модель ХХ.

Функция gSyn моделирует ступенчатое повышение проводимости до максимума и последующее убывание по экспоненте с постоянным временем tau. Естественно, интегрировать проводимость требуется только в момент tf (момент начала синаптического ответа) и после него. До момента tf функция gSyn возвращает ноль. Чтобы преобразовать проводимость в ток, мы умножаем ее на разность текущего напряжения и равновесного напряжения синапсов: ISyn = gSyn(max_gSyn, tau, tf, t) * (v - ESyn). Позднее мы установим параметр ESyn в значение 0, чтобы сделать этот синапс возбуждающим. У возбуждающих синапсов равновесные потенциалы значительно превышают потенциал покоя. Давайте посмотрим, как наш синапс влияет на напряжение клетки.

То, что вы видите здесь, называется возбуждающим постсинаптическим потенциалом (ВПСП). Это разность потенциалов, возникающая в ответ на синаптический ток. В то время как синаптическая проводимость возрастает мгновенно, повышение ответного напряжения имеет более медленную временную динамику, которая определяется электроемкостью мембраны C. Данного ответного напряжения недостаточно для активации пульсации, поэтому оно называется подпороговым. Чтобы получить сверхпороговый ответ, вызывающий пульсацию, мы просто увеличиваем значение параметра max_gSyn, чтобы повысить максимальную проводимость.

На этом графике показаны как подпороговый ВПСП, описанный выше, так и сверхпороговый ВПСП. Альфа-синапсы очень удобны из-за их простоты. Настоящие синапсы, однако, имеют крайне сложную структуру. Одна из важнейших особенностей настоящих синапсов заключается в том, что их максимальная проводимость различается при каждом событии. Количество и частота синаптических событий динамически изменяют величину максимальной проводимости. Хотя обычно мы не вдаемся в анатомические и биофизические подробности устройства реальных синапсов, существует широко применяемый феноменологический метод фиксации происходящих в них процессов. Он называется «синапсом Цодыкса-Маркрама».

Синапс Цодыкса-Маркрама (СЦМ) — это динамическая система, моделирующая изменения максимальной проводимости между ВПСП при разной частоте. Отдельный ответ похож на ответ альфа-синапса: он также мгновенно возрастает и убывает по экспоненте. Достигаемая максимальная проводимость зависит от истории событий. Чтобы смоделировать СЦМ, необходимо добавить в систему еще три измерения: u, R, gsyn. u убывает до 0, R убывает до 1, а gsyn убывает до 0, как и в случае с альфа-синапсом. Важнейшим элементом СЦМ является функция epsp!, которая отвечает за обработку точек разрыва при наступлении синаптического события. Вместо того чтобы просто установить gsyn в значение максимальной проводимости gmax, мы наращиваем gsyn на долю gmax, которая зависит от двух других динамических параметров. Частотная зависимость определяется величиной констант времени tau_u и tau_R. Но хватит теории, давайте перейдем к моделированию.

Как ответное напряжение, так и проводимость проявляют так называемую кратковременную фасилитацию — повышение пиковой проводимости с каждым последующим синаптическим событием. В данном случае проводимость при первом событии составляет примерно 0,0025, а при последнем — 0,004. Чтобы узнать, что является основанием для такой динамики, можно построить графики двух других переменных.

Поскольку здесь имеет значение ход отклика на стимул, фасилитация зависит от времени. Если увеличить период между событиями, фасилитация не происходит.

Можно также изменить константы времени так, чтобы процесс проявлял депрессию, а не фасилитацию.

Изменения этих двух констант времени хватило, чтобы динамика изменилась на кратковременную депрессию. Процесс по-прежнему зависит от частоты. Изменяя эти параметры, можно генерировать процессы с различной краткосрочной динамикой.

На этом пока все. Спасибо, что дочитали до конца. Если вы хотите узнать о нейронной динамике больше, вот отличный ресурс.