Нейросети и нейробиология 

Первая формальная модель нейрона появилась в 1943 году у Маккаллока и Питтса ^[1] и была моделью логики, а не физиологии. Нейрон в ней — пороговый элемент: он суммирует входы с весами и выдает единицу, когда сумма перевалила порог. Авторы доказывали не то, что мозг устроен так, а то, что сеть подобных элементов вычисляет любую функцию исчисления высказываний. Инженерия унаследовала именно эту конструкцию и держит ее до сих пор.

Через шесть лет Хебб сформулировал правило обучения, которое до сих пор цитируется чаще самой книги ^[2]: связь между двумя нейронами усиливается, когда один участвует в возбуждении другого. Правило локальное — ему нужны только активность пресинаптической и постсинаптической клетки, никакого глобального сигнала ошибки. Это принципиальная развилка, к которой мы вернемся в главе 10.

Параллельно шла работа, которая к нейросетям привела косвенно, а к пониманию нейрона — напрямую. Ходжкин и Хаксли в 1952 году ^[3] описали потенциал действия на гигантском аксоне кальмара системой из четырех дифференциальных уравнений с воротными переменными натриевого и калиевого каналов. Это первая количественная модель в нейробиологии, Нобелевская премия 1963 года и до сих пор эталон, относительно которого упрощают все остальные модели нейрона.

Дальше — розенблаттовский перцептрон 1958 года ^[4] и главный источник современного компьютерного зрения: работы Хьюбела и Визеля ^{[5, 6]}. Вводя микроэлектрод в первичную зрительную кору кошки, они обнаружили клетки, которые отвечают на полоску определенной ориентации в определенном месте поля зрения (простые клетки), и клетки, которые отвечают на ту же полоску независимо от точного положения (сложные клетки). Нобелевская премия 1981 года. Из этой пары — простая клетка плюс сложная клетка — выросло все, что мы сегодня называем сверточной сетью.

Фукусима в 1980 году построил неокогнитрон ^[7] — буквальную реализацию иерархии простых и сложных клеток: S-слои ищут признак, C-слои дают устойчивость к сдвигу. Это сверточная сеть за девять лет до появления термина. Чего в ней не было — обучения по градиенту: backprop опубликован в 1986-м ^[8], а в 1989-м Лекун применил его к распознаванию почтовых индексов ^[9], и связка «иерархия рецептивных полей плюс обратное распространение ошибки» стала стандартом на следующие тридцать пять лет.

Отдельной веткой шла физика. Хопфилд в 1982 году ^[10] описал сеть с симметричными связями как систему со спиновой энергией, у которой воспоминания — это локальные минимумы. В 2024 году Нобелевскую премию по физике дали Хопфилду и Хинтону именно за этот пласт работ. А Маасс в 1997-м ^[11] предложил считать спайковые сети «третьим поколением» нейросетевых моделей и доказал, что по вычислительной мощности они не уступают аналоговым при меньшем числе элементов.

Фразу «нейросеть работает как мозг» произносят в презентациях, и она мешает работать. Ниже — шесть конкретных расхождений, каждое с источником. Три из них для нас означают упущенную инженерную возможность, три — границу, за которую заходить не стоит.

1. Нейрон не является сумматором

Дендритное дерево считает само. Пуарази, Бреннон и Мел в 2003 году ^[12] показали, что по вход-выходной функции пирамидный нейрон коры эквивалентен двухслойной сети: отдельные ветви дендрита суммируют входы нелинейно, а сома складывает уже результаты этих подсчетов. В 2020 году Гидон с соавторами ^[13] нашли в нейронах слоя 2/3 коры человека дендритные кальциевые потенциалы, отклик которых немонотонен по амплитуде входа: одиночная клетка решает задачу XOR. Формальный нейрон XOR не решает по построению — это классический результат Минского и Паперта, ради обхода которого и появились скрытые слои.

2. Информация идет спайками, а не числами

Нейрон передает разряды длительностью около миллисекунды, и вопрос, что именно кодируется, решается не в пользу простого среднего. Торп с соавторами в 1996 году ^[14] показали: человек категоризует новое изображение примерно за 150 миллисекунд, что подтверждается дифференциальной активностью на ЭЭГ. За это время сигнал успевает пройти около десяти синаптических уровней, то есть на слой приходится порядка 10 мс. Усреднять частоту разрядов на таком окне нечем: каждый нейрон успевает выдать один спайк, и информация сидит в том, какой из них пришел раньше.

3. Обучение локальное, обратного канала весов нет

Обратное распространение ошибки требует, чтобы при движении сигнала ошибки назад использовались те же самые веса, что и при прямом проходе. В коре для этого нужен физический канал, который сообщал бы каждому синапсу значения весов синапсов на следующем уровне. Такого канала нет — эта дыра известна как проблема транспорта весов, ее сформулировал Гроссберг ^[15], а Крик в 1989 году в Nature прямо назвал backprop биологически неправдоподобным ^[16].

4. Разделения на обучение и работу не существует

У модели есть фаза обучения и фаза инференса, и после заморозки весов она не меняется. Нервная система учится непрерывно и при этом не забывает старое. У сетей ровно противоположная беда: дообучение на новой задаче стирает предыдущую — катастрофическая интерференция, описанная еще в 1989 году ^[17]. Биологический ответ на это — консолидация: синапс имеет несколько состояний с разными скоростями изменения ^[18]. Именно из этой модели выросла инженерная регуляризация EWC ^[19], которая штрафует уход весов, важных для старой задачи.

5. Активность разрежена, и это следствие энергетики

Ленни в 2003 году ^[20] оценил, что энергетический бюджет коры позволяет держать одновременно активными порядка одного процента нейронов. Разреженность здесь — не красивое свойство, а условие выживания ткани. Ольсхаузен и Филд ^[21] показали обратное следствие: если потребовать от модели разреженного кода на естественных изображениях, рецептивные поля сами собой становятся ориентированными и локализованными — то есть такими, какими их видели Хьюбел и Визель, и такими, какие сверточная сеть выучивает в первом слое без всяких требований разреженности.

6. Есть химический контур, который меняет правила обучения

Шульц, Дайан и Монтегю в 1997 году ^[22] показали, что разряды дофаминовых нейронов среднего мозга кодируют не награду, а ошибку ее предсказания — величину, которая в обучении с подкреплением называется TD-ошибкой. Этот сигнал глобальный и химический: он умножает эффект локальных изменений синапса и решает задачу назначения заслуги во времени. В сети такого контура нет, ее эквивалент — функция потерь, которую задает инженер снаружи.

В мозге взрослого человека около 86 миллиардов нейронов, из них порядка 16 миллиардов в коре больших полушарий — это прямой подсчет методом изотропного фракционирования, а не старая оценка «сто миллиардов» ^[23]. Синапсов порядка 10¹⁴. Потребление — около 20 ватт, примерно пятая часть энергозатрат покоя всего организма при массе органа около двух процентов.

Эттвелл и Лафлин в 2001 году ^[24] разложили этот бюджет по статьям и показали, что основная его часть уходит на восстановление ионных градиентов после синаптической передачи и распространения потенциалов действия. Иначе говоря, платят за события, а не за существование связей. Синапс, через который сейчас ничего не идет, почти бесплатен. В плотном матричном умножении бесплатных весов нет: каждый вес читается из памяти и умножается на каждом кадре, даже когда на входе ноль.

Второй урок того же порядка дает сетчатка. В ней порядка ста миллионов фоторецепторов и около миллиона ганглиозных клеток, аксоны которых образуют зрительный нерв. То есть сжатие примерно сто к одному происходит еще в сенсоре, до всякой обработки в коре. Оценка пропускной способности этого канала — порядка 10 мегабит в секунду ^[25], что смехотворно мало по меркам видеопотока и полностью объясняется тем, что сетчатка передает наверх изменения и контрасты, а не яркости пикселей.

Грубый пересчет по крайним строкам таблицы: у коры получается порядка 4·10⁹ нейронов на ватт, у Hala Point — порядка 4·10⁵. Четыре порядка разрыва при том, что нейроморфная система уже отказалась от плотного счета. Сравнение не в пользу кремния и по справедливости должно быть еще хуже, потому что нейроны считаются разной сложности. Полезно тут другое: разрыв возник не из-за плохих алгоритмов обучения, а из-за того, как устроен сам счет.

Сверточный слой держится на трех свойствах, и все три списаны со зрительной системы. Локальность: нейрон V1 смотрит в маленький участок поля зрения, а не во все сразу. Ретинотопия: соседние участки сетчатки проецируются в соседние участки коры, поэтому у карты признаков есть геометрия. Иерархия: простая клетка отвечает на ориентированный край в конкретном месте, сложная — на тот же край в некотором диапазоне положений ^{[5, 6]}, что в инженерии превратилось в пару «свертка плюс пулинг».

Насколько глубоко идет сходство, измерили Яминс и ДиКарло ^[29]. Они брали сверточные сети, обученные под распознавание объектов, и проверяли, насколько хорошо их внутренние признаки предсказывают отклики реальных нейронов в нижневисочной коре обезьяны. Оказалось, что чем лучше модель решает задачу распознавания, тем точнее она предсказывает нейронные ответы, причем модели, оптимизированные под задачу, обошли все специально построенные модели зрения. Никто не пытался копировать кору — сходство возникло как побочный эффект оптимизации под ту же задачу на тех же входах.

Где сходство разваливается

Первое: состязательные примеры ^[30]. Добавление шума, невидимого глазу, переводит уверенную классификацию в противоположную. У биологического зрения такого класса уязвимостей не описано. Второе: смещение к текстуре ^[31]. Сети, обученные на ImageNet, классифицируют преимущественно по текстуре, тогда как человек опирается на форму; картинка с силуэтом кошки и текстурой слона уходит в «слона». Третье: рекуррентность. В зрительной коре обратных проекций больше, чем прямых, и для трудных изображений решение вызревает во времени; в чистой сверточной сети обратных путей нет вовсе.

Для нашей задачи важнее четвертое расхождение, о котором говорят реже. Зрение работает неоднородно по полю: в центральной ямке плотность колбочек на порядки выше, чем на периферии, и высокое разрешение обеспечивается не большой матрицей, а перенацеливанием взгляда — саккадами по три-четыре раза в секунду. Сверточный детектор устроен противоположным образом: он обрабатывает весь кадр с одинаковым разрешением, и малая цель на дальнем плане теряется при первом же уменьшении входа до 640 пикселей.

Нормализация — заимствование по существу

Делительная нормализация описана как каноническое вычисление коры ^[33]: отклик нейрона делится на суммарную активность соседей по пулу. Так объясняются насыщение контрастной характеристики в V1, перекрестное подавление и адаптация к статистике входа. Ту же форму имеет добрая половина слоев современной сети — от локальной нормировки откликов до softmax, где экспонента логита делится на сумму по всем логитам.

Внимание — совпадение формы без родства

Механизм внимания в трансформере ^[35] выглядит как биологический аналог, и здесь надо быть аккуратным. Формально softmax по скалярным произведениям запроса и ключей — это та же делительная нормализация. Содержательно трансформер вырос из задач машинного перевода и из соображений параллелизации обучения, а не из данных о коре. Утверждать преемственность неверно.

При этом обратная связь между областями существует и она интереснее. Уиттингтон с соавторами ^[36] показали, что трансформер с подходящим позиционным кодированием воспроизводит представления гиппокампальной формации — клетки места и сетчатые клетки. Банино с соавторами ^[37] получили тот же результат раньше и другим путем: сетчатые представления возникли сами в рекуррентной сети, обученной навигационной задаче, и повысили эффективность поиска пути. Это второй случай того же паттерна, что и в главе 4: биология воспроизводится как решение оптимизационной задачи, а не как результат копирования.

Разреженность — заимствование на словах

Про разреженность в машинном обучении говорят постоянно, и почти всегда — впустую. ReLU обнуляет около половины активаций, но плотный матричный ускоритель все равно читает все веса и выполняет все умножения: ноль на входе экономит энергию только в железе, которое умеет пропускать нулевые операнды. Наш edge-таргет так не умеет — Hailo-8L это плотный INT8-ускоритель с фиксированным конвейером, и разреженность активаций там не превращается в ватты.

Рао и Баллард в 1999 году ^[38] предложили модель, в которой более высокий уровень коры постоянно предсказывает активность более низкого, вниз идет предсказание, а наверх — только ошибка. Модель объясняла эффекты, которые не выводились из классического рецептивного поля: например, почему отклик нейрона V1 на протяженную решетку падает по сравнению с откликом на ее фрагмент. Ответ прост: протяженная решетка предсказуема, а предсказанное наверх не передается.

Инженерия пришла к тому же независимо и раньше, чем нейробиология это описала. Межкадровое предсказание в видеокодеках устроено ровно так: опорный кадр плюс векторы движения и остаток, который передается по каналу. Именно поэтому видеонаблюдение за статичным двором стоит копейки по трафику, а тот же двор во время метели забивает канал. Совпадение с моделью Рао и Балларда полное, и оно снова объясняется общим ограничением: дорогой канал.

Этот четвертый шаг и есть событийная камера. Пиксель, который сам решает, что яркость изменилась достаточно, чтобы об этом сообщить, — аппаратная реализация передачи одной ошибки предсказания. Ему посвящена глава 9; сначала надо разобраться с моделью нейрона, который такой поток обрабатывает.

Четыре уравнения Ходжкина и Хаксли для сети из миллиона элементов неподъемны, поэтому инженерия работает с моделью «интегрируй и стреляй с утечкой» — LIF. Мембрана представляется конденсатором с утечкой, вход подкачивает потенциал, утечка тянет его к покою. Как только потенциал перевалил порог, нейрон выдает спайк и сбрасывается.

Теперь про обучение. Выход такого нейрона — последовательность разрядов, то есть функция со значениями ноль и единица. Ее производная по мембранному потенциалу равна нулю везде, кроме точки порога, где она бесконечна. Обратное распространение ошибки по такой функции не идет: градиент либо нулевой, либо не определен. Это и есть центральная техническая проблема всей области, из-за которой спайковые сети тридцать лет оставались в лабораториях.

Три обходных пути

Первый — конвертация. Обычная сеть обучается как всегда, а затем ее активации переводятся в частоты разрядов: чем выше активация, тем чаще спайки ^{[40, 41]}. Способ рабочий и не требует переизобретать обучение, но платит задержкой: чтобы частота стала точной оценкой числа, нужно накопить достаточно тактов. Ранние работы требовали сотен тактов на кадр, что съедало весь энергетический выигрыш; последующие довели цифру до единиц и десятков за счет нормировки порогов и гибридных схем.

Второй — суррогатный градиент ^[42]. На прямом проходе нейрон остается пороговым и выдает честные ноль-единица, а на обратном производная ступеньки подменяется гладкой колоколообразной функцией. Прием формально некорректен и практически работает: он сделал возможным обучение глубоких спайковых сетей обычным автоградиентом. Разновидности отличаются формой суррогата и способом разворачивать время — SLAYER ^[43] распределяет заслугу по временному окну, SuperSpike ^[44] строит правило, локальное по синапсу.

Третий путь — временное кодирование, при котором информация лежит во времени прихода первого спайка. Это ближе всего к биологии, где на слой приходится порядка десяти миллисекунд и усреднять частоту попросту нечем ^[14]. Сеть в таком режиме дает ответ по первым спайкам и обрывает счет — это и есть теоретический максимум экономии. Цена: обучение сложнее, устойчивость к шуму ниже, зрелых промышленных реализаций нет.

Идея считать в кремнии так же, как считает нервная ткань, старше глубокого обучения: термин neuromorphic ввел Карвер Мид в конце 1980-х для аналоговых схем, воспроизводящих сетчатку и улитку. Промышленная фаза началась в 2014 году, и с тех пор в ней есть три школы.

Цифровая асинхронная — IBM TrueNorth ^[26]: 4096 нейросинаптических ядер, миллион нейронов и 256 миллионов синапсов на 5,4 миллиарда транзисторов, потребление в демонстрации порядка 70 милливатт. Никакого обучения на чипе: веса заливаются снаружи. Intel Loihi ^[27] пошел дальше и добавил программируемые правила пластичности прямо в ядро — 128 ядер, до 130 тысяч нейронов и 130 миллионов синапсов. Loihi 2 перевели на техпроцесс Intel 4 и подняли емкость до миллиона нейронов на чип, а в 2024 году из 1152 таких чипов собрали систему Hala Point: 1,15 миллиарда нейронов при потреблении порядка 2,6 киловатта ^[28].

Вторая школа — множество обычных процессорных ядер, имитирующих нейроны в реальном времени. Это манчестерский SpiNNaker ^[45], миллион ядер ARM, и его дрезденский наследник SpiNNaker2. Плюс подхода в гибкости: модель нейрона — это программа, а не схема. Минус там же: энергетика хуже, чем у специализированного кремния.

Третья школа — аналоговые вычисления в памяти на мемристивных кроссбарах ^[46]. Матрица весов физически хранится в проводимостях элементов, и умножение вектора на матрицу выполняется законами Ома и Кирхгофа за один такт, без переноса весов из памяти в АЛУ. Именно перенос весов, а не арифметика, съедает основную энергию в классической архитектуре, поэтому потенциальный выигрыш здесь наибольший. Открытые вопросы промышленные: выход годных, дрейф проводимости, ограниченная разрядность и отсутствие внятного маршрута проектирования.

Обычная матрица выдает кадры по таймеру: тридцать раз в секунду весь массив пикселей уезжает наверх независимо от того, изменилось в сцене хоть что-нибудь. Событийный сенсор устроен как сетчатка ^[47]: каждый пиксель независимо следит за логарифмом яркости и сообщает наверх, когда изменение перевалило порог. Выход — не кадр, а поток четверок «координата, координата, время с микросекундной точностью, знак изменения».

Для детекции беспилотника это попадание почти по всем пунктам. Цель малая, быстрая и наблюдается против яркого неба или в контражуре — три ситуации, где кадровая матрица теряет объект в пересвете и смазе, а событийная работает штатно. Поток данных на пустом небе близок к нулю, что означает и экономию канала, и экономию вычислений на узле. Открытые наборы и модели детекции на событиях уже существуют: мегапиксельный набор для автомобильного сценария ^[49] и рекуррентные архитектуры уровня RVT ^[50], которые держат детекцию с задержкой в единицы миллисекунд.

Ограничения перечисляем до того, как кто-нибудь спросит. Событийная камера не видит неподвижное: висящий в воздухе дрон при неподвижной камере не порождает событий, и решение тут одно — движение самого сенсора либо гибрид с кадровым каналом. Цвета и текстуры нет, поэтому классификация типа объекта по событиям хуже, чем по картинке. В темноте и при мерцающем освещении растет поток паразитных событий, который нужно фильтровать. Разметка событийных данных дороже и требует своего инструментария. И, наконец, сенсор стоит заметно дороже обычной промышленной камеры, что для проекта с сотней точек решает все.

Правило Хебба из главы 1 говорит «связывается то, что срабатывает вместе», но не уточняет, что значит «вместе». Уточнение нашли в конце 1990-х: важен порядок во времени с точностью до миллисекунд. Маркрам с соавторами ^[51] и затем Би и По ^[52] показали, что если пресинаптический спайк приходит за несколько миллисекунд до постсинаптического, связь усиливается, а при обратном порядке — ослабевает. Ширина окна — порядка двадцати миллисекунд в обе стороны. Механизм получил имя STDP.

Чтобы локальное правило начало решать задачу, ему нужен третий множитель. Его роль и играет нейромодуляция из главы 2: синапс, у которого совпал порядок спайков, оставляет след готовности, а пришедший позже дофаминовый сигнал превращает след в реальное изменение веса. Такие схемы называют трехфакторными ^[53], и они напрямую связаны с обучением с подкреплением: величина, которую кодируют дофаминовые нейроны ^[22], в инженерии называется временной разностью.

Три инженерных обхода транспорта весов

Первый — выравнивание обратной связи ^[54]. Оказалось, что для обучения не нужно передавать назад точные веса прямого прохода: достаточно фиксированной случайной матрицы. Прямые веса сами подстраиваются так, чтобы согласоваться со случайной обратной проекцией. Результат неожиданный и воспроизводимый, и он снимает главное биологическое возражение против backprop.

Второй — предиктивное кодирование как машина обучения. Уиттингтон и Богач ^[55] показали, что сеть, устроенная по схеме Рао и Балларда из главы 6, при сходимости внутренней динамики дает те же обновления весов, что и обратное распространение ошибки, при этом каждое обновление использует только локально доступные величины. То есть backprop получается как предельный случай локального процесса.

Третий — схемы с двумя проходами вместо прямого и обратного. Равновесное распространение ^[57] обучает энергетическую сеть по разнице двух равновесий, а алгоритм forward-forward ^[56] заменяет обратный проход вторым прямым на отрицательных примерах, что убирает необходимость хранить граф вычислений целиком.

Дообучите готовую сеть на новой задаче — и она потеряет старую. Эффект описан в 1989 году ^[17] и остается фундаментальным свойством градиентного обучения: веса, важные для первой задачи, свободно уезжают под вторую. Нервная система с этим справляется, и известно, за счет чего.

Первый механизм — устройство самого синапса. Фузи, Дрю и Эбботт ^[18] показали, что синапс с каскадом внутренних состояний разной устойчивости примиряет быстрое обучение с долгой памятью: часто подтверждаемое изменение проваливается в более устойчивое состояние и перестает стираться случайными событиями. Прямая инженерная реализация этой идеи — регуляризация EWC ^[19], где для каждого веса оценивается его важность для прошлой задачи, и уход важных весов штрафуется.

Второй механизм — повторное проигрывание опыта. Уилсон и Макнотон в 1994 году ^[58] обнаружили, что во сне гиппокамп воспроизводит последовательности активности, записанные во время бодрствования, в ускоренном темпе. Отсюда идея системной консолидации: свежий опыт постепенно переписывается в кору за счет повторов. В машинном обучении тот же прием называется буфером воспроизведения и стоит в основе обучения с подкреплением на нейросетях ^[59] — авторы прямо ссылались на гиппокампальный реплей как на мотивацию.

Как это ложится на нашу боль

Модель детекции, поставленная на объект, стареет предсказуемо. Меняется сезон и фон, ставят новые прожекторы, появляется техника, которой не было в обучающем наборе, камеру подкручивают на пару градусов после обслуживания. Сегодня это лечится ручным циклом: собрать кадры с объекта, разметить, переобучить, перекомпилировать под ускоритель, выкатить. Цикл занимает недели и требует человека с GPU.

• Отбор материала по удивлению: на дообучение идут кадры, где велика ошибка предсказания трекера или где детектор колеблется у порога. Это ровно тот сигнал, который в предиктивном кодировании уходит наверх (глава 6), и он не требует разметки для отбора.
• Буфер воспроизведения: вместе со свежими кадрами прогоняется выборка старых, чтобы дообучение не переписало модель под текущую неделю ^{[58, 59]}.
• Штраф за уход важных весов по схеме EWC ^[19] — страховка от катастрофического забывания.
• Якорный набор и автоматический откат: до и после дообучения метрики снимаются на неизменяемом отложенном наборе объекта, и при падении recall ниже порога версия откатывается сама.

Прямое направление — взять принцип из мозга и применить в инженерии — дало за шестьдесят лет одну свертку. Обратное направление сегодня богаче: без машинного обучения современная нейробиология физически не может обработать то, что производят ее приборы.

Коннектомика

В 2024 году опубликован полный коннектом мозга взрослой дрозофилы — порядка 140 тысяч нейронов и около 50 миллионов синапсов, реконструированные по стопке электронно-микроскопических срезов ^[60]. В 2025 году вышел результат проекта MICrONS: кубический миллиметр зрительной коры мыши, порядка 200 тысяч клеток, около 523 миллионов синапсов и порядка четырех километров суммарной длины аксонов, причем для той же ткани есть функциональные записи активности ^[61].

С инженерной стороны это чистая задача сегментации в объеме: автоматически проследить каждый отросток через тысячи срезов, найти синаптические контакты и не склеить два разных нейрона в один. Ошибки слияния и разрыва — главная метрика качества, и именно вокруг них построен цикл с проверкой человеком. Масштаб данных петабайтный, ручная реконструкция невозможна арифметически.

Регистрация активности и нейроинтерфейсы

Зонды Neuropixels ^[62] пишут сотни каналов одновременно, и первая же задача после записи — разделить смесь разрядов на отдельные клетки, то есть решить задачу разделения источников на потоке ^[63]. Дальше начинается декодирование. Интерфейс, восстанавливающий рукописный ввод по активности моторной коры, показал порядка 90 знаков в минуту ^[64]; речевые интерфейсы 2023 года — от 62 до 78 слов в минуту ^{[65, 66]}.

Поведение

Позные модели без маркеров ^{[67, 68]} превратили анализ поведения животных из ручной работы в конвейер: сеть находит ключевые точки тела на видео, дальше считаются траектории, позы и события. Это буквально наша область — трекинг, ключевые точки, разметка интервалов, — только предметная область другая. И те же грабли: разметка дорогая, домен узкий, перенос между установками требует дообучения.

Отдельный жанр — использование сетей как модели мозга, а не как инструмента. Именно об этом работы про предсказание откликов нижневисочной коры ^[29] и про появление сетчатых представлений у навигационного агента ^[37], и на этом стоит целая программа вычислительной нейробиологии ^[69]. Отдельно стоит держать в голове аргумент Задора ^[70]: большая часть поведения животного не выучена, а заложена структурой, которая проходит через геномное бутылочное горлышко, и именно эта врожденная структура делает обучение таким быстрым. В инженерных терминах — правильный индуктивный сдвиг важнее объема данных.

Раздел нужен, чтобы отделить исследовательскую часть от коммерческой. Ниже — задачи из пересечения нейробиологии и компьютерного зрения, которые решаются нашим обычным стеком уже сегодня, без единого спайкового нейрона.

микроскопия и гистология

сегментация и подсчет объектов на снимках, срезах и стопках срезов; разметка в паре с оператором и контроль качества по ошибкам слияния и разрыва. Тот же инструментарий, что в промышленной дефектоскопии, другой домен.

поведенческий трекинг

позные модели без маркеров для установок вивария и поведенческих камер: ключевые точки, траектории, автоматическая разметка событий и интервалов. Смыкается с нашим направлением распознавания действий во времени.

биосигналы на edge

фильтрация и классификация ЭЭГ, ЭМГ и ЭКГ прямо на устройстве, без выгрузки сырого сигнала наружу. Ограничение по памяти и питанию тут жестче, чем в видеоаналитике, и работает та же дисциплина сжатия модели.

событийное зрение под быстрые процессы

то, ради чего затевалась глава 9, но не только про беспилотники: контроль вибрации, подсчет быстрых объектов на конвейере, искрение и электрическая дуга, любая сцена с высоким контрастом и коротким событием.

Все предыдущие тринадцать глав — разбор чужих результатов. Собственная часть направления начинается здесь и состоит из четырех гипотез. У каждой заранее назначен порог, ниже которого гипотеза считается закрытой, и определен минимальный эксперимент, который этот порог проверяет. Пороги назначены лабораторией и являются решением, а не измерением.

H1 · сенсор

Событийная камера с обычной сетью-детектором дает по малой быстрой цели в контражуре и на пересвеченном небе более высокий recall, чем кадровая камера при сопоставимом бюджете вычислений. Критерий закрытия: прирост recall на общей сцене меньше 5 процентных пунктов при равном числе ложных срабатываний. Что нужно: событийный сенсор и параллельная запись обеими камерами на одной сцене.

H2 · энергия

Спайковая сеть на нейроморфном ускорителе с событийным входом удерживает детекцию при мощности узла ниже одного ватта. Критерий закрытия: падение recall относительно нашего текущего контура на Hailo-8L больше чем на 10 процентных пунктов либо невозможность уложиться в один ватт по измеренной мощности. Что нужно: подтвержденная H1 и доступ к нейроморфному чипу с рабочим маршрутом сборки модели.

H3 · канал

Передача по схеме предиктивного кодирования — событие плюс подтверждающий кадр вместо потока — сокращает исходящий трафик узла не менее чем на порядок без потери полноты журнала событий. Критерий закрытия: сокращение меньше чем в 10 раз либо пропуск событий на контрольной записи. Что нужно: только то, что уже есть, — обычная камера и наш edge-узел.

H4 · дообучение на узле

Локальное дообучение головы детектора прямо на объекте по кадрам, отобранным по величине ошибки предсказания, поднимает recall на дрейфующем домене. Критерий закрытия: падение метрик на неизменяемом якорном наборе более чем на 1 процентный пункт либо отсутствие прироста на свежих данных объекта. Что нужно: объект под пилот и накопленный за сезон архив.

Что заказчик может забрать из этого направления прямо сейчас: понимание, за какие обещания в области нейроморфных вычислений не стоит платить, и разбор двух приемов, которые работают на обычном железе уже сегодня — предиктивная передача вместо потока и фовеальный кроп под малые цели. Готовые веса и метрики лежат в соседнем направлении, на странице детектора БПЛА, и они измерены.

Хорошая исследовательская программа отличается от плохой не тем, что чаще оказывается права, а тем, что заранее известно, каким результатом она будет опровергнута.

рабочее правило лаборатории, сформулировано при закрытии направления MoranaDocs