Фотопейзаж и компьютер

1.3. Обработка зрительного сигнала в нейронах сетчатки

Сигналы от рецепторов поступают в нейроны, несколько слоев которых располагаются в сетчатке над слоем с рецепторами. То есть, свет, попадающий на рецепторы, сначала проходит сквозь тонкий слой нейронов. Функции этих нейронов и связи между ними очень интересны, но из нескольких десятков типов нейронов сетчатки я упомяну только один, а именно, ганглиозные клетки. Аксоны ганглиозных (или ганглионарных) клеток образуют зрительный нерв и уходят глубоко в мозг (бо́льшая часть – в наружное коленчатое тело (часть таламуса)). По этим аксонам в мозг передается информация о том, что спроецировалось на сетчатку.

В отличие от плавного изменения выходного сигнала рецептора (концентрации нейротрансмиттера), выходной сигнал нейрона представляет собой импульс. Если входной сигнал меньше порогового значения, нейрон молчит. Если входной сигнал превысит порог, нейрон выдает импульс. После импульса нейрон некоторое время не способен генерировать импульсы. Таким образом, аналоговая информация, содержащаяся во входном сигнале нейрона, кодируется в частоту выходных импульсов.

Один рецептор сетчатки через промежуточные нейроны может быть связан с десятками ганглиозных клеток. А каждая ганглиозная клетка получает сигналы только от одной колбочки, если та находится в фовеа, или же от нескольких тысяч рецепторов, находящихся на периферии. Это снова приводит к тому, что в фовеа разрешение выше, чем на периферии, но чувствительность к свету в фовеа меньше.

Информация от приблизительно 130 миллионов фоторецепторов преобразуется в серии нервных импульсов, передающихся в мозг по зрительному нерву, состоящему из примерно 1 миллиона волокон (аксонов ганглиозных клеток сетчатки). То есть, информация, содержащаяся в (амплитудно-модулированной) степени освещенности фоторецепторов, сжимается приблизительно в 130 раз и преобразуется в частотно-модулированный сигнал, поступающий в мозг. Передаваемая информация может заключаться не только в частоте импульсов, но и в величине задержки между появлением стимула и первым импульсом, и в величине фазового сдвига между первым импульсом и фоновыми осцилляциями головного мозга.

Участок сетчатки, с которого ганглиозная клетка сетчатки собирает информацию, называется ее рецептивным полем. Это примерно 1 мм². Ученые, обнаружившие рецептивные поля, получили Нобелевскую премию по физиологии/медицине в 1981 году (David H. Hubel, Torsten N. Wiesel).

Ганглиозные клетки бывают разных типов. Пространственно оппонентные ганглиозные клетки ведут себя так. Если рецептивное поле равномерно освещено, то такая ганглиозная клетка не возбуждается. А вот если яркость в центре рецептивного поля и на его периферии различается более чем на 2 % (приблизительно), то клетка выдает серию импульсов.

Аналогично, спектрально оппонентная «красно-зеленая» ганглиозная клетка возбуждается только тогда, когда на ее рецептивном поле сигналы от красных в центре и зеленых на периферии колбочек различаются.

Таким образом, в мозг уходит не «попиксельная» информация об изображении на сетчатке, а данные о наличии яркостных и цветовых границ и, возможно, что-то еще.

Нейрон, возбудившийся в результате соответствующего стимула в его рецептивном поле, не только передает сигнал в мозг, но и увеличивает пороги возбуждения соседних нейронов. Это приводит к подчеркиванию границ и усилению контраста (знакомые слова для фотографов!).

В отличие от других нейронов сетчатки, светочувствительные ганглиозные клетки реагируют на свет непосредственно, без помощи палочек и колбочек. И не на границы, а на среднюю освещенность. Полагают, что сигналы от этих клеток используются мозгом для управления сужением зрачка и в качестве сигналов, помогающих понять, день или ночь сейчас.

При рассмотрении природной сцены при каждом саккадическом прыжке может происходить значительное изменение яркости и контраста. Адаптация к яркости осуществляется главным образом в сетчатке. При этом изменения в яркости, происходящие во время перехода от одного участка сцены к другому, эффективно устраняются. Адаптация к контрасту начинается в сетчатке и продолжается в зрительной коре. Чувствительность к контрасту максимальна для низко контрастных областей и минимальна для высоко контрастных.

1.4. Обработка зрительного сигнала в наружных коленчатых телах

Преобразованное описанным выше способом изображение поступает в мозг, причем большинство (70 %) волокон зрительного нерва заканчивается в наружном коленчатом теле, которое служит первичным зрительным центром. В каждом полушарии мозга находится свое НКТ (по 1.8 миллионов нейронов). НКТ имеет слоистую структуру, состоящую из 6 слоев. Нервные импульсы от одного глаза поступают в четные слои НКТ, а от другого глаза – в нечетные. При этом проекции одной (любой) точки зрительного поля находятся в слоях НКТ строго одна под другой. А соседние точки зрительного поля проецируются на соседние точки НКТ в каждом слое. Таким образом, изображение на сетчатке проецируется на слои нейронов НКТ. При этом область фовеа занимает непропорционально большую площадь.

В свою очередь, НКТ соединяется с первичной зрительной корой головного мозга нервными волокнами, которые образуют зрительную лучистость.

Раньше считали, что НКТ служит всего лишь передаточным звеном между нейронами сетчатки и зрительной корой. Однако обнаружилось, что НКТ получает информацию не только от сетчатки, но и от слоя VI зрительной коры (25–30 %) и от мозгового ствола (brainstem), который, в частности, управляет вниманием и движением глаз. Особенно интересно наличие обратной связи: результат обработки изображения несколькими слоями зрительной коры снова передается на участок первичной обработки картинки, которым является НКТ (не считая нейронов сетчатки).

Таким образом, функционирование НКТ управляется высшими отделами мозга с помощью нервных волокон, идущих во все слои НКТ из коры головного мозга, что явно было бы не нужно для простой ретрансляции сигнала. И действительно, обнаружилось, что если рецептивные поля нейронов сетчатки постоянны, то рецептивные поля нейронов НКТ изменяются в соответствии с данными, поступающими в НКТ из зрительной коры головного мозга.

Если сравнить нейроны сетчатки и нейроны НКТ, то получим следующее. Сетчатка дает множественные картинки окружающего мира, полученные эффективно и с хорошей чувствительностью. НКТ использует контекст (уже обнаруженные свойства изображения в целом) для повышения информативности данных, передаваемых в зрительную кору. Активность обратной связи возрастает, например, когда текстура изображения вне рецептивного поля отличается от структуры внутри.

Нейроны НКТ значительно различаются между собой по времени задержки реакции на входной сигнал. Гораздо сильнее, чем нейроны сетчатки. Благодаря этому осуществляется обнаружение изменений картинки во времени. Нейрон сетчатки осуществляет выделение пространственных границ в кусочке изображения, попавшего в его рецептивное поле, а нейрон НКТ обнаруживает изменение картинки в своем рецептивном поле, происходящее с течением времени. Таким образом, в зрительную кору поступает информация о пространственно-временной структуре изображения на сетчатке. Это позволяет не передавать в мозг малосущественную часть данных.

Активность нейронов НКТ возрастает с повышением внимания и возбуждением, чего не наблюдается в сетчатке. НКТ помогает зрительной системе направлять внимание на наиболее важный объект (например, по информации от слуховой системы). И наоборот, активность НКТ меняется при переносе внимания от одной части сцены к другой.

Исходя из структуры НКТ, можно предположить, что именно здесь начинают анализироваться различия в изображениях, полученных правым и левым глазами, то есть, связанные с бинокулярностью зрения. Информация об этих различиях используется для следующего:

• управления сведением глаз при рассматривании близко расположенного предмета,

• определения расстояния до предмета,

• управления фокусированием глаз по «вычисленному» расстоянию до предмета,

Функции НКТ, связанные с управлением движением глаз:

• подавление передачи зрительной информации во время саккад,

• различение движения среды от самодвижения,

• переход от системы координат, связанной с сетчаткой, к системе координат, связанной с головой.

Подавление сигнала от сетчатки начинается примерно за 100 мс до начала саккады. То, что подавление начинается до начала саккады, говорит о том, что этим процессом не могут управлять ни сетчатка, ни сигналы от мышц глаза.

Во время микросаккад происходит повышение активности НКТ, что может говорить о том, что в это время осуществляется уточнение и обогащение информации, повышение резкости границ.

Кроме того, полагают, что НКТ осуществляют что-то, похожее на разложение изображения по пространственным частотам. Происходит это с помощью управления размерами рецептивных полей нейронов НКТ. Сразу же после саккадического прыжка НКТ передает в первичную зрительную кору изображение, полученное с помощью больших рецептивных полей (низкие пространственные частоты, грубая картинка). Затем рецептивные поля постепенно уменьшаются и в мозг передаются изображения, состоящие из более высоких пространственных частот (детали). И так до тех пор, пока рецептивные поля не уменьшатся до минимума. После этого передача информации от НКТ в зрительную кору прекращается до следующего саккадического прыжка.

Несмотря на массу данных о строении НКТ на уровне нейронов, остается много непонятного, например, почему объем и структура НКТ мало изменились с течением эволюции, по сравнению со зрительной корой? Почему мало изменились слои нейронов сетчатки – предположить можно. Потому что они находятся перед рецепторами, и если бы их стало больше, зрение ухудшилось бы.

1.5. Обработка сигнала в зрительной коре

Зрительная кора, занимающая затылочную часть головного мозга, имеет толщину около 2 мм и состоит из 140 миллионов нейронов в каждом полушарии. Зрительная кора разделяется на первичную (V1, стриарную, то есть, полосатую, так как под микроскопом видны полоски, идущие параллельно поверхности) и экстрастриарную зрительную кору. Последняя состоит из более чем 20 зон, обозначаемых V2. V3, V4, V5, IT (inferior temporal cortex), MT (middle-temporal cortex), MST (medial superior temporal cortex), PIT, AIT и других. Первая зона экстрастриарной коры называется вторичной зрительной корой (V2). Общая поверхность первичной коры у человека – 30000 мм².

Типов нейронов зрительной коры насчитывается несколько сотен. Зоны V1 и V2 содержат около 70 % всех нейронов зрительной коры. Все зрительные зоны, как и другие зоны коры головного мозга в целом, содержат по шесть слоев нейронов, а основной вход в зону происходит в нейроны четвертого слоя.

Количество связей между первичной зрительной корой и последующими слоями в 25 раз больше количества волокон зрительной лучистости. Таким образом, нейроны следующего слоя могут формировать свои рецептивные поля из комбинаций рецептивных полей нейронов предыдущего слоя.

Также как и в НКТ, соседние участки поля зрения «проецируются» на соседние же участки первичной зрительной коры, причем сигналы от небольшого участка поля зрения поступают в небольшой участок зрительной коры. Центральная ямка сетчатки глаза проецируется на пространство коры в сотни раз большее, чем периферия сетчатки. Кроме того, сигналы от соседних участков сетчатки обрабатываются мозгом более или менее независимо (по крайней мере, на начальных стадиях обработки).

Если ганглиозные клетки сетчатки реагировали на наличие границы, то нейроны в слоях зрительной коры реагируют на более сложные виды картинок в своих рецептивных полях. Чем дальше расположен нейрон от сетчатки по пути, по которому идет визуальная информация, тем выше его избирательность. Так в зоне V1 существуют нейроны, реагирующие только на границу, идущую в определенном направлении, и не реагирующие на границы, идущие в других направлениях. То же самое для движения в определенном направлении. Также найдены клетки коры, возбуждающиеся только при поступлении информации о конце границы (линии).

По мере перехода к более глубоким слоям нейронов вид картинок, на которые нейроны реагируют, усложняется, а избирательность увеличивается. Есть нейроны, реагирующие только на определенные пространственные частоты. В более глубоких слоях зрительной коры существуют нейроны, возбуждающиеся только тогда, когда в их рецептивных полях находится изображение лица (может быть даже только определенного лица).

Зрительная кора, как и другие регионы коры головного мозга, состоит из миллионов вертикальных колонок нервных клеток по нескольку сотен нейронов в колонке. Диаметр колонок – 30–50 микрон. Между колонок первичной зрительной коры размещаются шарообразные области диаметром около полмиллиметра (цветовые шарики). Если двигаться параллельно поверхности V1, то будут чередоваться колонки, получающие информацию от левого и от правого глаза. То есть, изображения левого и правого зрительных полей не объединяются, а обрабатываются параллельно. Если двигаться перпендикулярно к поверхности V1, то направление, к которому чувствительны нейроны, будет плавно меняться от горизонтального к вертикальному и обратно.

Первичная зрительная кора служит своеобразной «линзой», с помощью которой остальные зрительные зоны получают визуальную информацию об окружающем мире, и свойства которой (линзы) они могут менять в широких пределах. Если первые зоны зрительной системы человека (НКТ, V1) занимаются выделением локальных деталей изображения, то остальные зоны ответственны за различение форм и узнавание объектов. В зоне V2 анализируются границы и форма поверхностей. В зонах V4 и MT осуществляется анализ признаков глубины и отделение объектов от фона.

Еще раз подчеркну, что деятельность первых зон в значительной степени зависит от результатов обработки картинки высшими зрительными зонами, задачей, которую ставит перед собой человек, и его личным опытом наблюдения подобных изображений.

С другой стороны, благодаря наличию прямых связей первичных зон с высшими (в обход промежуточных зон) информация о локальных деталях может поступать в высшие зоны зрительной коры непосредственно из первых зон.

Рецептивные поля нейронов зон V4 и MT примерно в четыре раза больше рецептивных полей нейронов зоны V1. Рецептивное поле нейрона зоны IT занимает уже бо́льшую часть всего поля зрения.

Обработка изображения происходит параллельно по трем взаимодействующим каналам.

• Первый канал (канал «Что») состоит из нейронов-детекторов деталей изображения. Эти нейроны хорошо различают мелкие детали, но имеют низкую чувствительность к контрасту и к изменениям во времени. По мере перехода от слоя к слою избирательность нейронов увеличивается. Нейроны зоны IT реагируют на очень сложные элементы картинки, например, на изображения лица, независимо от их размера и положения на сетчатке.

• Второй канал (канал «Где») состоит из нейронов-детекторов контраста и движения. Эти нейроны имеют высокую чувствительность к контрасту и к изменениям во времени, но низкое пространственное разрешение. Одни нейроны MST реагируют на небольшие движущиеся объекты, а другие – на движение краев больших объектов. С помощью этого канала быстро обнаруживаются новые или изменившиеся объекты.

• Третий канал состоит из нейронов, имеющих отношение к восприятию цвета.

Интересно, что полученное человеком образование влияет на размеры зон коры головного мозга. Так обнаружено, что у музыкантов, зона, ответственная за чтение партитур, увеличена за счет уменьшения соседних зон.

Каждый нейрон может иметь до 15000 соединений с соседними нейронами. Те соединения, которые оканчиваются на дендритном дереве, возбуждают нейрон, а те, которые соединяются с телом нейрона – тормозят. Каждую секунду нейрон может получать тысячи возбуждающих и тормозящих импульсов от своих соседей. Как это все работает – уму непостижимо!

А как все это выросло из одной клетки! Конечно, в ДНК закодирована не схема соединения нейронов, а правила ее построения. Типа «аксон нейрона ищет ближайший нейрон, использующий такой же нейромедиатор, и соединяется с ним; если не находит, то нейрон этого аксона отмирает».

Когда-нибудь докопаются и до детальных исходных текстов этой программы.

1.6. Кодирование сенсорного сигнала в коре головного мозга

Придумана красивая математическая модель, которая удивительным образом объясняет, для чего могло бы понадобиться создать такую систему рецептивных полей нейронов коры головного мозга и как это могло быть сделано. Идею можно объяснить следующим образом.

Пусть мы имеем много фотоснимков разных пейзажей. Поставим такую задачу: найти такой набор кусочков изображений, из которых можно было бы составить (как пазл) любую из этих фотографий. Пусть таких кусочков будет много, лишь бы каждый снимок состоял из небольшого их числа. Эта задача имеет тривиальное решение: разрезаем каждый снимок на кусочки и все вместе они и дадут искомый набор.

Потребуем теперь, чтобы количество кусочков было гораздо меньше, чем получились в этом наборе. Это можно было бы сделать, например, рассортировав этот набор на группы похожих кусочков, и каждую группу заменить на один «усредненный» кусочек.

Оказывается, что такая задача может быть решена не разрезанием изображений на части и сортировкой кусочков, а математически строго. То есть, для заданного множества изображений можно построить набор наилучших картинок, из которых может быть составлено каждое изображение из этого множества. «Наилучших» в том смысле, что составленное из этих картинок изображение будет отличаться от исходного минимальным образом. И при важном условии, что каждое изображение составляется из небольшого количества картинок.

Основная цель решения этой задачи не в том, чтобы получить составные изображения, близкие к исходным, а в том, чтобы найти элементарные компоненты изображений данного класса, позволяющие экономным образом закодировать их структуру.

Когда такой алгоритм (sparse coding, разреженное кодирование) обработал около полумиллиона кусочков изображений пейзажей и других сцен окружающего нас мира, то полученные элементарные картинки оказались невероятно похожи на картинки, на которые настроены рецептивные поля некоторых из нейронов первичных зрительных зон головного мозга!

Если составление изображений из кусочков сравнить с составлением слов из букв, то получается, что полученный алфавит (набор элементарных картинок) содержит много букв, но каждое изображение представляет собой короткое слово. В этом и состоит «разреженность». Получается что-то вроде китайской азбуки, но вид иероглифов не придуман людьми, а вычислен оптимальным образом для заданного набора понятий, которые должны быть описаны этим языком.

Если это все действительно так, то вырисовывается следующая схема.

1. Каждый «пиксель» изображения на сетчатке представлен в высших разделах зрительной коры головного мозга в виде возбуждения только тех нейронов, для которых картинка в окрестности этого пикселя «совпала» с той, на которую настроены их рецептивные поля. Нейронов, в рецептивных полях которых находится окрестность данного пикселя – много, может быть, сотни тысяч и больше, но для конкретного изображения (одного из тех, которые могут встретиться в природе), всегда сработает только небольшое их количество, возможно, единицы или десятки (в этом и проявляется разреженность!).

2. Картинки в рецептивных полях, на которые реагируют нейроны зрительной коры, формируются в процессе самообучения в раннем возрасте, а может быть, и в течение всей жизни. Когда младенец с удивлением рассматривает яркую игрушку, может быть, в это время это и происходит. Получающиеся картинки различаются рисунком, ориентацией и полосой пространственных частот этого рисунка.

Если верно, что наружное коленчатое тело преобразует изображение на сетчатке в последовательность изображений с разными интервалами пространственных частот, то тем самым дается шанс нейронам, настроенным на разные частоты, «опознать» свой рисунок.

Полагают, что разреженное кодирование является общим принципом кодирования сенсорной информации в нервной системе и используется, в частности, для кодирования природных звуков или запахов.

Благодаря представлению информации, полученной от сенсоров, в виде разреженного кода:

• выявляется структура сложных входных данных, что упрощает их анализ на последующих уровнях;

• повышается емкость ассоциативной памяти, т. к. повышается различимость сходных состояний;

• экономится энергия (а подсчитано, что в коре головного мозга энергии хватает только для одновременной активации не более чем 2 % всех нейронов коры).

По мере перехода к последующим слоям нейронов их рецептивные поля все усложняются и для моделирования их структуры, если такое окажется возможным, уже нужно будет учитывать степень значимости для организма элементарного изображения (какое типичное поведение оно вызывает: опасность это, или добыча, или что-то другое жизненно важное).

На заключительных стадиях обработки зрительной информации, о которых на клеточном уровне мало что известно, осуществляется следующее:

• отсутствующие, например, из-за наличия на сетчатке слепого пятна, части изображения восстанавливаются, видимо, с помощью интерполяции и сведений, хранящихся в памяти;

• информация, которая была отсечена на этапе структуризации изображения, домысливается (если она требуется), снова с помощью интерполяции и памяти;

• мозг «улучшает» поступившую картинку с помощью ранее полученных знаний об изображенных предметах и, в частности, о законах перспективы;

• конечный результат мысленной реконструкции изображения мозгом помещается в долговременную память человека.