Антошина И.В., Котов Ю.Т. Микропроцессоры и микропроцессорные системы (аналитический обзор)

Подождите немного. Документ загружается.

241

и нелинейными характеристиками. Поэтому в системах обра-

ботки оптической информации устройства на основе ниобата ли-

тия встречаются чаще всего.

В области создания элементов памяти для оптических сис-

тем тоже достигнуты значительные успехи, более того, в области

оптической памяти в последние годы получены особенно интерес-

ные результаты. Активизация этих работ была стимулирована

раз-

витием носителей информации, а именно лазерных компакт-

дисков и систем магнитооптической записи. Поскольку CD и маг-

нитооптические диски уже стали коммерческими продуктами, то

крупные фирмы имеют возможность наряду с финансированием

чисто прикладных задач поддерживать и другие исследования в

области оптической памяти.

Магнитооптическая память уже сейчас является вполне

доступным продуктом. При

этом стандартная плотность записи

коммерческого диска составляет около 1 бит на 3 мкм2 (что соот-

ветствует 128 Мбайт для 3,5-дюймового диска).

Исследования в этой области продвинулись сейчас очень

далеко. В Information Storage Technology Group of MESA+ Institute

(университет Твенте, г. Энсхеде, Нидерланды) успешно проведена

работа по детектированию бита информации в области 5 Ангст-

рем. Счет идет просто на отдельные атомы. Полученные

результа-

ты действительно впечатляют: если эти разработки дойдут до про-

мышленного производства, то 3,5-дюймовые диски емкостью в де-

сятки гигабайт станут вполне доступны.

Есть еще одно направление оптической памяти - гологра-

фическая память. И здесь надо снова вспомнить о LiNbO

. Мы уже

говорили о нем, когда речь шла о системах оптической обработки

информации. Разумеется, оставить такой выдающийся кристалл

без внимания было нельзя. В последние годы на нем научились

получать лазерную генерацию (легировав кристалл эрбием), а сей-

час создают целые системы голографической памяти. Число голо-

грамм на одном кристалле достигло десяти тысяч

, и это не предел.

В оптических системах проблема интеграции является наи-

более важной и в конечном итоге решающей. Когда все компонен-

ты разработаны и испытаны, возникает очередная проблема - со-

брать все воедино. Для оптического компьютера эта проблема зна-

242

чительно сложнее, чем для обычного. Электрические связи реа-

лизовать гораздо проще. Можно, конечно, все элементы объеди-

нить с помощью оптического волокна (и такие технологии тоже

развиваются), но в таких системах существуют довольно значи-

тельные потери информации. Поэтому не прекращаются попытки

сделать все на одной "платформе".

Конечно, первое, на что ориентируются разработчики

, так

это кремний. Технология изготовления, обработки и производства

разработаны до последних мелочей, существуют огромные произ-

водственные мощности. Нужна лишь база для производства. По-

этому любые новые оптические разработки на основе кремния

принимаются обычно на ура. Но у кремния есть один хронический

недостаток: он плохо совместим с активными оптическими эле-

ментами.

Оптические усилители и переключатели очень плохо

уживаются с кремниевой технологией.

Следующее направление - создание базы на основе альтер-

нативных полупроводниковых структур. Здесь есть свои очень

важные плюсы: можно формировать структуры с совершенно раз-

ными свойствами, встраивать их в оптические интегральные схе-

мы (ОИС), нет проблем с источником света, поскольку ОИС сами

могут

генерировать лазерное излучение. Более того, не так давно

произошел прорыв в области полупроводниковых лазеров, и они

сейчас безусловные лидеры продаж. Казалось бы, вот готовая

платформа для оптических компьютеров. Но есть две проблемы.

Первая - технологическая. Она связана со сложностью пе-

реориентации разработчиков систем на кремниевой основе на со-

вершенно новое направление.

Вторая - экономическая. Главной

причиной убедительной победы кремниевой технологии была де-

шевизна. Кремния на земном шаре много и он достаточно дешев

для использования в массовом производстве. Для новых структур

требуются материалы гораздо более редкие и, как следствие, более

дорогие, например галлий. Да и технология гораздо дороже.

Возникает законный вопрос: так будет ли

в ближайшем бу-

дущем оптический компьютер, или нет. У оптических компьюте-

ров есть свой "троянский конь", и имя ему - Internet. То, что в

ближайшие годы именно Internet будет определять положение на

компьютерном рынке, сейчас понимают почти все. При передаче

243

информации главной проблемой является трафик. Число поль-

зователей растет, объем информации тоже. И здесь оптика уже

полностью и окончательно одержала верх над "классической"

электроникой. И сейчас не только вся информация перегоняется

по оптическому кабелю, но и системы сопровождения тоже стали

оптическими: электроника просто не тянет таких скоростей пере-

дачи и обработки

информации. Пропускная же способность опти-

ческих систем растет, и возможности роста колоссальны.

Один из основных способов увеличения пропускной способ-

ности - системы спектрального уплотнения. И не зря было упомя-

нуто, что на структурах из ниобата лития делают не только пере-

ключатели, лазерные усилители и голограммы. На них создают

системы спектрального уплотнения.

Почему бы не предположить,

что вслед за чисто оптическими системами передачи Internet-

информации могут прийти и чисто оптические системы обработки

информации.

8.6.10. Нейронная архитектура

Нейрокомпьютер - это вычислительная система с архитек-

турой MSIMD, в которой реализованы два принципиальных тех-

нических решения: упрощен до уровня нейрона процессорный

элемент однородной структуры и резко усложнены связи

между

элементами; программирование вычислительной структуры пере-

несено на изменение весовых связей между процессорными эле-

ментами.

Общее определение нейрокомпьютера может быть пред-

ставлено в следующем виде. Нейрокомпьютер - это вычислитель-

ная система с архитектурой аппаратного и программного обеспе-

чения, адекватной выполнению алгоритмов, представленных в

нейросетевом логическом базисе

Каждый нейрон получает сигналы от соседних

нейронов по

специальным нервным волокнам. Эти сигналы могут быть возбу-

ждающими или тормозящими. Их сумма составляет электрический

потенциал внутри тела нейрона. Когда потенциал превышает не-

который порог, нейрон переходит в возбужденное состояние и по-

сылает сигнал по выходному нервному волокну. Отдельные искус-

244

ственные нейроны соединяются друг с другом различными ме-

тодами. Это позволяет создавать разнообразные нейронные сети с

различной архитектурой, правилами обучения и возможностями.

Термин “искусственные нейронные сети” у многих ассо-

циируется с фантазиями об андроидах и бунте роботов, о маши-

нах, заменяющих и имитирующих человека. Это впечатление уси-

ливают многие разработчики нейросистем

, рассуждая о том, как в

недалеком будущем, роботы начнут осваивать различные виды

деятельности, просто наблюдая за человеком. Если переключиться

на уровень повседневной работы, то нейронные сети это всего-

навсего сети, состоящие из связанных между собой простых эле-

ментов формальных нейронов. Большая часть работ по нейроин-

форматике посвящена переносу различных алгоритмов

решения

задач на такие сети.

В основу концепции положена идея о том, что нейроны

можно моделировать довольно простыми автоматами, а вся слож-

ность мозга, гибкость его функционирования и другие важнейшие

качества определяются связями между нейронами. Каждая связь

представляется как совсем простой элемент, служащий для пере-

дачи сигнала. Коротко эту мысль можно

выразить так: “структура

связей все, свойства элементов ничто”.

Совокупность идей и научно-техническое направление, оп-

ределяемое описанным представлением о мозге, называется кон-

некционизмом (connection связь). С реальным мозгом все это со-

относится примерно так же, как карикатура или шарж со своим

прототипом. Важно не буквальное соответствие оригиналу, а про-

дуктивность технической идеи.

С коннекционизмом тесно связан следующий блок идей:

• однородность системы (элементы одинаковы и чрезвы-

чайно просты, все определяется структурой связей);

• надежные системы из ненадежных элементов и “аналого-

вый ренессанс” использование простых аналоговых элементов;

• “голографические” системы при разрушении случайно

выбранной части система сохраняет свои свойства.

Предполагается, что широкие возможности систем связей

компенсируют бедность выбора элементов, их ненадежность и

возможные разрушения части связей.

245

Для описания алгоритмов и устройств в нейроинформа-

тике выработана специальная “схемотехника”, в которой элемен-

тарные устройства (сумматоры, синапсы, нейроны и т.п.) объеди-

няются в сети, предназначенные для решения задач. Для многих

начинающих кажется неожиданным, что ни в аппаратной реализа-

ции нейронных сетей, ни в профессиональном программном обес-

печении эти элементы

вовсе не обязательно реализуются как от-

дельные части или блоки. Используемая в нейроинформатике иде-

альная схемотехника представляет собой особый язык описания

нейронных сетей и их обучения. При программной и аппаратной

реализации выполненные на этом языке описания переводятся на

более подходящие языки другого уровня.

Рис. 66

Нейрон (нервная клетка) является особой биологической

клеткой, которая обрабатывает информацию (рис. 66). Она состоит

из тела клетки (cell body), или сомы (soma), и двух типов внешних

древоподобных ветвей: аксона (axon) и дендритов (dendrites). Тело

клетки включает ядро (nucleus), которое содержит информацию о

наследственных свойствах, и плазму, обладающую молекулярны-

ми средствами для производства необходимых нейрону материа-

лов. Нейрон получает сигналы (импульсы) от других нейронов че-

рез дендриты (приемники) и передает сигналы, сгенерированные

телом клетки, вдоль аксона (передатчик), который в конце раз-

ветвляется на волокна (strands). На окончаниях этих волокон нахо-

дятся синапсы (synapses).

246

Синапс является элементарной структурой и функцио-

нальным узлом между двумя нейронами (волокно аксона одного

нейрона и дендрит другого). Когда импульс достигает синаптиче-

ского окончания, высвобождаются определенные химические ве-

щества, называемые нейротрансмиттерами. Нейротрансмиттеры

диффундируют через синаптическую щель, возбуждая или затор-

маживая, в зависимости от типа синапса, способность нейрона-

приемника генерировать электрические импульсы

. Результатив-

ность синапса может настраиваться проходящими через него сиг-

налами, так что синапсы могут обучаться в зависимости от актив-

ности процессов, в которых они участвуют. Эта зависимость от

предыстории действует как память, которая, возможно, ответст-

венна за память человека.

Кора головного мозга человека является протяженной, об-

разованной нейронами поверхностью толщиной

от 2 до 3 мм с

площадью около 2200 см

, что вдвое превышает площадь поверх-

ности стандартной клавиатуры. Кора головного мозга содержит

около 1011 нейронов, что приблизительно равно числу звезд

Млечного пути. Каждый нейрон связан с 103 - 104 другими нейро-

нами. В целом мозг человека содержит приблизительно от 1014 до

1015 взаимосвязей.

Нейроны взаимодействуют посредством короткой серии

импульсов, как правило, продолжительностью несколько мсек.

Сообщение передается

посредством частотно-импульсной моду-

ляции. Частота может изменяться от нескольких единиц до сотен

герц, что в миллион раз медленнее, чем самые быстродействую-

щие переключательные электронные схемы. Тем не менее, слож-

ные решения по восприятию информации, как, например, распо-

знавание лица, человек принимает за несколько сотен мс. Эти ре-

шения контролируются

сетью нейронов, которые имеют скорость

выполнения операций всего несколько мс. Это означает, что вы-

числения требуют не более 100 последовательных стадий. Други-

ми словами, для таких сложных задач мозг "запускает" параллель-

ные программы, содержащие около 100 шагов. Это известно как

правило ста шагов. Рассуждая аналогичным образом, можно обна-

ружить, что количество информации, посылаемое

от одного ней-

рона другому, должно быть очень маленьким (несколько бит). От-

247

сюда следует, что основная информация не передается непо-

средственно, а захватывается и распределяется в связях между

нейронами.

История создания искусственных нейронов уходит своими

корнями в 1943 год, когда шотландец МакКаллок и англичанин

Питтс создали теорию формальных нейросетей, а через пятнадцать

лет Розенблатт изобрел искусственный нейрон (персептрон), кото-

рый, впоследствии, и лег в

основу нейрокомпьютера.

Искусственный нейрон имитирует в первом приближении

свойства биологического нейрона. На вход искусственного нейро-

на поступает некоторое множество сигналов, каждый из которых

является выходом другого нейрона. Каждый вход умножается на

соответствующий вес, аналогичный синаптической силе, и все

произведения суммируются, определяя уровень активации нейро-

на.

На рис. 67 представлена модель реализующая

эту идею. Хо-

тя сетевые парадигмы весьма разнообразны, в основе почти всех

их лежит эта конфигурация. Здесь множество входных сигналов,

обозначенных x

, x

...x

, поступает на искусственный нейрон.

Эти входные сигналы, в совокупности обозначаемые вектором X,

соответствуют сигналам, приходящим в синапсы биологического

нейрона. Каждый сигнал умножается на соответствующий вес w

, w

...w

, и поступает на суммирующий блок (Σ) (адаптивный

сумматор). Каждый вес соответствует "силе" одной биологической

синаптической связи (множество весов в совокупности обознача-

ется вектором W).

Суммирующий блок, соответствующий телу биологическо-

го элемента, складывает взвешенные входы алгебраически, созда-

вая на выходе сигнал XW. Он преобразуется активационной

функцией F и дает выходной нейронный

сигнал OUT .

Активационная функция может быть обычной линейной

функцией:

OUT=K(XW),

где К - постоянная, пороговой функцией,

OUT=1, если XW>T,

OUT=0 в остальных случаях,

248

Рис. 67.

где T - некоторая постоянная пороговая величина, или же

функцией более точно моделирующей нелинейную передаточную

характеристику биологического нейрона и представляющей ней-

ронной сети большие возможности.

На рис. 68 блок обозначенный F , принимает сигнал XW и

выдает сигнал OUT. Если блок F сужает диапазон изменения ве-

личины XW так, что при

любых значениях XW значения OUT

принадлежат некоторому конечному интервалу, то F называется

сжимающей функцией.

В качестве сжимающей функции часто используется логи-

стическая или сигмоидальная (S- образная) функция, показанная

на рис. 69. Эта функция математически выражается как

F(x)=1/(1+e

-x

) .

Таким образом, OUT=1/(1+e

-XW

Рис. 68

249

По аналогии с электронными системами активационную

функцию можно считать нелинейной усилительной характеристи-

кой искусственного нейрона. Коэффициент усиления вычисляется

как отношение приращения величины OUT к вызвавшему его не-

большому приращению величины XW. Он выражается наклоном

кривой при определенном уровне возбуждения и изменяется от

малых значений при больших отрицательных возбуждениях (кри-

вая почти горизонтальна)

до максимального значения при нулевом

возбуждении и снова уменьшается, когда возбуждение становится

большим положительным.

Рис. 69.

Гроссберг (1973) обнаружил, что подобная нелинейная ха-

рактеристика решает поставленную им дилемму шумового насы-

щения. Слабые сигналы нуждаются в большом сетевом усилении,

чтобы дать пригодный к использованию выходной сигнал. Однако

усилительные каскады с большими коэффициентами усиления мо-

гут привести к насыщению выхода шумами усилителей (случай-

ными флуктуациями), которые присутствуют

в любой физически

реализованной сети. Сильные входные сигналы в свою очередь

также будут приводить к насыщению усилительных каскадов, ис-

ключая возможность полезного использования выхода. Централь-

ная область логистической функции, имеющая большой коэффи-

циент усиления, решает проблему обработки слабых сигналов, в то

время как в области с падающим усилением на положительном и

250

отрицательном концах подходят для больших возбуждений. Та-

ким образом, нейрон функционирует с большим усилением в ши-

роком диапазоне уровня входного сигнала.

Рассмотренная простая модель искусственного нейрона иг-

норирует многие свойства своего биологического двойника. На-

пример, она не принимает во внимание задержки во времени, ко-

торые воздействуют на динамику системы. Входные сигналы

сра-

зу же порождают выходной сигнал. И что более важно, она не

учитывает воздействий функции частотной модуляции или син-

хронизирующей функции биологического нейрона, которые ряд

исследователей считают решающими. Несмотря на эти ограниче-

ния, сети, построенные из этих нейронов, обнаруживают свойства,

сильно напоминающие биологическую систему. Только время и

исследования смогут ответить

на вопрос, являются ли подобные

совпадения случайными или следствием того, что в модели верно

схвачены важнейшие черты биологического нейрона

Каждый нейрон получает сигналы от соседних нейронов по

специальным нервным волокнам. Эти сигналы могут быть возбу-

ждающими или тормозящими. Их сумма составляет электрический

потенциал внутри тела нейрона. Когда потенциал превышает не-

который порог, нейрон переходит в возбужденное состояние и по-

сылает сигнал по выходному нервному волокну. Отдельные искус-

ственные нейроны соединяются друг с другом различными мето-

дами. Это позволяет создавать разнообразные нейронные сети с

различной архитектурой, правилами обучения и возможностями.

Искусственная Нейронная Сеть (ИНС) может рассматри-

ваться как направленный граф со взвешенными

связями, в котором

искусственные нейроны являются узлами. По архитектуре связей

ИНС могут быть сгруппированы в два класса: сети прямого рас-

пространения, в которых графы не имеют петель, и рекуррентные

сети, или сети с обратными связями.

В наиболее распространенном семействе сетей первого

класса, называемых многослойным перцептроном, нейроны рас-

положены слоями и

имеют однонаправленные связи между слоя-

ми. На рисунке представлены типовые сети каждого класса. Сети

прямого распространения являются статическими в том смысле,

что на заданный вход они вырабатывают одну совокупность вы-