– К сожалению, я не вдавался в подробности. – Честно признался он. – На мне лежало бремя общего руководства проектом. Андроиды стабильно проходили все контрольные тесты, и это казалось достаточным для достижения конкретных целей. Думаю, тебе стоит самому посмотреть информацию, хранящуюся в персональном компьютере Хьюго. Возможно, он делал какие-то пометки относительно перспектив совершенствования системы кибермеханизмов? – Предположил Альберт.
Герберт вскинул на него недоверчивый взгляд:
– Вы хотите, чтобы я продолжил работу вот над этим?!.. – Он красноречиво указал на демонстрационные экраны, где помимо остановленного Уилсбергом кадра продолжали прокручиваться фрагменты видеозаписей ночного боя.
– Да. – Ответил Альберт. – Но теперь все становиться много сложнее. Провал боевых испытаний не отменяет планов по созданию универсальной человекоподобной машины…
– Подождите генерал!.. – Герберт порывисто встал. В отличие от дисциплинированного, покладистого Поланда, капитан Ричардсон производил прямо противоположное впечатление. – Не сочтите за дерзость, но это граничит с сумасшествием. – Глухо добавил он.
Уилсберг криво усмехнулся.
– Ты, верно, забыл наш разговор в госпитале. Разве я десять лет назад мечтал о создании кибермеханического бойца?
– Нет, генерал не вы. Но и я его не создал! Хотите знать почему?
– Ну? – Насупился Альберт. – Только не надо говорить о технических трудностях, хорошо? Все системы андроидов построены на базе созданных тобой нейрочипов. – Безжалостно констатировал он, и тут же добавил:
– Надеюсь, капитан Даллас убедил тебя, что уровень современной сервомеханики соответствует самым жестким критериям технических заданий, а наличие конвектора вещества снимает все препятствия при проектировании автономных энергосистем…
Герберт молча выслушал его и внезапно спросил:
– Что остается в минусе?
Уилсберг был неприятно удивлен такой формулировкой вопроса. Теперь он видел, как сильно изменился его бывший подчиненный. Бесполезно было давить на него понятиями армейской субординации, – Ричардсону ничего не стоило глубоко наплевать на тот факт, что его вновь заставили надеть военную форму…
– Хорошо, я отвечу сам. – Произнес Герберт. – Вы правы, создать мыслящую машину, даже в отсутствии конвектора вещества, не составляло для меня сверхзадачи. Размер нейрочипа, внутри которого заключено десять тысяч искусственных нейронов, удалось уменьшить до размеров двухсантиметровой пластины. Что мешало мне собрать систему из сотни автономных нейросетей?
– Не знаю…
– Я не смог решить проблему парадигмы… И Хьюго был прекрасно осведомлен об этом. Машинный разум, построенный на основе нейросетей, помимо заложенных в него знаний, должен обладать способностью оценивать окружающий мир. Здесь, на мой взгляд, существует два варианта: либо мы закладываем в машину жесткую систему наших, человеческих моральных ценностей, либо даем возможность пробудившемуся нейросетевому интеллекту самому выработать глобальную парадигму.
– Поланд ничего не докладывал мне об этом.
– Потому что обе попытки окончились провалами, последствия которых к счастью не вышли за пределы лабораторий. В первом случае, «ИИ» настроенный на определенную совокупность моральных норм, попросту «рухнул» под грузом логических ошибок, стоило однажды подключить его к доступу в Интернет. Виртуальная среда, где люди все чаще находят место выражению собственных взглядов, вошла в жесткий конфликт с элементарными нормами поведения, которые мы с Хьюго сформулировали в качестве эквивалента мировоззрения для сложной нейросетевой структуры. Система в буквальном смысле погибла, под гнетом несоответствия ожидаемого и действительного.
– А чем закончился второй эксперимент?
Герберт, до этого взволнованно расхаживавший вдоль подиума, сел, безнадежно взмахнув рукой.
– Вышло еще хуже. Нейросетевой интеллект, которому мы позволили самому собирать информацию, в конечном итоге действительно выработал собственное мировоззрение. Но машина при этом осталась машиной, – у нее нет чувств, а значит ей не найти логического оправдания большинству человеческих поступков. В результате мы получили отрешенного наблюдателя, который оценивал человечество, как некую глобальную ошибку, выпадающую контекста общих законов природы. По мнению «ИИ» мы не венец эволюции, а неоправданно размножившийся вид млекопитающих, чье существование ведет к необратимой гибели биосферы и, как следствие, – исчезновению жизни на Земле как таковой.
Уилсберг понимающе кивнул. Некоторое время он удрученно размышлял над услышанным, а затем недоверчиво переспросил:
– И ты прекратил попытки?
Герберт искоса посмотрел на генерала.
– Нет. – Нехотя признался он. – Я разработал программу, которую назвал «Дарвин».
Уилсберг заинтересованно повернул голову.
– Можешь объяснить, в чем ее суть? – Спросил он.
Ричардсон ответил не сразу. Некоторое время капитан сидел, отрешенно глядя на экраны демонстрационной системы, а затем произнес:
– Это была попытка объединения параллельных структур, с тем, чтобы одни экспертные нейросети могли «учиться» у других, заимствуя недостающую информацию, при возникновении ультрасложных проблем. Сама по себе программа «Дарвин» не руководит непосредственными действиями машины, – она осуществляет связь между отдельными нейрочипами, одновременно инициируя в системе функцию «естественного отбора».
– И что это дает? – Воспользовавшись краткой паузой, спросил Уилсберг.
– Смысл данной функции заключен в том, что заранее известная информация, не подтвержденная поступающими извне данными, в конечном итоге признается ложной, и это позволяет избежать роковых логических сбоев. Кроме того, машина должна иметь резервные нейрочипы, структура которых формируется в процессе саморазвития, и если их работа ведет к стабильному результату, то исходные модули очищаются от неверной информации и переходят в состояние «резервных».
– То есть, внутри системы нейросети конкурируют друг с другом? – Заинтересованно уточнил Альберт.
– Приблизительно так. Выживают и продолжают работать только стабильные участки, машина постоянно достраивает собственную архитектуру, стремясь стать более совершенной.
– И это, по-твоему, не решение проблемы?!..
– Не знаю… – Честно признал Герберт. – Эксперименты с программой «Дарвин» не окончены. Между прочим именно исчезновение Хьюго затормозило ход работ. Я не в состоянии предсказать, как поведет себя подобная машина на поздних стадиях саморазвития, хотя эволюция программных модулей протекает в миллионы раз быстрее, чем аналогичный природный процесс.
– По-твоему такой механизм может стать опасным?
– Любое саморазвитие несет в себе определенную степень риска. Я все чаще и чаще задумываюсь, – зачем мы должны плодить и доводить до какой-то степени совершенства свои подобия, когда несовершенны мы сами?