Как я уже говорил, система алгоритмов способна к самообучению и совершенствованию, постепенно развиваясь до уровня, недоступному человеку; собственно, казус с ботами Facеbook, заговорившими на своем языке, это частный случай того, что происходит в процессе такого развития. Я прочел о том, как так называемые генетические алгоритмы в ходе работы над тестовыми инженерными задачами изобрели преобразователь напряжения, работавший точнее, чем схема, созданная человеком по тем же спецификациям, при этом – что важно! – никто не мог объяснить, как именно их схема работает, и почему она работает лучше. При генетическом эволюционном программировании код программы логически нечитаем; инженеры не могут ни воспроизвести его, ни понять путь, двигаясь по которому, программа получила конечный результат.
В конечном итоге, люди обменивают понимание процесса на его результативный итог.
Философ Джон Сёрль описал такой феномен через метафору «китайской комнаты». Вкратце ее суть такова: в закрытом наглухо помещении сидит человек, в распоряжении которого множество словарей китайского языка и карточек с иероглифами; в двери комнаты есть отверстие, через которое желающие получить перевод на китайский передают свои тексты. Человек в комнате, предположительно, пользуется словарями и карточками, после чего выдает свой перевод. Смысл в том, что пользователь не знает, владеет ли переводчик в комнате китайским языком или пользуется словарями и карточками; более того, ему это и не важно – ведь он получил результат. Но тут возникает еще одна проблема: если пользователь сам не владеет китайским, то почем ему знать, выдали ему перевод, или просто набор похожих на иероглифы замысловатых каракуль? А если это все-таки перевод, то насколько он хорош?
Расчеты и выводы, сделанные алгоритмами, принципиально непроверяемы. Собственно, для того и нужен искусственный интеллект, чтобы обрабатывать недоступные человеку объемы информации, за минуты делать расчеты, на которые у людей ушли бы тысячи лет, и выдавать результаты, которые в силу вышесказанного не могут быть достигнуты людьми. Одержимый контролем старорежимный начальник может взять отчет подчиненного, да и пересчитать выборочно несколько цифр – дело пустяковое, десять минут на калькуляторе. Проверить вручную правильность формул и макросов в электронной таблице на несколько тысяч ячеек сложнее, но в принципе тоже возможно. Проделать подобный номер с выводами, сделанными на основе расчетов миллиардов опосредованно связанных данных, невозможно. Такие выводы принимаются только на веру, подкрепленную прежними положительными результатами. Хорошо, если они касаются рабочих характеристик экспериментального преобразователя напряжения. А если авиационных двигателей? Политических решений? Общественного здоровья?
И вот еще два реальных примера практических технологий дня сегодняшнего. Первое: во всемирно известном исследовательском центре Allen Institute for Artificial Intelligence создали унифицированную модель искусственного интеллекта Ask Delphi, способного отвечать на вопросы, требующие этических оценок. Он понимает – или считается, что понимает – моральные нормы, способен воспринимать описание реальных ситуаций на естественном языке, рассуждать на основе здравого смысла и, что самое главное, выносить этические суждения, учитывая взаимосвязь между конкурирующими ценностями в разных контекстах. Проще говоря, Delphi может обоснованно решить, хороший вы человек или так себе.
И второе: в Китае судей обязали консультироваться с искусственным интеллектом по каждому делу и давать письменное объяснение в том случае, если они решат отклониться от его рекомендаций. Система, управляемая самосовершенствующимися алгоритмами на основе машинного обучения, автоматически проверяет судебные дела и при необходимости изменяет приговоры, которые считает неправильными.
Таким образом, уже сегодня управление ключевыми элементами человеческой цивилизации в значительной степени передано, и будет, без сомнения, передаваться все больше, технологическим системам, принципы работы которых непостижимы для человека, а правильность выводов и рекомендаций возможно проверить только в процессе практической реализации. Более того, такие системы являются драйвером социальной эволюции человечества, а процесс развития самих систем носит экспоненциальный характер и фактически не может быть остановлен. Об этом очень точно сказал Вернор Виндж:
«Даже если бы все правительства мира осознали угрозу и смертельно ее испугались, прогресс в этом направлении продолжался бы. Более того, конкурентное преимущество – экономическое, военное, даже художественное – каждого нового достижения автоматизации настолько наглядно, что принятие законов или установление традиций, запрещающих подобные вещи, попросту гарантирует, что это сделает кто-то другой».
Человечество как будто бы оседлало неуправляемый летательный аппарат и мчится на нем все быстрее в полную неизвестность, восторгаясь дивными пейзажами по пути и пренебрегая экзистенциальной опасностью с легкомыслием подростков, зацепившихся за крышу скоростного экспресса. На глобальном уровне люди способны осознавать угрозы со стороны климатических изменений и экологических катастроф, планировать международное сотрудничество по преодолению социального неравенства, голода и нищеты, но при этом продолжают считать технологии искусственного интеллекта чем-то вроде бездонного мешка с рождественскими подарками, а основным вопросом, с ними связанным, лишь то, кто будет эти подарки из мешка доставать и раздавать другим.
Полагаю, что есть две взаимосвязанные причины такой парадоксальной близорукости.
Одна – так называемая «ошибка доступности», известное когнитивное искажение, вызванное основанным на опыте подходом к оценке рисков. Проще говоря, это отрицание опасности по принципу «если такого никогда не было, то и не будет». Человек до последнего не верит в возможность катастрофических событий, с которыми раньше не сталкивался; человечество всерьез рассматривает только те угрозы, которые уже были реализованы раньше: война, эпидемия, экологическая катастрофа, голод. Экзистенциальная опасность, исходящая от информационных технологий, не воспринимается, как реальная, потому что ни с чем подобным люди в своей истории не сталкивались. По той же причине, например, несколько десятилетий назад никто и предвидеть не мог таких заболеваний, как компьютерная зависимость или номофобия – вполне реальное психическое расстройство, которое заключается в страхе остаться без мобильного телефона.
Вторая причина имеет схожие психологические основания. Видишь ли, Нина, есть такие предметы, которые в обществе считаются недостойными обсуждения всерьез, хоть они и являются объектом исследования десятков и сотен ученых, и даже – как в случае с цифровыми технологиями – если люди используют результаты таких исследований в повседневной жизни. Обыватель со значением готов обсуждать коррупцию и политические интриги, но, скажем, над поиском инопланетных цивилизаций или реальностью рисков, связанных с искусственным интеллектом, склонен снисходительно посмеиваться. Мне кажется, это связано с популярностью таких тем в индустрии развлечений: за последние несколько десятилетий истории про инопланетное вторжение или восстание машин так часто забавляли публику, что воспринимать их с серьезностью