Можно ли по-настоящему понять, чего хотят кошки? Почему утверждения ИИ звучат как приказы свыше? Кому и чему мы обязаны, перед кем несем ответственность? В своей книге «Животные, роботы, боги» (Animals, Robots, Gods) антрополог, профессор Мичиганского университета Уэбб Кин предлагает рассматривать такие вопросы как ключ к пониманию нашей этической системы. В отличие от философов и моралистов, исследующих внутренний мир индивидов и общества в целом, Кин рассматривает мораль как результат взаимодействий, отношений и конкретных ситуаций.
Уэбб Кин. «Животные, роботы, боги» / Webb Keane. Animals, Robots, Gods
В интервью, охватывающем целый диапазон вопросов – от критики знаменитой этической дилеммы с вагонеткой до природы ИИ и его влияния на восприятие человеком собственной субъектности, он объясняет, почему мы не можем обсуждать мораль, не учитывая «других» – будь то животные, машины или боги.
Кейтлин Залум (КЗ): Ваша книга «Животные, роботы, боги» предлагает искать суть морали в взаимодействии между людьми и нелюдьми. Вы сталкивались с этим в личной жизни? У вас были домашние животные?
Уэбб Кин (УК): Я рос с кошками. Они всегда казались мне любопытными социальными партнёрами. Как известно, кошки не склонны к безоговорочной преданности. Но при этом между нами всегда происходил интересный обмен сигналами. Вообще, животные вроде кошек, собак или лошадей – отличный способ задуматься о природе социальных отношений, ведь они находятся на границе между человеком и иным.
Принять собственные границы – а кошки вынуждают нас это делать – значит признать реальность другого. Эти вещи взаимосвязаны. Что меня особенно интересует в социальном взаимодействии – это необходимость отражения. Чтобы успешно общаться с другим, я должен уметь смотреть на себя его глазами. Это замкнутый круг. Я не просто стремлюсь понять собеседника – я начинаю видеть себя по-новому.
В своей предыдущей книге, «Этическая жизнь», я писал о том, что моральное развитие возможно лишь при умении смены перспективы, возможности переключаться между первым и вторым лицами. Ребёнок на раннем этапе учится различать «я» и «ты», а значит – осознаёт, как выглядит со стороны. И это универсально: в любом языке дети осваивают это очень рано. Такое переключение перспектив – необходимое условие для формирования морального сознания.
К.З.: Почему вы связываете это с моралью?
У.К.: Потому что именно это даёт нам возможность выйти за пределы собственного «я» и взглянуть на ситуацию с точки зрения другого, особенно с учётом его долгосрочных интересов. Даже когда мы ссоримся, мы вовлечены в совместное действие. Мы как бы сотрудничаем в процессе несогласия.
К.З.: Это напоминает наблюдение Георга Зиммеля: соперники на самом деле тесно связаны друг с другом.
У.К.: Именно. Соперники соглашаются в главном – в том, что важно. Они не просто заняты параллельной игрой. Альтернатива этому – взаимное равнодушие.
К.З.: Но если способность понимать чужую перспективу лежит в основе морали, она может использоваться и для манипуляции. Видите ли вы в этом опасность?
У.К.: Наиболее действенные формы подчинения строятся не на силе, а на умении понять другого. Порочные формы взаимодействия используют те же механизмы, что и добродетельные.
К.З.: Это двойное назначение добра и зла подводит нас к проблеме вагонетки, о которой вы пишете. Расскажите о ней подробнее.
У.К.: Этическая дилемма с вагонеткой была придумана в середине XX века философами как умозрительный эксперимент. Классический вариант: вагонетка несётся по рельсам, и на пути – пятеро человек. Вы можете перевести стрелку, и тогда вагонетка поедет по другому пути, где стоит один человек. Большинство выбрало бы переключение: спасти пятерых ценой одного – вроде бы разумно.
Но есть и другой, более тревожный вариант: вы стоите на мосту рядом с крупным мужчиной. Если толкнуть его, чтобы он упал на рельсы перед вагонеткой, он остановит её, и пятеро выживут. Расчёт тот же: пятеро вместо одного. Но в этом случае люди чаще отказываются действовать. Это сопротивление показывает ограниченность чисто утилитарного подхода.
К.З.: То есть дело в самом физическом действии?
У.К.: В том числе. Толкнуть человека – это гораздо более интимный, телесный акт, чем потянуть за рычаг. Но есть и более глубокий этический момент. В первом случае смерть человека – побочный эффект, а не способ спасения других. Если бы на том пути никого не было, переключение всё равно спасло бы пятерых. А во втором случае человек становится средством достижения цели. А инструментализация личности для многих из нас интуитивно воспринимается как зло.
К.З.: Вы подчёркиваете, что у этой дилеммы – культурные корни. Что делает её такой убедительной?
У.К.: Проблема вагонетки исходит из очень западного, индивидуалистского понимания агентности. Она помещает одного человека в вакуум, вне социальных связей. Антропологи выяснили, что в некоторых культурах люди просто отказываются принимать такие условия задачи. Они хотят знать, кто эти персонажи, каковы их отношения. На Мадагаскаре, например, такую задачей просто не стали бы решать: она игнорирует социальный контекст. Люди отказываются рассматривать всех участников как абстракции.
Это похоже на классическое исследование психолога Кэрол Гиллиган: она выяснила, что мальчики склонны рассматривать этические задачи как логические головоломки, а девочки интересуются отношениями между персонажами. А дилемма с вагонеткой запрещает такой подход. Она возлагает всё на изобретательность одного человека и изолирует мораль от социальной ткани – и это, вполне оправданно, вызывает у многих отторжение.
К.З.: Когда вы впервые начали задумываться о морали?
У.К.: В детстве я учился в квакерской школе в Манхэттене. Нью-йоркские квакеры – радикальные уравнители. Нас учили, что все люди созданы равными. Но с возрастом я начал сомневаться: как все могут быть равны, если мир полон неравенства? Кто-то высок, кто-то низок, кто-то богат, кто-то беден... Я жил недалеко от Бауэри, и бездомные были частью уличного пейзажа. Я рано начал задумываться: почему они – на улице, а не я? Со временем этот вопрос становится социологическим: какие силы и структуры создают это? А затем – моральным: что за общество считает это нормальным?
Позже, изучая религию в антропологии, я осознал ещё один момент. Квакерство, как я его знал, было очень секулярным, но в его основе – христианство. Я забыл одну деталь: дело не в том, что все люди равны, а в том, что все равны «в глазах Бога». Для этого требуется трансцендентная перспектива. Её можно найти не только в религии, но и в светской этике – у Канта, Ролза.
Но, как я считаю, взгляд от третьего лица не может быть всей моралью. Он говорит, что правильно, но не объясняет, почему мне это должно быть важно. Для этого нужно учитывать динамику между первым и вторым лицами – между «я» и «ты». Я пришёл к пониманию этики как постоянного диалога между этими перспективами.
К.З.: Это подводит нас к ИИ и к его странной этической позиции. Почему, по-вашему, ИИ вызывает такое благоговение?
У.К.: Возьмите, к примеру, чат-ботов. У них есть нечто необъяснимое: они дают ответы, как будто ниоткуда. Механизмы, по которым ИИ вроде ChatGPT выдаёт конкретные фразы, зачастую непонятны даже разработчикам. ИИ обладает «знанием» в сверхчеловеческом масштабе и при этом лишён тела. Эти свойства наводят на мысль о сверхъестественном. Что поразительно – даже рационалисты среди технолидеров используют религиозный язык. Илон Маск называл ИИ «божественным», другие – говорили, что у него «есть душа». Концепция Рэя Курцвейла о «Сингулярности» предсказывает внезапный апокалипсис, кардинальный разрыв с реальностью. Это чисто религиозный миф – чуть изменить, и получится книга Откровения. Когда начнёшь всматриваться, подобные аналогии обнаруживаются повсюду.
К.З.: Получается, ИИ одновременно заставляет людей чувствовать себя богами – и сам начинает восприниматься как бог.
У.К.: В эссе, которое я написал вместе с философом права и специалистом по информатике Скоттом Дж. Шапиро, мы предложили термин «бого-боты» (godbots). Так мы назвали чат-ботов, которые напрямую воспроизводят религиозные инстинкты. Есть боты, отвечающие на богословские вопросы – по индуизму, исламу, христианству, сикхизму, буддизму. Почему ИИ побуждает нас к таким мыслям? Потому что он кажется загадочным, сверхчеловеческим, он обезличен и словно смотрит с высоты божественного взгляда. Структура общения с ИИ во многом напоминает семиотику общения с богами. Потому пользователи склонны приписывать ему огромный авторитет.
Неудивительно, что кто-то воспринимает чат-ботов как оракулов, способных знать человека лучше, чем он сам. Один из ботов даже был назван в честь Дельфийского оракула – жрицы храма Аполлона, впадавшей в транс. Люди спрашивали её о самых трудных вопросах – и ответы считались голосом божества. Этот бот сознательно играет на границе между ИИ и религией. Это ещё одно проявление того, насколько велик соблазн мыслить о ИИ в религиозных категориях.
К.З.: Инструмент и моральный агент – оказывается, граница между ними тоньше, чем кажется.
У.К.: Вспомним, с чего мы начали – с кошек и собак. Инструменты – это продолжение человеческих способностей. Донна Хэравей говорила, что человек – это киборг, и любой инструмент приближает нас к этому образу. Я рассказываю в книге историю пастора, который сказал Siri: «Включи свет». И тут его осенило: он только что повторил первую заповедь Бога – «Да будет свет». И свет появился. Он как бы слился с инструментом. Но при этом всё ещё оставался тем, кто отдаёт приказы.
Но что, если инструмент становится настолько развитым, что обретает свойства, связанные с человеческой субъектностью – например, способность говорить? Тогда возникает опасение, что он станет автономным.
К.З.: Автономным и подавляющим.
У.К.: Пока до этого далеко. Но важен промежуточный этап. Антропологи называют это фетишизмом – когда человек создаёт предмет и приписывает ему силу, которую сам же в него вложил. Опасность здесь не в ошибке, а в утрате самопонимания. Мы наделяем созданное нами авторитетом, забывая, что оно – наше творение. Мне кажется, сейчас мы на этом этапе в отношении ИИ. Он ещё не полностью автономен, но мы уже теряем ощущение, что это мы его создали – и как носители знаний, на которых он обучался, и как корпорации, которые на нём зарабатывают.
К.З.: Почему для вас это вопрос морали?
У.К.: Некоторые философы обсуждают, должен ли ИИ обладать моральным статусом. Наступит ли момент, когда мы станем считать, что перед ним у нас есть обязательства? А если да, то какие критерии? Должен ли он быть способным чувствовать боль и удовольствие? Если да – к нему применим утилитарный расчёт.
Но меня больше интересует, как ИИ размывает границу между человеком и нелюдем, и тем самым ставит вопрос не столько о нём, сколько о нас. Именно поэтому я подчеркиваю сходство между реакциями на ИИ и многовековыми способами обращения к оракулам и божественному.
Но есть и вторая сторона: как мы решаем, кто или что считается «достаточно похожим на человека», чтобы быть этически значимым. Этот вопрос давно стоит в истории человечества. Рабовладельцы в своё время исключали рабов из круга морального рассмотрения. Сегодня такие споры касаются, например, прав животных. А новые технологии вновь ставят перед нами старые вопросы – просто в новых формах. Несомненно, в ИИ есть много радикально нового. Но чтобы понять, что в нём ново – надо помнить, с чем мы уже сталкивались прежде.
Кейтлин Залум
антрополог, профессор кафедры
социального и культурного анализа
Нью-Йоркского университета
Источник – Public Books
Перевод с английского – АТМА
Иллюстрация © АТМА
