Этика - это набор моральных норм, регулирующих поведение людей в любой сфере жизни. В целом этика направлена на определение идеальной работы людей. Если ваша цель - поведение людей, имеет ли смысл для машин следовать этическим принципам?
Мы живем в уникальное время в истории человечества, когда искусственный интеллект затрагивает большой спектр вопросов в нашей жизни. Но что если мы на самом деле не знаем, как именно машины принимают решения? Что это значит для человека?
Надо ли бояться технологической сингулярности? Или, наоборот, уместнее опасаться, что прогресс человечества зайдет в тупик?
О приближении технологической сингулярности вы узнаете, когда в небольшом магазинчике на подмосковной станции вам скажут, что заплатить за газировку можно только смартфоном по системе ApplePay. Причины прозаичны: сдачи нет, а платежный терминал завис. Из этого любопытного опыта можно вынести важный урок: новые технологии меняют жизнь неожиданным и порой забавным образом. Может, не так уж страшна эта сингулярность, как многие опасаются. Заведите привычку во всех прогнозах делать поправку на человеческие слабости, и предсказывать будущее станет проще и веселее.
Тем не менее, оказываясь лицом к лицу с неумолимым прогрессом, хочется разобраться, куда он нас заведет. Еще в середине ХХ века математик Джон фон Нейман впервые употребил слово «сингулярность» в отношении технологического развития человечества. Он имел в виду вот что: если попытаться численно измерить человеческие достижения, нарисовать график и продлить его в будущее, то в какой-то момент, кажется, кривая устремится в бесконечность. С точки зрения трезвого ученого это может означать только одно: угаданная тенденция неверна и где-то на пути к этой самой бесконечности закон развития должен измениться. Об этом, кстати, в применении к росту населения Земли очень доступно рассказывал автору этих строк Сергей Петрович Капица в своей последней беседе в 2012 году.
В начале XXI века Рэймонд Курцвейл придал понятию технологической сингулярности чуть более реалистичный смысл. Конечно, ни в какую бесконечность наш прогресс не убежит: закон его роста экспоненциальный, а это значит, что технологии просто растут все быстрее и быстрее, подстегивая себя сами. Точка, вызывающая болезненный интерес футурологов, — не формальная бесконечность, а тот момент, когда скорость самоподдерживающегося роста технологий превзойдет возможность совокупного человеческого разума этот рост контролировать. А с чего бы технологиям расти самим по себе, без человеческого участия? А это, говорит Курцвейл и его приятели-футурологи, произойдет из-за появления на сцене искусственного интеллекта (ИИ).
Тем не менее, оказываясь лицом к лицу с неумолимым прогрессом, хочется разобраться, куда он нас заведет. Еще в середине ХХ века математик Джон фон Нейман впервые употребил слово «сингулярность» в отношении технологического развития человечества. Он имел в виду вот что: если попытаться численно измерить человеческие достижения, нарисовать график и продлить его в будущее, то в какой-то момент, кажется, кривая устремится в бесконечность. С точки зрения трезвого ученого это может означать только одно: угаданная тенденция неверна и где-то на пути к этой самой бесконечности закон развития должен измениться. Об этом, кстати, в применении к росту населения Земли очень доступно рассказывал автору этих строк Сергей Петрович Капица в своей последней беседе в 2012 году.
В начале XXI века Рэймонд Курцвейл придал понятию технологической сингулярности чуть более реалистичный смысл. Конечно, ни в какую бесконечность наш прогресс не убежит: закон его роста экспоненциальный, а это значит, что технологии просто растут все быстрее и быстрее, подстегивая себя сами. Точка, вызывающая болезненный интерес футурологов, — не формальная бесконечность, а тот момент, когда скорость самоподдерживающегося роста технологий превзойдет возможность совокупного человеческого разума этот рост контролировать. А с чего бы технологиям расти самим по себе, без человеческого участия? А это, говорит Курцвейл и его приятели-футурологи, произойдет из-за появления на сцене искусственного интеллекта (ИИ).
Экспансия чуждого разума
В нелегком деле вытеснения человечества на периферию жизни искусственному интеллекту предстоит пройти несколько этапов. Вот как они описаны в эмоциональной и поэтичной заметке журналиста-футуролога Майкла Кевина Спенсера под заголовком «Мы живем в последний период перед общим искусственным интеллектом».
Сначала возникает «Узкий ИИ»: это то, что есть уже сейчас. Голосовое общение, распознавание образов, машинный перевод — машины учатся делать то, что люди умели делать и без них. Выглядит это не слишком впечатляюще, но технологии под шумок с 2014-го по 2021 год проходят такой же путь развития, как и за весь двадцатый век.
Второй этап — «Общий ИИ». Говорить о нем можно с того момента, когда машинный разум обретает способность обучаться и совершенствовать себя. Приобретя способность учиться, машины обгоняют человека во всех сферах деятельности, включая творческие задачи, эмоциональный интеллект, управление сложной средой и предсказание будущего. И это уже третий этап — «искусственный суперинтеллект». Эта штука может программировать роботов, обеспечивать функционирование экономики без вмешательства человека, управлять «умными городами» и вообще всем человеческим обществом.
Сначала возникает «Узкий ИИ»: это то, что есть уже сейчас. Голосовое общение, распознавание образов, машинный перевод — машины учатся делать то, что люди умели делать и без них. Выглядит это не слишком впечатляюще, но технологии под шумок с 2014-го по 2021 год проходят такой же путь развития, как и за весь двадцатый век.
Второй этап — «Общий ИИ». Говорить о нем можно с того момента, когда машинный разум обретает способность обучаться и совершенствовать себя. Приобретя способность учиться, машины обгоняют человека во всех сферах деятельности, включая творческие задачи, эмоциональный интеллект, управление сложной средой и предсказание будущего. И это уже третий этап — «искусственный суперинтеллект». Эта штука может программировать роботов, обеспечивать функционирование экономики без вмешательства человека, управлять «умными городами» и вообще всем человеческим обществом.
И наконец, четвертый этап: «ИИ с творческой жилкой» (так игриво мы перевели для вас Artificial Intelligence with Creative Agency). Эта штука начинает ставить перед собой задачи, человечеству чуждые и непонятные. Какие именно? В силу их чуждости и непонятности у нас даже нет шансов оценить их размах. Ясно однако, что со стратегическими интересами человечества эти задачи могут совпасть разве что случайно.
Замшелый аргумент, будто бы машины делают только то, что в них заложено людьми, можно отправить в утиль. В 2017 году алгоритм «Альфа Го Зеро» научился играть в го, не используя вообще никаких человеческих наработок: машина просто играла сама с собой, обучаясь исключительно на собственных ошибках*. Куда может завести императив «во что бы то ни стало совершать как можно меньше ошибок во всем», судить невозможно: человечество подобных задач перед собой не ставило, а если и ставило, то в них не преуспело.
Когда ждать катарсиса? Экспоненциальный закон роста компьютерных возможностей позволяет сделать некоторые прикидки. Мощность ИИ сравняется с мощностью человеческого мозга (порядка 10 в шестнадцатой степени операций в секунду) к 2029 году. По прогнозам Рэймонда Курцвейла, к этому моменту ИИ сможет легко пройти пресловутый «тест Тьюринга», то есть общаться с человеком так, что человек не распознает в нем машинный разум. А к 2045 году — опять же по оценкам Курцвейла — его мощность превысит совокупное быстродействие всех человеческих мозгов на планете, то есть 10 в 26-й степени операций в секунду. И тут наши пути разойдутся навсегда.
Замшелый аргумент, будто бы машины делают только то, что в них заложено людьми, можно отправить в утиль. В 2017 году алгоритм «Альфа Го Зеро» научился играть в го, не используя вообще никаких человеческих наработок: машина просто играла сама с собой, обучаясь исключительно на собственных ошибках*. Куда может завести императив «во что бы то ни стало совершать как можно меньше ошибок во всем», судить невозможно: человечество подобных задач перед собой не ставило, а если и ставило, то в них не преуспело.
Когда ждать катарсиса? Экспоненциальный закон роста компьютерных возможностей позволяет сделать некоторые прикидки. Мощность ИИ сравняется с мощностью человеческого мозга (порядка 10 в шестнадцатой степени операций в секунду) к 2029 году. По прогнозам Рэймонда Курцвейла, к этому моменту ИИ сможет легко пройти пресловутый «тест Тьюринга», то есть общаться с человеком так, что человек не распознает в нем машинный разум. А к 2045 году — опять же по оценкам Курцвейла — его мощность превысит совокупное быстродействие всех человеческих мозгов на планете, то есть 10 в 26-й степени операций в секунду. И тут наши пути разойдутся навсегда.
Ближе к реальности
Увидеть своими глазами экспоненциальный рост ничего не стоит: возьмите бактерию, поместите ее в питательную среду, и через 10 минут она поделится, через 20 поделится еще раз, а часа через три уже можно наблюдать, как среда на глазах мутнеет от стремительного бактериального роста. Прогноз футуролога неутешительный: через сутки масса бактерий в вашей колбе превзойдет массу земного шара. К счастью, этого не произойдет, потому что уже часов через десять микробы перестанут делиться, истощив питательные вещества среды. Урок первый: экспоненциальный закон роста — прекрасное приближение естественных процессов, но лишь до тех пор, пока им ничто не мешает. А этот безмятежный период быстро заканчивается.
Еще один опыт человечество уже поставило в собственной истории. Стремительный рост космических технологий когда-то привел от полета Гагарина к высадке на Луну. Радиус сферы нашей космической экспансии за десятилетие увеличился в тысячу раз. Если бы все так и шло, в 1980 году вместо войны в Афганистане и московской Олимпиады люди наслаждались бы прогулкой по Нептуну, а к 2010-му достигли бы центра Галактики. Почему этого не произошло? Закон развития изменился. С чего бы вдруг? Тут, конечно, ограниченность ресурсов тоже сыграла роль, но главное в другом: в силу определенных причин человечество просто перестало ставить перед собой такие задачи. Итак, урок второй: для прогресса нужна мотивация. ИИ развивается, пока это нужно для решения конкретных задач: например, создать новую ИТ-корпорацию и поглотить Google, обогнать Америку, накормить голодных детей Африки — что угодно, но непременно что-то реальное и человеческое. Когда задача исчезает, прекращается и развитие.
И еще кое-что важное для любителей предрекать владычество машин над людьми. Эволюцией живой природы от червяка к человеку двигал императив «произвести потомков и обеспечить их ресурсами». На коротком отрезке пути так совпало, что на практике этот принцип стал означать «быть умнее». Однако само по себе желание стать умным-преумным не содержит в себе никакого потенциала к безграничной экспансии. Неодолимое желание совершать поменьше ошибок, лежащее в основе эволюции современного ИИ, вовсе не обязательно грозит неуправляемым ростом, если такую задачу специально не поставит перед алгоритмом какой-то маньяк. Вспомним, что Алан Тьюринг, первым выдвинувший идею искусственного интеллекта, самовольно прервал свою жизнь, не дожив до сорокадвухлетия и не оставив потомков.
Еще один опыт человечество уже поставило в собственной истории. Стремительный рост космических технологий когда-то привел от полета Гагарина к высадке на Луну. Радиус сферы нашей космической экспансии за десятилетие увеличился в тысячу раз. Если бы все так и шло, в 1980 году вместо войны в Афганистане и московской Олимпиады люди наслаждались бы прогулкой по Нептуну, а к 2010-му достигли бы центра Галактики. Почему этого не произошло? Закон развития изменился. С чего бы вдруг? Тут, конечно, ограниченность ресурсов тоже сыграла роль, но главное в другом: в силу определенных причин человечество просто перестало ставить перед собой такие задачи. Итак, урок второй: для прогресса нужна мотивация. ИИ развивается, пока это нужно для решения конкретных задач: например, создать новую ИТ-корпорацию и поглотить Google, обогнать Америку, накормить голодных детей Африки — что угодно, но непременно что-то реальное и человеческое. Когда задача исчезает, прекращается и развитие.
И еще кое-что важное для любителей предрекать владычество машин над людьми. Эволюцией живой природы от червяка к человеку двигал императив «произвести потомков и обеспечить их ресурсами». На коротком отрезке пути так совпало, что на практике этот принцип стал означать «быть умнее». Однако само по себе желание стать умным-преумным не содержит в себе никакого потенциала к безграничной экспансии. Неодолимое желание совершать поменьше ошибок, лежащее в основе эволюции современного ИИ, вовсе не обязательно грозит неуправляемым ростом, если такую задачу специально не поставит перед алгоритмом какой-то маньяк. Вспомним, что Алан Тьюринг, первым выдвинувший идею искусственного интеллекта, самовольно прервал свою жизнь, не дожив до сорокадвухлетия и не оставив потомков.
Где мы?
В мае 2018 года в Бостоне прошел симпозиум Общества когнитивной нейробиологии, где пообщались между собой люди, изучающие интеллект — как человеческий, так и машинный. Они выразили надежду, что работы нейробиологов помогут создавать все более умные алгоритмы ИИ, а эти алгоритмы, в свою очередь, подтолкнут нейробиологов к новым идеям. Только не надо иронизировать, что все это похоже на попытки вытянуть самого себя за волосы из болота: в науке иногда такое работает. А иногда нет.
Работать это может, к примеру, так, как описано в недавней работе нейробиологов из Университета Джонса Хопкинса. Они разобрались, как работают нейроны в мозжечке, когда человек обучается двигательной задаче: например, пытается попасть мячом в баскетбольное кольцо. Оказалось, что нейроны (называемые «клетками Пуркинье») делают свою работу вовсе не так, как предполагали конструкторы так называемых «нейронных сетей», лежащих в основе ИИ. Коротко говоря, их отношения куда менее тоталитарны, чем предполагали программисты. И вот этот новооткрытый способ коллегиальной работы клеток Пуркинье может быть теперь положен в основу новых самообучающихся алгоритмов.
Но этот подход может и не работать, или работать из рук вон плохо. О том, как это бывает, поведал на конференции в Ванкувере Али Рахими, специалист по ИИ из компании Google, произведя своими заявлениями небольшую сенсацию. Смысл его речей в том, что он и его коллеги вообще не понимают, почему одни алгоритмы ИИ эффективны, а другие нет, и не знают никакого критерия выбора лучшего подхода.
Работать это может, к примеру, так, как описано в недавней работе нейробиологов из Университета Джонса Хопкинса. Они разобрались, как работают нейроны в мозжечке, когда человек обучается двигательной задаче: например, пытается попасть мячом в баскетбольное кольцо. Оказалось, что нейроны (называемые «клетками Пуркинье») делают свою работу вовсе не так, как предполагали конструкторы так называемых «нейронных сетей», лежащих в основе ИИ. Коротко говоря, их отношения куда менее тоталитарны, чем предполагали программисты. И вот этот новооткрытый способ коллегиальной работы клеток Пуркинье может быть теперь положен в основу новых самообучающихся алгоритмов.
Но этот подход может и не работать, или работать из рук вон плохо. О том, как это бывает, поведал на конференции в Ванкувере Али Рахими, специалист по ИИ из компании Google, произведя своими заявлениями небольшую сенсацию. Смысл его речей в том, что он и его коллеги вообще не понимают, почему одни алгоритмы ИИ эффективны, а другие нет, и не знают никакого критерия выбора лучшего подхода.
О том, что один и тот же алгоритм может работать сегодня так, а завтра этак («проблема воспроизводимости»), было известно и раньше. Исследователи также признали свою неспособность объяснить принцип работы каждого конкретного алгоритма. Однако теперь ведущий специалист объявил не конкретный алгоритм, а всю свою науку чистой «алхимией», сказав, по сути, что она вообще не знает, где она находится и куда идти дальше.
Свое заявление Али подкрепил примерами. Вот одна показательная история: был разработан сложнейший, сконструированный по последнему слову науки, самообучающийся алгоритм машинного перевода с английского на французский. Перевод он кое-как освоил. А затем начал переводить все лучше и лучше — но лишь по мере того, как разработчики одну за одной отключали в нем те самые продвинутые функции, которые перед тем сами зачем-то туда под завязку натолкали. В обсуждении на конференции прозвучали слова «карго-культ», «фольклор» и «шаманские заклинания» — это далеко не те термины, в которых принято описывать неумолимый прогресс технологий.
Возможно, сама идея о том, что машинный разум, построенный по образцу человеческого, рано или поздно превзойдет его, несет в себе неразрешимый парадокс. Человеческий разум, неспособный понять себя, может лишь завести умную машину в тот же тупик, где сам находится. «Если слепой поведет слепого, не оба ли упадут в яму?» — задает риторический вопрос Библия, и многие разработчики искусственного интеллекта на данном этапе согласно кивают.
Означает ли это, что технологический прогресс человечества замедляется и вот-вот придет к полной остановке? Да с чего бы вдруг. Привычка измерять прогресс в количестве вычислительных операций в секунду возникла у людей всего-то меньше ста лет назад. У человеческой цивилизации есть множество задач, кроме той, самой почетной — «думать». Если вдруг на этом пути не окажется никакой сингулярности, а будет просто медленное и упорное движение к чуть более достойной жизни, которым человечество было занято на протяжении всей истории, расстроятся, возможно, только футурологи.
Возможно, сама идея о том, что машинный разум, построенный по образцу человеческого, рано или поздно превзойдет его, несет в себе неразрешимый парадокс. Человеческий разум, неспособный понять себя, может лишь завести умную машину в тот же тупик, где сам находится. «Если слепой поведет слепого, не оба ли упадут в яму?» — задает риторический вопрос Библия, и многие разработчики искусственного интеллекта на данном этапе согласно кивают.
Означает ли это, что технологический прогресс человечества замедляется и вот-вот придет к полной остановке? Да с чего бы вдруг. Привычка измерять прогресс в количестве вычислительных операций в секунду возникла у людей всего-то меньше ста лет назад. У человеческой цивилизации есть множество задач, кроме той, самой почетной — «думать». Если вдруг на этом пути не окажется никакой сингулярности, а будет просто медленное и упорное движение к чуть более достойной жизни, которым человечество было занято на протяжении всей истории, расстроятся, возможно, только футурологи.