Разбираемся в феномене нейроинтерфейсов: систем, которые напрямую свяжут человеческий мозг и компьютер.
Недавно по всем медиа разошлась новость: компания Илона Маска Neuralink разработала устройство, с помощью которого обезьяна силой мысли смогла управлять компьютерной игрой. Звучит как что-то из научной фантастики. И, тем не менее, нейроинтерфейсы (или BCI, то есть brain-computer interfaces) — изобретение далеко не новое: уже много лет люди пытаются напрямую связать человеческий мозг и компьютер.
Подобными технологиями пользуются в медицине и кибернетике, а многие игровые компании (например, Valve) ищут в нейроинтерфейсах новые возможности для геймдизайна. Сегодня мы расскажем, как работает эта технология и что изменится в видеоиграх, когда разработчики окончательно научатся использовать наш мозг в качестве геймпада.
Для начала стоит обратиться к истории. Термин «BCI» впервые появился ещё в 1970-м году — именно тогда учёные из Университета Калифорнии начали исследовать возможность создания нейроинтерфейсов: устройств для обмена информации между мозгом и компьютером. Правда, ещё до этого, в 1965-м, американский композитор Элвин Лусье устроил один необычный концерт. На нём с помощью мозговых альфа-волн, записываемых электроэнцефалографом, он сыграл на акустических перкуссионных инструментах. По сути, Лусье использовал далёкого предка современных нейроинтерфейсов.
Если вы разработчик в 2022 году, и у вас нет одной из этих штук [нейроинтерфейсов] в вашей тестовой лаборатории — вы делаете огромную ошибку
генеральный директор Valve
Источник цитаты: TVNZ
Полноценным же изобретателем нейроинтерфейсов считается учёный из того же Университета Калифорнии, Жак Видаль. В 1973 году он опубликовал научную работу, в которой сформулировал «главную задачу BCI»: научиться управлять внешними объектами при помощи сигналов с электроэнцефалографа (ЭЭГ). А в 77-м Видалю в ходе эксперимента удалось с помощью нейроинтерфейса двигать курсором на мониторе компьютера.
С тех пор эксперименты с BCI продолжались. Ещё задолго до Илона Маска учёным удалось подключить мозг резус-макаки к компьютеру и сделать так, чтобы она двигала курсор силой мысли. В другом опыте обезьяну зафиксировали в кресле, и она с помощью нейроинтерфейса дистанционно управляла роботической рукой. А в 1999-м исследователи из Университета Калифорнии благодаря BCI записали то, как коты видят мир.
Несмотря на то, как фантастически звучит эта технология (управлять компьютером силой мысли!), её история насчитывает пять десятков лет. В первую очередь с помощью нейроинтерфейсов учёные намерены излечить неврологические болезни: научить ходить тех, кто страдает от паралича или вернуть зрение слепым и слабовидящим. На это же направлены изобретения Neuralink, той самой компании Илона Маска.
Другой вопрос, что игровая индустрия обратила внимание на BCI совсем недавно. Раньше эта технология использовалась исключительно в медицинских и исследовательских целях, но теперь к её потенциалу всё чаще приглядываются компании из развлекательной сферы.
Интерес разработчиков к нейроинтерфейсам понятен. Видеоигры — интерактивное искусство, а значит, в них важно, чтобы игрок был максимально вовлечён. По сути, сейчас устройства ввода — это единственное, что отделяет пользователя от происходящего на экране. Геймпады, клавиатура с мышью или VR-контроллеры — вовсе не необходимость, как мы привыкли считать. А необязательные посредники между пользователем и самим процессом игры.
Нейроинтерфейсы же могут избавить разработчиков от этой проблемы. Между игрой и игроком больше ничего не будет. Пользователю не придётся заучивать комбинации на клавиатуре или вообще учиться управлять персонажем с помощью кнопок-посредников. В теории это сильно расширит возможности того, какие именно действия можно будет выполнять в игре. Ведь они больше не будут ограничены памятью игрока или количеством кнопок на его устройстве ввода.
Память — это главное ограничение.
экспериментальный психолог, Valve
Источник цитаты: GDC
Уже сейчас существуют готовые прототипы таких систем: например, Next Mind. Конечно, её функциональность очень ограничена — управлять действием можно лишь смотря в определённые участки экрана на разные фигуры (треугольник, круг или квадрат). Зато Next Mind можно купить хоть сегодня: цена вопроса — $399. Хотя предложение это, конечно, больше направлено на разработчиков, чем на простых пользователей: им с устройством пока делать решительно нечего.
Нейроинтерфейсам посвятил своё выступление на GDC-2019 Майк Эмбиндер, экспериментальный психолог из Valve. По его словам, студия уже сейчас активно работает над внедрением BCI в игры — это же подтверждает интервью самого Гейба Ньюэлла для новозеландского издания TVNZ.
Чтобы объяснить значимость нейроинтерфейсов, Эмбиндер проводит такую параллель: видеоигры, говорит он, — это как диалог двух людей. Часть информации в нём передаётся непосредственно словами, а часть (возможно, куда более важная) — невербально: жестами, мимикой, позами общающихся. Так вот, традиционные методы ввода с помощью клавиатуры или геймпада могут обеспечить лишь «словесную» часть диалога. Но за ней скрывается ещё куча информации, которую современные игры просто не способны получить от игрока. И с этим разработчикам как раз должны помочь нейроинтерфейсы.
Благодаря BCI можно будет понять не только то, что игрок нажал кнопку «прыжка», но и то, как именно он это сделал: расслабленно, радостно, с горечью, с ненавистью и так далее. Разработчики получат доступ к «невербальной» связи с игроком, к его внутренним импульсам, эмоциям.
Эмбиндер считает, что в будущем это может сильно пригодиться, скажем, авторам RPG-игр. Они смогут считывать чувства игрока и делать так, чтобы NPC реагировали на них соответственно. То есть пользователь будет буквально «отыгрывать» своего персонажа не только с помощью диалоговых опций и геймплейных решений, но и перенося свои эмоции напрямую игровому герою.
The Witcher 3
А ещё полностью отпадёт необходимость в уровнях сложности. Раз нейроинтерфейсы умеют считывать эмоции пользователя, разработчики смогут сделать так, чтобы игры сами подстраивались под настроение и возможности конкретного игрока. Адаптивный геймплей может решить проблему с кривой сложности — ведь она будет зависеть не от автора, а от реципиента.
Это больше не игра для всех. Это игра лично для тебя.
экспериментальный психолог, Valve
Источник цитаты: GDC
Что-то похожее Valve уже пыталась сделать в игре Alien Swarm. Там в одном из режимов есть таймер обратного отсчёта — причём скорость времени не постоянна, а зависит от того, как действует игрок. Если он справляется успешно, то время идёт быстрее, тем самым создавая дополнительный челлендж. Если игроку сложно, то секунды, напротив, замедляются. Нейроинтерфейсы позволят делать что-то похожее, но на качественно другом уровне.
Эмбиндер также ещё в 2011 году предлагал учитывать состояние организма игрока ещё в первой Left 4 Dead — чтобы «виртуальный режиссёр» подстраивал геймплей под конкретного пользователя. Например, игра бы замечала, что у игрока увеличился пульс, и снижала сложность. Но в то время, конечно, технология была слишком дорогой и недоступной — и от идеи отказались.
Alien Swarm
Если геймдизайнеры с помощью BCI смогут узнавать, какие эмоции возбуждают в пользователе отдельные механики, уровни или сюжетные повороты, они смогут эффективнее тестировать свои проекты.
Конечно, и сейчас существуют бета-тесты, фокус-группы и прочие способы получить фидбэк об игре до её релиза. Но все они, по мнению Майкла Эмбиндера, недостаточно надёжные. Ты не можешь узнать мнение человека непосредственно во время игры — остаётся довольствоваться его воспоминаниями о процессе. К тому же, людям свойственно излишне рационализировать свой опыт или, банально, что-то забывать. Часто они просто не могут сами сформулировать то, что чувствуют.
Скажем, мы делаем тест баланса и спрашиваем игрока, было ли ему сложно? Далеко не все захотят отвечать на это честно. Теперь же мы будем знать
экспериментальный психолог, Valve
Источник цитаты: GDC
Уже сейчас с помощью BCI можно измерить уровень возбуждения игрока или то, как он воспринимает «новизну» чего-либо. Распознать тактильные ощущения или реакцию на ошибку. В будущем нейроинтерфейсы научат определять всё более сложные и сложные эмоции. Это позволит разработчикам получать максимально достоверную и объективную информацию о том, как именно видит их игру пользователь, при этом не прерывая геймплей.
А ещё с BCI можно добыть намного больше данных, чем любыми тестами. В теории нейроинтерфейсы легко поместить внутрь шлемов VR и в реальном времени получать информацию от всех пользователей, у кого есть необходимое устройство. Прямо сейчас Valve работает над программным обеспечением с открытым исходным кодом, которое позволит получать электроэнцефалограмму с помощью модицифированных шлемов виртуальной реальности.
Таким образом, например, можно узнать, действительно ли какое-то мнение принадлежит большинству игроков, или же всего лишь громкому меньшинству. Разработчики не будут ограничены фидбеком от тех, кому не лень было зайти на форумы и выразить своё недовольство: они увидят, как игру воспринимают вообще все пользователи.
Судя по выступлению того же Майкла Эмбиндера на GDC 2011, Valve ещё в 2011 году пользовалась биометрическими методами на плейтестах. У пользователей считали частоту сердцебиения, следили за мимикой, движением глаз и, конечно, за мозговой активностью. В то время, правда, BCI были очень дорогими, и подобные плейтесты могли себе позволить единичные компании.
Впрочем, амбиции разработчиков не заканчиваются на том, чтобы с помощью нейроинтерфейсов записывать впечатления игроков. Люди уже умеют переносить сигналы из мозга человека в компьютер. А вот совершить тот же процесс в обратную сторону пока не получается.
Именно к этому, судя по интервью, сейчас стремится Гейб Ньюэлл. Он считает, что главный барьер между играми и пользователями — даже не устройства ввода, а «мясная периферия», как это называет глава Valve. То есть человеческие глаза, уши и руки, привычные органы чувств, которые можно сильно «улучшить» за счёт BCI.
Сейчас качество графики часто оценивают по тому, насколько она «жизнеподобна». То есть насколько похожа на то, что мы видим своими глазами. Ньюэлл же считает, что благодаря нейроинтерфейсам графика в играх будет лучше, чем в жизни.
Реальный мир после этого будет казаться бесцветным и расплывчатым
генеральный директор Valve
Источник цитаты: TVNZ
Если учёные и правда научатся записывать информацию из компьютеров в мозг человека, то разработчики смогут предлагать игрокам такой физический опыт, которого они никогда бы не обрели в жизни. Например, дать почувствовать вкусы и запахи, которых они никогда не чувствовали. Заставить ориентироваться в пространстве с помощью эхолокации, как летучая мышь. Или отрастить игроку тентакль и попросить им управлять.
Всё это звучит дико, потому что в жизни человек не сталкивается с таким опытом — но, считает Гейб Ньюэлл, мозг людей достаточно пластичный, чтобы подстроиться даже под такой необычный экспириенс.
По сути, речь о чём-то вроде «брейндансов» из Cyberpunk 2077
При дальнейшем развитии этой технологии игроков можно будет отправить в полноценную «матрицу», абсолютно осязаемый виртуальный мир. Уже сейчас врачи могут, например, лечить бессоницу и пост-травматический синдром с помощью сигналов, которые посылаются мозгу извне с помощью TMS (машин для магнитной стимуляции коры головного мозга).
А Ньюэлл утверждает, что Valve научились с помощью нейроинтерфейсов полностью избавлять игроков от головокружения во время игры в VR-шлемах. И что такую технологию можно внедрить хоть сегодня — проблема, мол, больше в сертификации, чем в науке.
Скорость, с которой мы изучаем новые вещи, настолько велика, что не хочется слишком рано говорить: «Хорошо, давайте всё остановим, создадим продукт, пройдём все бюрократические процессы». Потому что пока мы будем это делать, обязательно появится что-то новое.
генеральный директор Valve
Источник цитаты: TVNZ
Над чем-то похожим работает Тамим Антониадес, сооснователь Ninja Theory. Ещё в 2019-м он запустил Insight Project — проект по созданию виртуального пространства, неотличимого от настоящего. Причём заселено оно будет персонажами, которые реалистично реагируют на действия, взгляды и эмоции человека.
В первую очередь разработки Антониадеса будут полезны психологам: с помощью Insight Project он намерен помогать людям преодолевать нежелательные психологические состояния в среде, максимально приближенной к реальной. Но также у него есть отдельный проект, Dreadnought, и тот уже нацелен на создание виртуального пространства для игр нового поколения.
Project Dreadnought заставит нас переосмыслить само понятие развлечения, или даже саму реальность. Это будет новый вид искусства, вероятно, последний новый вид искусства — ведь ещё сильнее приблизиться к реальности невозможно.
сооснователь Ninja Theory
Источник цитаты: GQ
Но слишком обольщаться не стоит. Да, нейроинтерфейсы — не такое далёкое будущее, как может казаться, и многие компании уже сейчас работают над воплощением этой технологии в жизнь. Но прежде чем мы увидим то, о чём говорит Гейб Ньюэлл, нам придётся получше разобраться с устройством собственного сознания.
Дело в том, что современные BCI записывают сигналы с внешней коры мозга. Этого хватает, чтобы отслеживать движение взгляда или считывать простые эмоции. Но чтобы «записать» что-то в мозг или прочитать более сложные чувства игроков, придётся проникнуть глубже. Поместить датчики под кости черепа или даже в ткани самого мозга. На что, очевидно, не все пользователи пойдут: всё же это не самая приятная и безопасная операция.
Куда большая проблема, впрочем, в том, что учёные до сих пор не понимают, как вообще работает человеческое сознание. В этом смысле с тех пор, как нейроинтерфейсы впервые изобрели в 1970 году, мало что изменилось. Мы лишь поверхностно понимаем, как работает наш мозг.
Сейчас записывать мозг — это как стоять снаружи футбольного стадиона, прислонив ухо к стене, и пытаться понять, что происходит внутри
экспериментальный психолог, Valve
Источник цитаты: GDC
Доктор биологических наук Александр Каплан рассказывает, что сейчас способности нейроинтерфейсов очень ограничены. Да, они умеют распознавать некоторые намерения человека (например, воображаемые движения рукой) и даже расшифровывать образы, которые он представляет в голове. Но точность этого распознавания не идеальна— около 80-85 процентов.
К тому же, электрический сигнал преломляют волосы и череп. А двусторонний обмен информацией между компьютером и мозгом, считает Каплан, пока невозможен, потому что у нас нет «ключей к расшифровке сигналов, которыми общаются между собой нервные клетки».
Проблема здесь не в том, что эти ключи трудно подобрать, а в исходном их отсутствии. В каждой паре нервных клеток их взаимное понимание обусловлено не только пробегающими между ними нервными импульсами, но и их взаимодействием с тысячами других нервных клеток. Это взаимодействие ежесекундно модифицируется, реагируя на мимолетные мыслей, колики в животе, дуновения ветра. Как это учесть, чтобы правильно подключиться к мозгу?
Доктор биологических наук, основатель лаборатории нейроинтерфейсов МГУ
Источник цитаты: N+1
Доступ же к высшей нервной деятельности затруднён тем, что она далеко не ограничивается электрическими импульсами. Да, информация в нашем мозге передаётся между нейронами с помощью тока, но кроме этого в процессе участвуют химические вещества — гормоны и нейромедиаторы. Выходит, что BCI не позволяют увидеть полной картины: только отголоски того, что происходит в мозгу.
Да и даже если люди научатся записывать эмоции прямо в мозг, возникнут новые проблемы. Во-первых, как и любое устройство, нейроинтерфейсы подвержены компьютерным вирусам. Насколько же велико должно быть доверие покупателей к компании, чтобы они позволили подключать их мозг к устройству, которое можно взломать?
Во-вторых, возникают моральные дилеммы. Насколько правильно, например, заставлять пользователей чувствовать боль с помощью нейроинтерфейсов? Боль может быть очень интересным геймплейным инструментом. Но в то же время такие проникновения в сознание, очевидно, крайне опасны.
Никто не хочет потом рассказывать: «О, помнишь Боба? Помнишь, как Боба взломали русские хакеры? Это ужасно. Он, кстати, так и бегает голый по лесу?
генеральный директор Valve
Источник цитаты: TVNZ
Фильм «Экзистенция» хорошо показывает, что может быть, если чей-то нейроинтерфейс взломают
Так что полноценное включение в «Матрицу» пока остаётся скорее фантастической идеей. А вот делать плейтесты с помощью нейроинтерфейсов разработчики могут уже сейчас — как и использовать их в качестве устройства ввода. Особенно интересно это для людей с ограниченными возможностями: BCI позволят им взаимодействовать с играми без помощи специальных контроллеров.
Остальным же пока рано отвыкать от мыши и геймпада. Нейроинтерфейсы обязательно доберутся до игровой индустрии, но загадывать, когда именно, пока не стоит. Может, через десятки лет, может, через пять. А может мы все уже живём в одной большой игре виртуальной реальности. Кто знает?