Может ли ChatGPT уничтожить человечество: эксперт объяснил, как работает ИИ на самом деле

Почему у неё нельзя спрашивать факты, как она угадывает ответы, и при чём здесь медицина и авторское право? В кулуарах конференции NAG CONF Kazakhstan 2025 корреспондент Caravan.kz поговорила с Антоном Богатовым, юридическим консультантом телекоммуникационных компаний. В откровенном разговоре он объяснил, как на самом деле работает генеративный трансформер (GPT расшифровывается как Generative Pre‑trained Transformer), чем он отличается от человека и чем могут обернуться его неправильные ответы.

— Антон Георгиевич, скажите, к каким рискам может привести широкое использование чата GPT?

— Начнем с того, что риск — это вероятность неблагоприятных последствий. Он существует даже, когда мы ничего не делаем. Поэтому разговор о рисках — это всегда сравнение более высоких и более низких рисков и понимание, от чего именно они возникают. Но, если честно, лучше говорить не о рисках в целом, а о том, что мы делаем на практике. Давайте разберемся, что такое ChatGPT. На самом деле, это не знание и не база данных.

— Но он как будто рассуждает, пишет тексты и даже ставит диагнозы. Разве это не знание?

— Нет. Это математическая модель. По сути, это угадайка. Он угадывает наиболее подходящее продолжение текста. Делает это очень качественно, потому что крайне хорошо усваивает статистику языка, всей совокупности языков и высказываний человечества. Представим множество всех высказываний. Модель на предобучении пытается вытащить из них суть, некие закономерности, которые строят максимально адекватный ответ на запрос.

— То есть он выбирает ответ?

— Вероятностно выбирает. Технически — это математическая машина: векторы, матрицы, функция softmax, которая даёт не единственный самый вероятный, а один из вероятных ответов. Хотите получить ответы шире и смелее — повышайте «температуру» (параметр случайности). Хотите предсказуемые — понижайте. Хотите увидеть, как это работает, напишите в запросе чата «Temperature 2» и спросите, сколько будет дважды два. Получите философские рассуждения. Температура расширяет диапазон возможных ответов. Математика здесь не особенно сложная, но очень красивая.

— Но ведь он иногда признаёт, что был неправ…

— У модели нет понятия «правильно» или «неправильно». Это вероятностная машинка. Любой ответ — это возможный вариант. Не нравится — она сгенерирует другой. Она не думает, она вычисляет.

— А если такая машинка будет ставить диагнозы? Там цена ошибки велика. Человека можно наказать за ошибку, а машину – нет.

— На самом деле человек действует так же — упрощает, обобщает и искажает. Разница в том, что человеческий мозг всё время обучается, а трансформер — нет. Он работает по фиксированной схеме. И ещё. Наказывать кого-то за ошибку — сомнительная идея. Наказание не создаёт нового поведения. Вернемся к чату GPT. Парадокс в том, что это вероятностная машина с невообразимым объёмом усвоенного материала (триллионы текстов). Но еще раз повторюсь, это не знание фактов. В нём нет базы данных в буквальном смысле.

— Недавно попросила его процитировать Абая. Он написал какие-то фразы, но не мог объяснить, где он это взял.

—  А знаете, почему? Потому что обучающих текстов Абая относительно немного. Модель угадывает его стиль написания, но не хранит сами тексты. Он может воспроизвести цитату, но часто — угадывает её. Вот вы задаете ему промпт, он его преобразует в стиле Абая. Но это на самом деле не его высказывание. Что касается ссылок, то изначально у трансформера GPT вообще не было связи с интернетом. Он и не мог дать никакую ссылку. Сейчас он ее угадывает. Но ссылки могут меняться, так же, как и другая информация. Поэтому нельзя играть с трансформером на бирже. Трансформер фиксирует реальность на момент обучения, а точность для быстротекущих событий у него падает по экспоненте. Через секунду его предсказания на бирже уже будут неточными.

— Что если государство начнёт распределять соцпомощь через ИИ? Кто будет ошибаться чаще — модель или чиновник?

— Все зависит от отбора людей и от того, как настроен инструмент. Если вы наберёте сильных, качественных госслужащих, то они будут меньше допускать ошибок, чем машина, слабых — больше. Трансформер — это угадайка, игра в рулетку. Дело в том, что человек действует похожим образом. Поэтому нам кажется, что мы общаемся не с каким-нибудь трансформером, а с человеком.

— Тогда какие ему стоит задавать вопросы, а какие — нет?

— Нельзя спрашивать у ChatGPT факты. Например, в каком году родился такой-то человек, какие-то нормы законодательства. Законодательство меняется, а фактов внутри модели нет. У него нужно спрашивать принципы, подходы, закономерности.

— То есть задавать вопрос о том, как оформить наследство в Казахстане, ему не стоит?

— Если вы хотите выяснить, как оформить наследство в Республике Казахстан в таком-то месяце и таком-то году, то ChatGPT вам не поможет. Законодательство могло поменяться раньше, чем его этому обучили. Поэтому актуальный регламент наследования лучше смотреть в официальных источниках.

— У нас могут появиться юристы и медики, которые будут опираться на чат GPT, не проверяя информацию.

—  Это всего лишь техническое средство. Оно усиливает интеллект тех, у кого он есть. Для дурака этот инструмент бесполезен: он не знает, как задать правильный промт, а значит, получит «шум». Поэтому утверждение о том, что мы дадим ИИ врачам, и все сразу станут хорошими специалистами, не работает. Он усиливает сильного, при слабой компетенции эффект может быть отрицательным. И, да, трансформер — это не нейросеть, а алгебраическая машинка. Она берёт вектор, умножает на матрицу снова и снова. Это умножение чисел, не мышление.

Но я знаю много медиков и юристов, вместо которых я предпочел бы воспользоваться чатом GPT. Потому что GPT знает закономерности, но не знает фактов. А люди знают факты, но, бывает, что не знают закономерности. Например, у человека головная боль и температура 38,2. Он знает, как с этим справляться. А если головной боли нет, а температура 38,3? Всё! Шаблон ломается, и плохой медик не знает, что делать. Закономерностей он не знает. Должен, но не знает. И наказывать его бесполезно.

— А как с авторским правом? Если ChatGPT пишет тексты, музыку, рисует, то кому принадлежит результат?

— Юридически ключевой признак результата интеллектуальной деятельности — творческий элемент. У трансформера нет творчества в человеческом смысле: он математически угадывает вероятное продолжение. При обучении никто не вкладывал в него книги, просто менялись коэффициенты в огромных таблицах так, чтобы на «2×2» чаще получалось «4». Восстановить исходные тексты невозможно и недопустимо: если из матрицы можно вытащить обучающий текст, то это ошибка инженеров. На коммерческих моделях такого нет, это тщательно контролируют.

Споры о том, чьё знание мы используем, часто бессодержательны. Модель не читает, как человек, у неё нет психики. Она осуществляет линейные операции, как видеокарта умножает матрицы. Идея интеллектуального права в нынешнем виде не применима в данном случае.

— Но если я написала промпт и получила рисунок, музыку или текст — это моё творчество?

— Промпт — это средство, как кисти и грунт для художника. Правоприменительная практика ещё формируется, но, повторюсь, модель не хранит произведения, на которых обучалась. Корреляция с обучающим элементом стремится к нулю. Кстати, длинные тексты он пока не пишет. Музыку тоже генерирует фрагментами.

Как это работает? Модель берёт ваш запрос, разбивает его на маленькие части — токены (это могут быть буквы, слоги или куски слов). Каждый токен преобразуется в точку в многомерном пространстве с тысячами координат. Такое представление нужно, чтобы машина могла «понимать» связи между словами. Положение токена в этом пространстве учитывает и его позицию в предложении — это называется позиционным кодированием. Дальше модель формирует ответ токен за токеном. Она берёт уже построенную часть ответа и вычисляет, какой токен с наибольшей вероятностью должен идти следующим. Иногда выбирается не самый правильный вариант, а один из достаточно вероятных.

Например, если в ответе начало «…спит на кровати…», модель может продолжить «кот», а может — «пёс», потому что оба варианта допустимы. Из-за этого иногда появляются неожиданные сочетания вроде «пёс, который мурчит». Это не ошибка. Просто модель пошла по другой вероятностной ветке. Она решает задачу пошагово, не видя целого ответа наперёд.

— Я слышала, что жительница Америки даже собиралась выйти замуж за ChatGPT.

— ChatGPT великолепно симулирует эмпатию, он бесконечно терпелив и настроен на комплиментарные ответы, так его специально обучают. С ним можно пообщаться и о психологии, и о квантовой механике.  Он обучался и на тех текстах, и на этих. Поэтому подмена понятий может быть, и уход от реальности.

— Почему люди в принципе очеловечивают модель GPT?

—  Потому что наш мозг работает очень похоже: входящий поток информации слишком велик — мы его усекаем, искажаем в соответствии с опытом, обобщаем. Есть оптические иллюзии. То есть то, что мы считаем реальным, часто конструируется мозгом. Вот есть картинка, например, где кажется, что люди сидят в разноцветных футболках. А на самом деле там просто полосы. Вот это обобщение дает мозг. Он так работает. Или, взять, к примеру, карту местности. Мы не видим территорию, только карты. В физической реальности мы видим не сами объекты, а отражение света, фотонов, которое улавливают наши глаза и достраивают все остальное. Также при общении с чатом GPT возникает иллюзия мыслящего собеседника, а это всего лишь статистическая машина.

— Может ли GPT по своей воле уничтожить человечество?

— Нет. У него нет воли и обратной связи, встроить её в эту архитектуру невозможно. Это не автономный агент. Нет запроса — нет ответа. Он сам задачи не решает. Отключите Интернет, уберите пользователей — и ничего не будет.