Let’s chat about GPT: что он знает о рисках

29.11.2024

Главным героем последних лет – дискуссий, публикаций и научных статей – стал генеративный искусственный интеллект (ИИ). Спектр прогнозов – от утопических до антиутопических. Известный экономист Дэвид Аутор призывает к прагматизму: «Спрашивать не о том, что ИИ сделает с нами, а о том, что мы хотим, чтобы он сделал для нас». Именно этому вопросу была посвящена одна из дискуссий осенней сессии Просветительских дней РЭШ памяти сооснователя школы Гура Офера – анализу применения ИИ в банковском риск-менеджменте. Выпускники РЭШ Наталия Пузырникова, в прошлом первый вице-президент и руководитель службы управления рисками Газпромбанка, директор по технологиям 4Trade Consulting Руслан Карманный и модерировавший сессию ректор РЭШ Антон Суворов обсуждали, как использование ИИ может улучшить процесс принятия решений в банках, на что он способен, а где его интеллекта пока не хватает. GURU рассказывает о самом интересном в этой дискуссии.

 

Какой из ИИ риск-менеджер?

Наталия Пузырникова: Банки давно используют продвинутые технологии в моделировании, пытаются внедрять технологические новинки, потому что тот, кто лучше оценивает риск, тот больше зарабатывает. Ключевая задача риск-менеджмента – работать с отклонениями от бизнес-ожиданий. Для этого нужно определить возможные кризисные сценарии, оценить вероятность их наступления и разработать план действий на случай, если события пойдут по худшему сценарию. Иными словами, мы должны понять, чего нам стоит бояться, в какой мере стоит бояться и можем ли мы защититься от этих угроз. В этом ИИ все еще помочь не способен. Он может оценить влияние того, что уже произошло, но самые ужасные события не повторяются, а каждый кризис уникален. Это те самые пресловутые черные лебеди, предсказать появление которых очень сложно или почти невозможно. Поэтому лучше всего модель и человек действуют вместе, а не по отдельности.

 

Что дало внедрение LLM?

Н. П.: Внедрение даже самых простых моделей дало радикальный эффект, несмотря на то что они стоили достаточно дорого. Внедрение нейросетевых моделей тоже дало достаточно значимый эффект, но он уже был ограничен. А вот попытки использовать в российских банках большие лингвистические модели пока, по моим сведениям, принципиального эффекта не имели. Причин три. Во-первых, предыдущие версии моделей в ведущих российских банках уже были высочайшего качества и улучшения измеряются в десятках базисных пунктов, может быть, это 5 б. п., но не больше. Во-вторых, произошла серия экстраординарных событий – сначала ковид, потом наступил 2022 год. Часть данных, которые имелись до 2022 г., уже нерелевантны, и просто банально не хватает исторических данных, анализ которых мог бы дать значимый эффект. В-третьих, сказался рост процентных ставок. При ставке, например, 8% ее рост даже на 20 базисных пунктов довольно ощутимый. При ставке 24% те же 20 пунктов окажут гораздо менее заметное влияние. Резюмируя: добавление к банковской инфраструктуре управления рисками моделей самых последних поколений значимого эффекта пока не дает.

Но все российский банки – с учетом разницы в ресурсах – пытаются работать с ИИ с разной долей успешности. Сейчас, когда многие мировые разработки им недоступны, они вынуждены разрабатывать подобные модели с нуля. Думаю, что банки, которые способны потратить разумное количество денег и разработать эффективный продукт, можно пересчитать по пальцам одной руки. Это дорого в том числе потому, что, как я сказала, у многих банков уже есть развитые модели и новые модели нужно внедрить во все системы. Но несмотря на эти ограничения, есть достаточно много попыток использовать языковые модели, зачастую их успешное внедрение начинается не с риск-менеджмента, а скорее с клиентских моделей, потому что там не требуется согласования с регулятором и аудитором.

Процесс их внедрения будет продолжаться, и в какой-то момент произойдет коммодитизация. Мой любимый пример – это роботизация, которая поначалу была относительно дорогим и редким удовольствием, а сейчас, например, в Газпромбанке каждый второй риск-менеджер пишет себе роботов просто для решения рутинных задач. С ИИ рано или поздно произойдет то же самое.

Руслан Карманный: На данный момент большие языковые модели действительно пока не готовы к тому, чтобы самостоятельно оценивать риски и принимать решения вместо человека. Но уже сейчас их можно довольно широко применять, например, для составления черновиков отчетов, поиска возможных упущений в политике риск-менеджмента, распознавания паттернов, выявления аномалий в данных.

Подход Retrieval-Augmented Generation (RAG) уже расширяет возможности языковых моделей, позволяя им использовать частные данные компании для точного и релевантного поиска ответов с помощью семантического поиска. В этом случае данные клиента проходят обработку, преобразуются в векторы (числовую форму, понятную компьютеру), что позволяет сочетать «общую эрудицию» модели с конкретными данными клиента. 

Например, модель может найти нужный контекст в корпоративной базе данных и выдать связный и точный ответ. Чем больше данных доступно, тем качественнее результаты. При этом компании не требуется делиться своими данными с открытыми моделями, так как решения RAG можно развернуть на закрытых серверах или с использованием open-source технологий. Это обеспечивает конфиденциальность и устраняет риски утечек.

Подход RAG также упрощает взаимодействие с ИИ. Модель автоматически подбирает релевантный контекст, позволяя пользователю не тратить время на подробные запросы. Такие технологии не только делают ИИ более доступным, но и помогают компаниям сохранять конкурентоспособность в условиях цифровой трансформации, минимизируя риски и повышая эффективность процессов.

 

Как ИИ может помочь изменить бизнес-процессы в банках?

Н. П. Я считают, что ИИ может ощутимо помочь повысить эффективность бизнес-процессов в банках. Приведу два примера.

Первый – это переход на удаленку. Во время пандемии многие банки, включая Газпромбанк, перевели сотрудников на работу вне офиса. Хотя технически мы были готовы в этому, пришлось оперативно адаптировать процессы: автоматизировать рабочие задачи, создавать новые способы взаимодействия между сотрудниками и клиентами. Это привело к значительному развитию безбумажного документооборота. Итог: бизнес-процессы изменились радикально.

Второй – это инструкции андеррайтеров, т. е. специалистов, которые определяют, стоит ли банку брать на себя определенные риски и на каких условиях. 10 лет назад инструкции были громоздкими документами, которые невозможно было запомнить. Сегодня это интерактивные подсказки в системах, напоминающие «Википедию». В будущем такие инструкции станут похожи на чат-боты, основанные на нормативной базе банка. Они будут быстро выдавать точные ответы без права на ошибку или фантазии, упрощая работу сотрудников. Эти технологии кардинально меняют подходы к обучению и выполнению задач, делая процессы гибче и быстрее.

 

Как ИИ может защитить человека от иррациональности?

Антон Суворов: Человек не только идентифицирует риски, но и сам часто становится их источником. Мы живые существа и склонны ошибаться – порой предсказуемо. Таких когнитивных ошибок огромное множество, Стивен Пинкер, например, упоминает более 200. Среди них две мне кажутся особенно важными.

Первая – чрезмерная самоуверенность, которую Даниэль Канеман называл самой фундаментальной ошибкой. Люди переоценивают свои способности, решения и знания, что часто приводит к катастрофическим последствиям – от катастроф до крушения корпораций. Вспомним Nokia, лидера рынка мобильных телефонов 20 лет назад. Компания переоценила свои возможности и игнорировала риски, связанные с новыми операционными системами. Итог: потеря лидерства и фактический уход с рынка.

Вторая – эффект якоря. Посторонняя информация, например последняя цифра паспорта, может сильно повлиять на наши решения. Эксперименты показывают, что даже такие случайные данные способны искажать восприятие. Здесь ИИ может помочь, нивелируя влияние случайных факторов и помогая рассмотреть проблему с разных сторон. 

С мотивационными искажениями, такими как предвзятость подтверждения (когда мы принимаем только информацию, соответствующую нашим убеждениям), ИИ пока справляется хуже. Но он может развивать рефлексивное мышление, помогая человеку ставить под сомнение свои выводы и находить более объективные решения.

Лично я использую ИИ ежедневно для обсуждения управленческих вопросов. Это удобный инструмент для быстрого получения фидбэка, который помогает рефлексировать и принимать более обоснованные решения. Конечно, ответы не всегда идеальны, но зачастую удивляют своей глубиной. Важно, что ИИ делает аналитическую поддержку доступной любому человеку – достаточно иметь хорошую языковую модель под рукой.

 

Этический вопрос: у человека должна быть возможность исправить оценку?

Н. П.: Вопросы этики в моделях для банкинга неновые. Еще в первых Z-скор моделях Альтмана (инструменты, разработанные экономистом Эдвардом Альтманом в 1968 г. для оценки вероятности банкротства компании. – GURU) наблюдалась предвзятость – риски банкротства заемщика были ниже, если это женщина. Является это дискриминацией или нет? И можем ли мы использовать врожденные характеристики человека для того, чтобы присвоить ему большую или меньшую вероятность дефолта? Этот вопрос не утратил своей остроты, поскольку если в данных указан пол человека, то нейросеть обязательно использует этот фактор.

Но есть другой более важный вопрос. По мере развития технологий нам будет все выгоднее принимать массовые решения, исходя из оценки клиентов моделью ИИ. И если мы признали клиента плохим, то как он может это исправить? У него должна быть такая возможность – исправить оценку, выставленную ему моделью.  

Р. К.: Проблемы этики действительно существуют и связаны с процессом обучения языковых моделей. Первая стадия их тренировки, называемая претрейнингом, проходит практически без участия человека. На этом этапе модели «читают» огромные объемы текстов из различных источников и формируют векторные представления слов, изучая их взаимосвязи, чтобы потом на их основе давать ответы на вопросы пользователей. Однако на данном этапе обучения модель лишь отражает структуру данных, на которых она обучалась, что делает ее поведение зависимым от качества и содержания этих данных.

Например, известный факт, что примерно 93% всех текстов, использовавшихся в претрейнинге, составляют англоязычные тексты. Однако в мире людей, говорящих на китайском, почти столько, сколько говорящих на английском. Если задать модели вопрос, как наилучшим способом построить карьеру и просто перевести ответ на китайский, он в лучшем случае вызовет недоумение, так как не учитывает культурные различия. Поэтому этические требования можно учитывать при инструктировании и выравнивании (model instructioning and alignment) моделей.

Чтобы языковые модели были более удобны и полезны для людей, их нужно адаптировать под конкретные потребности, в том числе ценностные ожидания. Здесь на помощь приходит техника RLHF (Reinforcement Learning with Human Feedback), которая относится к следующему этапу обучения – посттрейнингу. На этом этапе человеку-инструктору показывают варианты ответов, и он выбирает наиболее подходящий. На основе этой обратной связи модель корректируется, что позволяет учитывать предвзятости, ошибки и другие риски, которые могут возникать в ее поведении. Этот метод вместе с другими техниками, такими как файнтюнинг, помогает доводить модели до уровня, соответствующего конкретным требованиям.

Обучение моделей имеет огромный потенциал для дальнейшего развития. Существующие модели уже тренируются на триллионах токенов (основные единицы текста), т. е. данных становится недостаточно. Просто показывать тексты моделям в фазе претрейнинга уже недостаточно. Обсуждаются возможности расширить источники данных, включая транскрипции видео с YouTube, звуки, изображения и другие мультимедийные форматы. Это может стать следующим шагом в развитии языковых моделей, сделав их более умными, адекватными и способными работать с более сложным контекстом.

 

Как разделить труд с ИИ?

Р. К.: Если модель достигнет уровня интеллекта и знаний самого умного человека на Земле, это может угрожать рабочим местам в экономике знаний. Однако это дистопический сценарий, который в ближайшие годы маловероятен. Более реалистичное развитие ИИ – это расширение его способностей логически мыслить, критически оценивать и сопоставлять факты.

В таких сферах, как риск-менеджмент, ключевой принцип остается неизменным: человек продолжает играть ведущую роль в принятии решений. ИИ может успешно работать с задачами, где есть конечное число переменных и достаточно простое пространство состояний, как в шахматах, но управление рисками связано с неопределенностью, где требуется гибкость, интуиция и учет множества факторов. Риск-менеджмент – это больше, чем алгоритмы или модели, это культура, основанная на опыте и работе с неизвестным.

Для эффективной работы с ИИ важно учиться применять принцип дополненного работника, находя новые возможности в использовании генеративных технологий. Успех в этом зависит от умения адаптировать модели под задачи и формулировать четкие запросы. Например, языковым моделям можно задавать роли – эксперта, помощника, что повышает точность ответов. Автоматизация процессов с помощью ИИ помогает структурировать задачи и делегировать их выполнение моделям, но требует внимания к деталям, так как модели могут ошибаться, выбирая неподходящие инструменты или отклоняясь от цели.

Что касается сознания ИИ, не стоит ожидать, что он обретет «человеческий разум». Его следует воспринимать как мощный инструмент, как «инопланетянина», решающего узкие задачи. Пока мы сами не можем четко определить, что такое сознание, ИИ остается помощником, а не разумным существом. Тем не менее возможны прорывы, которые изменят наше понимание интеллекта и его потенциала.

Н. П.: Соглашусь с Русланом. Когда я начала заниматься риск-менеджментом в 2009 г., кредитный процесс в российских банках был в основном «ручным». Были простые модели, но решения принимали риск-менеджеры и андеррайтеры. Со временем модели становились сложнее, и строились прогнозы, когда же андеррайтеры исчезнут. Прошло много лет: их стало меньше, они стали умнее, но полностью не исчезли. Зато появились новые профессии, и программистов сейчас больше, чем андеррайтеров тогда. Это хорошо: банки зарабатывают больше, доход на сотрудника вырос.

Однако, чтобы оставаться востребованным, нужно переучиваться. Для нестандартных задач, которые модели не решают, нужны специалисты другой квалификации. В начале цель была убрать людей из риск-менеджмента, но практика показала, что это ошибка. Полная замена человека моделями неэффективна. Правильный подход – создание инструментов, которые помогают: например, как круиз-контроль в машине, который частично берет функции на себя. Постепенно такие системы смогут выполнять значительную часть задач.

Возможно, через 3, 5 или 10 лет многие профессии исчезнут. Поэтому важно адаптироваться сейчас: не бояться, что машина вас заменит, а вместо этого сосредоточиться на создании инструментов, которые помогут работать лучше. Это повысит доход уже сейчас, а в будущем даст больше возможностей. Такой подход я считаю продуктивным, хотя массовое применение моделей вызывает у меня скепсис.