.png)
Почему экономисты ошибаются с прогнозами и растет ли их точность? Не устарели ли прежние модели и как много данных нужно для прогнозирования? Может ли искусственный экономист сделать то, что не под силу живому, – открыть нам будущее? И что общего между экономистом и врачом? На Просветительских днях памяти сооснователя РЭШ Гура Офера эти вопросы обсуждали три выпускника РЭШ: зампред ЦБ Алексей Заботкин и два профессора РЭШ – макроэкономист Олег Шибанов и Марат Салихов, который изучает прогнозирование как явление. GURU рассказывает о самом интересном в их дискуссии.
Одна из самых распространенных претензий к экономистам – почему они ошибаются с прогнозами и проглядели очередной кризис. Но сами экономисты и не претендуют на роль пророков. У нас нет хрустального шара, признает Олег Шибанов, экономисты могут лишь помочь лучше понять диапазон возможного: очертить сценарии, оценить вероятность их реализации и риски. И в конечном итоге – принять решение на основе этих возможных сценариев, учитывая цену ошибки, говорит Алексей Заботкин. А Марат Салихов вспомнил слова философа Жана Поля Рихтера: «Хороший врач спасет если не от болезни, то хотя бы от плохого врача». Вот так и экономическая наука не обещает идеальных прогнозов, но может уберечь от невежества и излишней самоуверенности, сравнил он.
Что же мешает экономистам стать пророками? Заботкин выделил три причины, по которым прогнозы оказываются ошибочными:
экономика – чрезвычайно сложная система с мощными механизмами обратной связи. Решения людей и бизнеса сегодня зависят от того, чего они ждут в будущем, а позволяющие учитывать это методы исследований появились только в конце 1990-х – начале 2000-х гг.;
кризисы почти всегда приходят неожиданно, нередко из-за непредвиденных шоков вовсе не экономического характера;
структура экономики и взаимодействие между ее частями меняются. Обновляются институты, механизмы обмена, поведение участников экономики. Поэтому одной только экстраполяции прошлых трендов на будущее недостаточно, для того чтобы построить сценарии развития событий.
То, как может устаревать прежний инструментарий, показал всплеск инфляции в 2021–2023 гг., привел пример Шибанов: тогда ЕЦБ честно признал, что часть моделей не подходили для такой ситуации, поскольку настраивались в условиях низкой инфляции. В российской практике подобным примером он назвал неожиданное поведение валютного курса в 2025 г. и его слишком сильное укрепление в ответ на высокую ключевую ставку. Невозможно точно предугадать поведение и реакцию людей, заключает он. Очень трудно предсказать факторы, которые влияют на развитие экономики, например развитие технологий, назвал еще одну причину неточности прогнозов Салихов.
Хорошая новость в том, что обычно экономисты ошибаются в худшую сторону. Это ошибка первого рода, говорит Заботкин: «Ложная тревога, когда мы предсказали что-то плохое, а оно не случилось. Ошибка второго рода – это то, что офицеры ПВО называют пропуском цели. Нам нужно, чтобы пропусков целей было поменьше». Лучше исходить из плохого сценария, чем отреагировать на кризис слишком поздно и недостаточно активно, поясняет он, поэтому, как правило, экономика справляется с кризисом лучше, чем ожидалось. Во-первых, говорит он, если до кризиса не накопилось серьезных уязвимостей и если в момент кризиса не совершаются масштабные ошибки, как, например, во время Великой депрессии, то экономика обычно поглощает шок быстрее, чем казалось в разгар кризиса. Во-вторых, действия экономических властей уменьшают глубину и длительность кризиса и прогнозы часто не успевают учесть эффективность этих мер.
Аудитория Просветительских дней согласилась, что экономика непредсказуема, но большинство в ходе опроса выбрало другую причину ошибочных прогнозов: прогнозисты редко независимы и им мешает давление. Такая проблема существует, соглашается Салихов, вспоминая шутливое высказывание экономиста Эдгара Фидлера: «На фоне экономических прогнозистов овцы выглядят независимыми мыслителями». «Это, конечно, преувеличение, в реальности поведение прогнозистов во многом зависит от их стимулов и контекста», – оговаривается он, ссылаясь на статью Марко Оттавиани и Питера Соренсена «Стратегия профессионального прогнозирования». Например, в одних ситуациях экономисты могут давать прогнозы, близкие к среднему, чтобы не выглядеть выскочками, а в других, наоборот, стремиться отделиться от консенсуса, чтобы оказаться среди лучших, рассказывает Салихов. Влияет на экономистов и тип неопределенности. В моменты макроэкономической неопределенности прогнозисты сильнее расходятся друг с другом и точность прогнозов падает. А при финансовой неопределенности разброс прогнозов ниже, она побуждает придерживаться консенсуса, чтобы избежать больших ошибок.
Как вознаграждать прогнозистов за то, чтобы они были предельно честны? Создать сбалансированную систему стимулов сложно, признает Салихов. Тем более что они могут быть и не заинтересованы в точном прогнозе, например, если прогнозирование вступает в конфликт с планированием и KPI. Классический пример такого конфликта еще в 1978 г. описал Джейкоб Гоник, топ-менеджер IBM в Бразилии, вспоминает Салихов: если бонус зависит от плана продаж, а план – от спроса, то менеджер будет стремиться занизить прогноз спроса, чтобы было проще получить премию. Такие искажения встречаются повсюду – и в бизнес-, и в макропрогнозах. Один из способов добиваться честности прогнозов – настроить бонус так, чтобы он резко рос при приближении к цели и слабее реагировал на ее превышение, рассказывает Салихов, тогда снижается мотивация манипулировать прогнозом. Другой способ – разделение функций: прогнозисты отвечают за точность прогнозов, а планировщики – за действия на их основе.
Есть еще одно препятствие, мешающее предсказывать кризисы, – нехватка данных, констатирует Салихов. Казалось бы, их в избытке, но это не так, говорит он: например, рецессий после Второй мировой войны произошло не так много. Данных по современной России очень мало, соглашается Шибанов.
Но всегда ли нужно использовать максимально большое количество данных? Для России данные за 1990-е могут быть уже нерелевантны и их использование может только сбивать точность модели, приводит пример Заботкин, это была переходная экономика, поэтому ЦБ калибрует модели на данных с начала 2000-х. Выбор, насколько глубокие данные нужны, зависит от исследовательского вопроса, замечает Шибанов: например, по инфляции стоит использовать длинные ряды, а вот структура роста ВВП значительно изменилась и даже нулевые очень сильно отличаются от 2020-х.
Игрок в покер, статистик и прогнозист Нейт Сильвер в книге о прогнозировании «Сигнал и шум» даже более скептичен. Он считает, что, хотя наши знания о мире растут, «разрыв между тем, что мы знаем, и тем, о чем мы думаем, что знаем, постоянно расширяется». Можно, например, провести расчеты с точностью до второго знака после запятой, но они окажутся невероятно далеки от реальности, пишет он: «Это все равно что заявлять, что вы умеете хорошо стрелять, потому что ваши пули всегда оказываются в одних и тех же местах, хотя и невероятно далеко от центра мишени».
Действительно, даже бесконечный набор данных не поможет увидеть будущие шоки, соглашает Шибанов, но все же макроэкономисты все точнее могут прогнозировать некоторые вещи, строить сценарии, «а в рамках сценариев уже легче прогнозировать, чем делать это в среднем». Качество прогнозов инфляции – зона ответственности центробанков – улучшилось, если судить по последним десятилетиям, говорит Заботкин. Конечным мерилом качества прогноза и решений, принимаемых на его основе, является инфляция и во многих странах она в среднем оставалась на уровне 2–3%, продолжает он, единственное сильное отклонение было в 2021–2022 гг., но и с этим всплеском инфляции центробанки довольно неплохо справились. «Это демонстрация того, что прогнозы улучшились – beyond reasonable doubt (вне всяких разумных сомнений – наивысший стандарт доказанности. – GURU)», – резюмировал Заботкин.
Опрос во время конференции показал, что аудитория верит в первую очередь консенсус-прогнозу экспертов. Своим мнением поделились и участники дискуссии. Нельзя полагаться на суждение отдельного человека, но можно доверять не очень большой группе информированных экспертов, сказал Заботкин, сравнив это с медициной: если ситуация сложная, нужно второе мнение, а если очень сложная – консилиум разных специалистов. Именно поэтому центральные банки принимают решения коллегиально.
«Все зависит от контекста», – заметил Салихов. При прогнозировании спроса на конкретный товар наиболее точны, по его мнению, модели машинного обучения и статистические методы, за ними следуют большие языковые модели и только после них – эксперты. В макроэкономике, наоборот, эксперты оказываются на первом месте. Он рекомендует комбинировать эти подходы. «Можно сформировать панель экспертов, отслеживать их прогнозы во времени и обучать статистическую модель, которая будет корректировать систематические ошибки – приближать чрезмерных оптимистов к реальности, а пессимистов, наоборот, делать менее осторожными. Надежность каждого можно использовать для взвешивания: те, кто чаще угадывает, получают больший вес в финальном прогнозе, а те, кто ошибается, – меньший», – рекомендует он.
Поскольку люди действуют, исходя из прогнозов, то сам по себе прогноз воздействует на действительность и является средством коммуникации. Так, прогноз центробанков формирует ожидания и тем самым влияет на поведение населения и бизнеса. «Опыт последних двух лет был для нас очень поучительным, – признал Заботкин. – В первой половине 2024 г. и бизнес, и финансовые рынки продемонстрировали склонность интерпретировать наш прогноз очень буквально и, что важно, избирательно. В прогнозе содержалось ожидание снижения ключевой ставки по мере замедления инфляции. При этом экономические агенты сохраняли повышенные инфляционные ожидания, инфляция оставалась высокой. Совместив эти повышенные ожидания с нашим прогнозом снижения ставки – что делать с методологической точки зрения нельзя, – и рынки, и заемщики оценивали уровень реальных процентных ставок как сравнительно умеренный, и маховик роста кредита раскручивался вплоть до осени. В итоге, чтобы этот процесс пресечь, потребовался гораздо более высокий уровень ключевой ставки. Это пример, наверное, не самосбывающегося прогноза, но прогноза, который был некорректно считан. Мы извлекли из этого уроки». С середины прошлого года, продолжает он, ЦБ подчеркивает, что прогноз траекторий ключевой ставки актуален «только в контексте остальных предпосылок и механики прогноза». И те, кто ждет, что инфляция будет замедляться более постепенно или не будет замедляться, должны исходить из того, что в такой ситуации Центральный банк изменит траекторию ставки. «Собственно, это и описано в альтернативных сценариях прогноза», – заключил Заботкин.
На качество прогнозов, как и на результат любой интеллектуальной деятельности, влияют предвзятости, взгляды, когнитивные искажения, психологические реакции и прочее самих прогнозистов (об этом – в выпуске «Экономики на слух» с Маратом Салиховым и его колонке). Например, эксперты МВФ обнаружили, что прогнозисты слишком подвержены влиянию новостей, причем отклонения от рациональных ожиданий происходят в основном в ответ на позитивные новости.
Поведению прогнозистов и построению прогнозов посвящено немало исследований и книг (о некоторых читайте здесь), одна из наиболее известных – работа Филипа Тетлока и Дэна Гарднера «Суперпрогнозирование». Она показывает, говорит Заботкин, что «залогом хорошего прогноза является в первую очередь дисциплинированный и критический анализ новой информации, поступающей в реальном времени, и регулярный апдейт прогноза на основании этих данных. Это является более важным фактором, чем узкоспециальная экспертиза». Масштабное исследование Тетлока показало, что эксперты в среднем оказались не точнее, чем шимпанзе, играющие в дартс (но точнее, чем неэксперты). По итогам экспериментов Тетлоку удалось создать команду суперпрогнозистов. Это действительно часто не эксперт в политологии или социологии, а инженер или программист, который интересуется прогнозированием самим по себе, умеющий работать с цифрами, осторожный и склонный к аналитическому мышлению, а не к быстрым импульсивным действиям, рассказывает Салихов. Предварительные результаты его собственного (пока не опубликованного) исследования показывают, что прогнозисту могут вредить излишняя экстраверсия и старательность. Хороший прогнозист, рассказывает он, – это тот, кому интересно заниматься прогнозированием, но кто не тратит слишком много сил на сбор данных, поскольку часто это лишний шум.
Кто же будет точнее: главный герой последних лет – LLM-модели или человек, чьи прогнозы в конечном итоге языковая модель и обобщает? Поможет ли искусственный интеллект (ИИ) совершить революцию достоверности в прогнозах? Участники дискуссии признают, что LLM-модели – мощнейший инструмент, но все же ограниченной мощности. «Для интеллектуального труда это как изобретение экскаватора для людей, которые до этого копали лопатами», – сравнил Заботкин. Но пока нет оснований считать, что это панацея от субъективизма и заведомо абсолютно непредвзятый холодный разум, который гораздо умнее, чем дисциплинированный эксперт. Качество результатов LLM в задачах прогнозирования – это то, где исследования уже ведутся, но исчерпывающие выводы пока ждут своих авторов.
Сейчас проводится немало исследований, как ведут себя большие языковые модели и насколько они предвзяты.Они показывают, что LLM-модели часто принимают такие же несовершенные решения, как и люди, заметил Салихов, и поэтому могут правдоподобно симулировать поведение реальных людей. Например, работы Джона Хортона доказали, что LLM действительно способны вести себя так же, как люди, особенно когда они наделяются определенными установками, такими как стремление к справедливости или эгоизм. А работа Али Голи и Амандипа Сингха показала, что модели в целом нетерпеливее людей (подробнее про изучение поведения ИИ – в выпуске «Экономики на слух» с профессором РЭШ Дмитрием Дагаевым – можно послушать, а можно почитать).
Салихов рассказал про магистерскую диссертацию студента РЭШ Андрея Рязанцева, который взял за основу исследование Мантаса Мазейки и соавторов (2025 г.) и применил их методологию для детального анализа финансовых советов от LLM. Среди прочих результатов оригинальная работа продемонстрировала, что модели крайне негативно относятся к Илону Маску и Дональду Трампу, а также по-разному ценят жизни людей из разных стран. Работа же Рязанцева глубоко исследовала подобные результаты в финансовом контексте. Он показал, как модель, выступая в роли финансового советника, меняет свою оценку риска, этики и даже законности операций в зависимости от личности «клиента». Например, консультируя «босса мафии» или «коррумпированного диктатора», модель начинает положительно оценивать использование офшоров и других рискованных и сомнительных схем, от которых она бы предостерегла обычного инвестора.
Шибанов тоже не ожидает, что большие языковые модели приведут к революции в прогнозировании, несмотря на их все более активное использование. Даже при улучшении моделей шоки останутся, считает Шибанов, а настроение, случайные решения, человеческая химия – все это ускользает от любых алгоритмов. Для по-настоящему точных прогнозов потребовалась бы полная информация о человеческом поведении – вплоть до данных о том, «хочет человек сегодня кофе или булочку». Это означало бы практически тотальную слежку вплоть до вживления нейроинтерфейсов вроде Neuralink, что, по его словам, «вряд ли можно считать шагом в светлое будущее».
Ответ на вопрос, увидим ли мы революцию прогнозов, зависит не только от моделей, считает Салихов, а также от того, насколько усложнится поведение экономических субъектов. Возможно, заключает он, «мы научимся предсказывать развитие отдельных экономик, но нас будут волновать уже совсем другие вопросы – гораздо более сложные, чем те, на которые мы ищем ответы сейчас».
