.png)
Что получится, если дополнить судью роботом? Чем языковая модель может помочь правосудию? И готовы ли судьи доверить чат-ботам право выносить вердикты? Это проверил профессор РЭШ Султан Мехмуд, проведя масштабный эксперимент по интеграции генеративного искусственного интеллекта в судебную систему. В интервью GURU он рассказывает о результатах исследования, возможностях «искусственного помощника» судьи, а еще рассуждает о перспективах внедрения ИИ в здравоохранении и образовании.
- Вы с коллегами из Цюрихского федерального института технологий (ETH Zurich) Кристофом Гессманном и Эллиотом Эшем провели в Пакистане первый в мире масштабный эксперимент* по интеграции генеративного искусственного интеллекта (ИИ) в судебную систему. Доступ к ИИ-ассистенту JudgeGPT получили 1559 случайно выбранных судей в 120 судах. Каковы итоги: позволил ли ИИ увеличить их производительность?
- Зависит от того, как оценивать производительность. Если по количеству дел, то да – производительность выросла. В судах, где применялась большая языковая модель и проводилось обучение по ее использованию, за год было рассмотрено на 1100 дел больше, чем в контрольной группе, выросло и число разрешенных споров. Это важно для перегруженной судебной системы Пакистана.
Если же смотреть на качество работы судей, то оно не снизилось – систематических ошибок и предвзятости больше не стало, а юридическая аргументация даже улучшилась. Это позволило сделать вывод о вероятном повышении производительности труда благодаря ИИ.
Отдача зависела от опытности судей и от того, как они пользуются этим инструментом. У более опытных судей она была выше: больше выросла скорость рассмотрения дел, ощутимо улучшилось качество решений (включая стилистику судебных актов). Мы также оценивали, насколько устойчиво судьи используют JudgeGPT и снижается ли число апелляций. В регионах, где судьи чаще работали с JudgeGPT и проходили обучение, дел разрешается больше, а количество апелляций на одно решение не увеличивается и даже слегка снижается.
Важным фактором было обучение методам работы с ИИ. Наш эксперимент охватывал 80% территории Пакистана. На начальном этапе исследования мы выяснили, что менее 20% судей когда-либо использовали большие языковые модели, такие как ChatGPT. Мы не ожидали, что их будет так мало. Некоторые судьи лишь слышали о больших языковых моделях. Судьи привыкли готовить документы на компьютере или даже от руки и не были знакомы с библиотеками промптов – рабочим набором шаблонов, примеров запросов и инструкций, который помогает использовать языковую модель для типовых юридических задач. Поэтому сначала требовалось научить респондентов эффективно пользоваться инструментом.
Если судьи не проходили обучение, они переставали использовать ИИ очень быстро – примерно через две недели. А те, кто прошел обучение, продолжали активно применять ИИ и через год после начала эксперимента. Поэтому целевое обучение было принципиально важным фактором. Замечу, что эксперимент продолжается. Мы получили результаты за один год. Скорее всего, он продлится два года.
- Вы сказали, что отдача от ИИ была выше у более опытных судей. А насколько ИИ способен компенсировать недостаток опыта, который так важен для судей? И может ли JudgeGPT решать дела вместо судьи?
- В этом эксперименте мы не ставим задачей ответить на вопрос, может ли решение, вынесенное ИИ, быть лучше, чем у судьи, или будет ли оно менее предвзятым. Мы проверяем, как применение языковой модели влияет на производительность судей и качество их решений.
Действительно, были судьи, которые делегировали ИИ принятие решений. Однако таких было очень мало: совета у ИИ спрашивало всего 5% судей. Все же подпись под вердиктом ставит судья, он отвечает за решение и должен быть уверен в каждом слове. Большинство же – 95% судей – задействуют ИИ только во вспомогательных, рутинных операциях, там, где он особенно хорош: для перевода, краткого изложения фактов без потери смысла, поиска релевантной информации, ее систематизации и структурирования, для редактирования документов.
- Возможно, судьи консервативны и привыкли полагаться на собственные силы, а начав использовать JudgeGPT и научившись работать с ним, станут делегировать ему больше задач.
- Напротив, со временем они стали делегировать JudgeGPT меньше задач. Если поначалу они обращались к нему по общим правовым вопросам, то после целенаправленного обучения стали использовать JudgeGPT более избирательно и для более узких задач: подготовки проектов документов, краткого пересказа, улучшения формулировок и проверки данных. Это говорит о том, что они научились понимать, где этот инструмент полезен, а где на первый план должен выходить собственный выбор.
- А как менялось отношение к ИИ, стали ли они более оптимистично оценивать его возможности?
- Да, мы увидели среди респондентов рост оптимизма по поводу возможностей этого инструмента.
Еще одна важная подробность. Наш эксперимент показал, что благодаря ИИ можно улучшить качество не только работы, но и жизни судей, поскольку он позволяет использовать рабочее время более рационально. Некоторые участники эксперимента отметили, что стали более эффективно распределять время между работой и отдыхом.
- Может ли JudgeGPT стать инструментом созидательного разрушения для судебного сектора?
- Наши данные не подтверждают ни теорию созидательного разрушения, ни концепцию деструктивного разрушения (первое ведет к появлению более производительных рабочих мест и фирм, при втором разрушение происходит, но более производительной замены не возникает. – Ред.). В судебном секторе внедрение ИИ не приводит к вытеснению рабочих мест, поскольку судьи оставляют за собой значительную часть работы по подготовке судебных актов и принятию решений.
- А влияет ли ИИ не только на качество и обоснованность решений, но и на их характер? Например, не стало ли больше оправдательных или более мягких вердиктов? Одно из ваших исследований показало, что во время Рамадана судьи-мусульмане выносили больше оправдательных приговоров, чем в другие месяцы.
- Я бы здесь проявил большую осторожность в оценках. Самые четкие результаты эксперимента – это рост числа разрешенных дел, готовность использовать ИИ и улучшение качества текстов. Мы не видим доказательств того, что JudgeGPT систематически влияет на исход дел и характер приговоров – в оправдательную или обвинительную сторону. Мы также не обнаружили роста гендерной или религиозной предвзятости в решениях или формулировках судей.
- Видите ли вы интерес к вашей модели JudgeGPT со стороны экспертов из других стран?
- К нам обращались представители судебной системы Великобритании с просьбой о консультационной поддержке. Интерес к внедрению модели в судебную систему проявляют некоторые судьи из США. Сейчас у меня недостаточно ресурсов для оказания им полноценной помощи. Однако это то направление работы, которое мы с моими коллегами из Швейцарской высшей технической школы Цюриха (ETH Zurich) могли бы рассмотреть в будущем – с точки зрения как практической поддержки, так и развития научных результатов.
- Но структура судебных органов разнится по странам. Получится ли обучить модель так, чтобы ее можно было экспортировать?
- Я не думаю, что JudgeGPT привязанa к пакистанскому праву и судебным решениям этой страны. Модель универсальна, поэтому ее можно адаптировать под нужды разных правительств и использовать в других странах. Но делать это нужно с осторожностью.
- Дорого ли обходится разработка такой системы и сколько стоит процесс обучения сотрудников, которые используют модель?
- Мы разрабатывали ее на безвозмездной основе. Обучение было тоже бесплатным. Мы провели примерно 18 лекций по 90 минут. Многое зависит от преподавателей, и, конечно, нам очень помогли специалисты, которые разбираются в компьютерных науках. Но и тот, кто не является специалистом, способен понять основы модели.
Можно научиться чему угодно, если ты действительно этого хочешь. Например, я и мои студенты проводили исследование о влиянии радио на сталинские репрессии. Чтобы определить эффект в разных регионах СССР, нам пришлось разобраться в радиофизике: как волны проходят от передатчиков, где сигнал сильнее, а где – слабее. С JudgeGPT было примерно так же. Поэтому я говорю студентам: если есть интерес, можно выучить все, что угодно.
- Это вопрос времени и мотивации.
- Всегда можно найти время на то, что тебе по-настоящему интересно.
- А как вы пришли к тому, чтобы сделать модель JudgeGPT? Это было связано с интересом именно к ИИ?
- Последние 10 лет я изучал правосудие. Судебная система Пакистана была темой моей диссертации. Сейчас работаю над статьей по индонезийской судебной системе. Изучая разные судебные системы, я заметил одну общую проблему – это огромные задержки в рассмотрении дел. Поэтому мое желание заняться ИИ объяснялось не тем, что я технооптимист или технопессимист, я просто понял, что это полезная технология, которая может сократить задержки. Думаю, исследовательские работы тем лучше, чем больше они помогают понять не только проблему, но и способы ее решения.
Я работаю в двух областях – политической экономии и экономики развития. Меня занимают два вопроса: почему одни страны богаты, а другие бедны и почему одни более демократичны, а другие – менее? Это главные проблемы. Вопросы эффективности государства и демократии, улучшения институтов – это уже подвопросы больших тем. Самые интересные исследования в этой области – те, которые берут реальную проблему институтов и ищут способы их улучшить. Это дает и фундаментальное знание, и практический результат. Так и с судами. Если нам удается сделать их более быстрыми и независимыми, то мы вносим вклад в рост экономики: суды обеспечивают исполнение контрактов, защищают права людей, они чувствуют себя более свободными и готовы больше инвестировать.
- Есть много работ, показывающих, что ИИ может повысить производительность в частном секторе. Ваш эксперимент показывает это и на примере общественного сектора. А как вы относитесь к идеям передать ИИ часть работы в другом общественном секторе, где цена ошибки также очень велика, – в здравоохранении?
- Я отношусь к таким экспериментам с большой осторожностью и проводил бы их там, где они подскажут решение определенных проблем. Почему исследования, подобные нашему, имеет смысл проводить в судебных системах развивающихся стран? В прошлом году в Пакистане нерассмотренными остались 2,26 млн дел, годом ранее их было 1,6 млн. Судей не хватает. Когда не хватает рабочих рук, потенциальный вред от использования ИИ при рассмотрении дела будет не так уж велик по сравнению с последствиями затягивания при рассмотрении дел. Это настоящий бич для правосудия, и, даже если внедрение ИИ требует затрат, он может принести пользу.
В медицине похожая картина: ИИ может принести отдачу, если здравоохранение не справляется с наплывом пациентов, люди долго ждут помощи, есть проблемы с планированием графика работы врачей и клиник. Другой вопрос – насколько ИИ-врач может оказаться лучше живого врача. Вероятно, ИИ сможет диагностировать заболевания в будущем, но до этого пока далеко.
- А каковы перспективы внедрения ИИ в образовании?
- Огромные. Если человек хочет получить знания, ИИ может предоставить колоссальные возможности: объяснить теории, привести различные точки зрения, предоставить требуемую статистику. ИИ может быть креативным образовательным инструментом.
- И заменить профессоров?
- Профессора создают и формируют знания, это не связано с обработкой информации. Но научить студентов выполнять некоторые задачи ИИ может даже лучше, чем многие профессора.
- Может ли ИИ заменить университеты в тех регионах и странах, где нет доступа к высшему образованию?
- Не думаю. Мне не кажется, что ИИ способен решить проблемы образования. Он может упростить доступ к информации, но не заменить сложный процесс обучения. Образование – это еще и потребность в знаниях, любознательность, дисциплина, способность к критическому мышлению.
- Какие направления в изучении воздействия ИИ на экономику и общество кажутся вам наиболее интересными?
- ИИ – это настоящая находка для исследователей, поскольку он ставит перед нами новые вопросы и делает жизнь интереснее, даже если это сопряжено с рисками. ИИ сродни электричеству: это технология общего назначения, которая проникает во все сферы. Проведенное нами исследование JudgeGPT – лишь один из проектов, которые я планирую реализовать с коллегами из других стран.
Крупнейшие и наиболее авторитетные мировые конференции включают в свою программу секции по ИИ. Я планирую принять участие в одной из наиболее престижных конференций Национального бюро экономических исследований (NBER) на сессии «Искусственный интеллект и цифровизация», где запланирован мой доклад. Я очень жду этого события.
Однако в первую очередь меня интересует вопрос, как ИИ может влиять на наши взгляды, политические убеждения и экономические решения. Это очень глубокая тема.
- ИИ способен проводить сценарный анализ и автоматизировать множество операций, предлагая вам сотни вариантов. В некоторых случаях он предоставляет гораздо больше вариантов, чем вы бы стали рассматривать. Это сильно увеличивает когнитивную нагрузку на человека. Как вы оцениваете потенциал использования ИИ для проведения исследований в области экономики? Проще говоря, как ИИ влияет на производительность экономистов?
Это очень интересный вопрос. В экономических исследованиях можно выделить два направления. Одно – это эмпирические исследования, когда на основе данных вы пытаетесь выяснить, вызывает ли X изменение Y. Это вопрос о причинности. Например, способствовало ли гитлеровское радио тому, что немцы активнее преследовали евреев? Или, возможно, дело не в радио, а в том, что где-то изначально было много антисемитов (нацистская радиопропаганда действительно усиливала преследование евреев, но ее влияние было особенно сильным в районах, где антисемитские настроения исторически были высокими. – Ред.)?
Влияние СhatGPT на производительность – это тоже эмпирический вопрос. И чтобы ответить на него, нужны данные. Пока у нас их нет. Требуется продуманный дизайн исследования, чтобы можно было получить надежные эмпирические результаты.
Второе направление, которым занимаются экономисты, – это теория. Я занимаюсь и теорией, и эмпирическими исследованиями, но в основном – эмпирикой, а теория скорее хобби. В теоретических исследованиях экономисты не генерируют сценарии, они определяют ключевую взаимосвязь, которая бы объяснила явление.
Для оценки влияния ИИ на производительность нужно построить модель, которая отбросит второстепенные факторы. Представим, что с его помощью вы ищете ответ на популярный вопрос: почему одни страны богаты, а другие бедны? Ответов сотни. ИИ выдаст 20 разных версий: в одних странах очень высокая коррупция, в других – слабое образование, в третьих – плохие институты, в четвертых – мало инноваций и т. д. Теоретик спросит: какая причина является самой главной? Какие ограничения являются самыми существенными? И только после рассмотрения этих вопросов начнет писать модель. Это как в физике, когда ученые пренебрегают сопротивлением воздуха и другими факторами, чтобы сформулировать закон. Пока ChatGPT и другие LLM не способны вычленить главное – образно говоря, не видят леса за деревьями. Научная работа требует интуиции и креативности. Это скорее искусство, чем наука. ИИ всего этого пока не хватает.
- То есть недостаточно загрузить в языковую модель множество книг и релевантной информации, чтобы она заменила эксперта. Чтобы научиться мыслить, как экономист, и выявлять экономические закономерности, нужно много лет учиться, окончить университет, аспирантуру, получить ученую степень.
- Я не из тех, кто считает, что эксперты и профессора со степенью доктора философии (PhD) обладают монополией на знания. Даже студент, не прошедший полный курс обучения, может создать новое знание. Для этого требуется желание, любопытство и научный метод. Я даю студентам большую свободу, стараюсь их вдохновлять и учить научному методу. При наличии дисциплины, профессионального наставника и правильного настроя наличие ученой степени не является необходимым минимумом для проведения исследований. Это лишь сигнал. Например, у Альберта Эйнштейна, безусловно, была ученая степень, но свои работы 1905 г., которые перевернули физику, он написал, работая в швейцарском патентном ведомстве, формально не имея ни докторской степени, ни университетской должности. Эти работы были посвящены броуновскому движению (что помогло подтвердить существование молекул), фотоэффекту, теории относительности и эквивалентности массы и энергии. Научная ценность идеи определяется не формальными регалиями. Труды Эйнштейна были важны не потому, что он занимал какой-либо институциональный пост или имел (или не имел) докторскую степень, а потому, что они были оригинальными и изменили восприятие мира. Поклонение экспертам и поклонение знанию – это разные вещи: эксперты не тождественны знанию.
* Работа на момент интервью не опубликована. Результаты будут представлены на конференции NBER в июле.
