Кто решает, какую информацию вам предоставляет ИИ? Своё мнение высказывает бывший руководитель новостного отдела Meta Кэмпбелл Браун.

На протяжении всей своей карьеры Кэмпбелл Браун стремилась к точности информации — сначала как известная тележурналистка, а затем как первый и единственный руководитель новостного направления в Facebook. Сейчас, когда искусственный интеллект меняет то, как люди потребляют информацию, она видит, что история грозит повториться. На этот раз она не собирается ждать, пока кто-то другой исправит ситуацию.

Ее компания Forum AI — о которой она недавно рассказала Тиму Фернхольцу из TechCrunch на вечере StrictlyVC в Сан-Франциско — оценивает, как базовые модели работают с тем, что она называет «темами с высокими ставками»: геополитика, психическое здоровье, финансы и найм персонала. Это темы, в которых «нет четких ответов «да» или «нет», где все неоднозначно, тонко и сложно».

Подход заключается в поиске ведущих мировых экспертов, поручении им разработки тестов, а затем обучении ИИ-экспертов для оценки моделей в широком масштабе. Для работы Forum AI в области геополитики Браун привлекла Нила Фергюсона, Фарида Закарию, бывшего госсекретаря Тони Блинкена, бывшего спикера Палаты представителей Кевина Маккарти и Энн Нойбергер, которая возглавляла работу по кибербезопасности при администрации Обамы. Цель состоит в том, чтобы достичь примерно 90-процентного консенсуса между судьями-ИИ и этими экспертами-людьми — порог, который, по ее словам, Forum AI уже достиг.

Браун связывает возникновение Forum AI — основанной 17 месяцев назад в Нью-Йорке — с конкретным моментом. «Я работала в Meta, когда ChatGPT впервые был представлен публике, — вспоминает она, — и помню, что вскоре после этого поняла: это станет воронкой, через которую будет проходить вся информация. И это не очень хорошо». Последствия для ее собственных детей сделали этот момент почти экзистенциальным. «Мои дети станут действительно глупыми, если мы не разберемся, как это исправить», — вспоминает она.

Больше всего ее расстраивало то, что точность, казалось, ни для кого не была приоритетом. По ее словам, компании, разрабатывающие базовые модели, «чрезвычайно сосредоточены на программировании и математике», в то время как новости и информация — это более сложная задача. Но, как она утверждала, то, что это сложнее, не означает, что это необязательно.

Действительно, когда Forum AI приступила к оценке ведущих моделей, результаты оказались не слишком обнадеживающими. Она привела пример того, как Gemini черпает информацию с сайтов Коммунистической партии Китая «для статей, не имеющих никакого отношения к Китаю», и отметила левый политический уклон практически во всех моделях. По ее словам, также много более тонких промахов, включая отсутствие контекста, отсутствие точек зрения и софизмы без указания на это. «Впереди еще долгий путь», — сказала она. «Но я также думаю, что есть несколько очень простых решений, которые значительно улучшили бы результаты».

Браун провела годы в Facebook, наблюдая за тем, что происходит, когда платформа оптимизируется под неверные показатели. «Мы потерпели неудачу во многих вещах, которые пробовали», — сказала она Фернхольцу. Программа проверки фактов, которую она создала, больше не существует. Урок — даже если социальные сети закрывают на него глаза — заключается в том, что оптимизация под вовлеченность нанесла вред обществу и привела к тому, что многие люди стали менее информированными.

Она надеется, что ИИ сможет разорвать этот круг. «Сейчас все может пойти в любом направлении», — сказала она; компании могут дать пользователям то, что они хотят, или они могут «дать людям то, что реально, честно и правдиво». Она признала, что идеалистическая версия — ИИ, оптимизированный для правды — может показаться наивной. Но она считает, что бизнес может оказаться неожиданным союзником в этом вопросе. Компании, использующие ИИ для принятия решений о кредитовании, предоставлении займов, страховании и найме персонала, заботятся о своей ответственности и «хотят, чтобы вы оптимизировали систему для получения правильных результатов».

Именно на этот спрос со стороны предприятий и делает ставку Forum AI, хотя превращение интереса к соблюдению нормативных требований в стабильный доход остается сложной задачей, особенно с учетом того, что большая часть нынешнего рынка по-прежнему удовлетворяется формальными проверками и стандартизированными критериями, которые Браун считает неадекватными.

Ситуация с соблюдением нормативных требований, по ее словам, — «просто смех». Когда Нью-Йорк принял первый закон о дискриминации при найме, требующий проведения аудитов ИИ, государственный контролер обнаружил, что более половины компаний имели нарушения, которые остались незамеченными. По ее словам, для реальной оценки требуются экспертные знания в данной области, чтобы проработать не только известные сценарии, но и крайние случаи, которые «могут втянуть вас в неприятности, о которых люди даже не задумываются». А такая работа требует времени. «Умные универсалы здесь не справятся».

Браун, чья компания прошлой осенью привлекла 3 миллиона долларов под руководством Lerer Hippeau, находится в уникальном положении, чтобы описать разрыв между самооценкой индустрии ИИ и реальностью для большинства пользователей. «Вы слышите от руководителей крупных технологических компаний: «Эта технология изменит мир», «она лишит вас работы», «она излечит рак», — сказала она. «Но для обычного человека, который просто использует чат-бота, чтобы задать простые вопросы, ответы по-прежнему остаются неточными и ошибочными».

Уровень доверия к ИИ находится на чрезвычайно низком уровне, и она считает, что скептицизм во многих случаях оправдан. «В Кремниевой долине разговор идет в основном об одном, а среди потребителей — о совершенно другом».