AI가 어떤 정보를 전달할지 누가 결정할까? 메타(Meta) 전 뉴스 총괄 캠벨 브라운이 이에 대해 의견을 밝혔다.

캠벨 브라운은 경력을 쌓아오는 내내 정확한 정보를 추구해 왔습니다. 처음에는 저명한 텔레비전 기자로, 그 후에는 페이스북의 최초이자 유일한 전담 뉴스 책임자로 활동했습니다. 이제 AI가 사람들의 정보 소비 방식을 재편하는 가운데, 그녀는 역사가 반복될 위기에 처해 있다고 보고 있습니다. 이번에는 그녀가 누군가가 문제를 해결해 주기를 기다리지 않습니다.

그녀가 최근 샌프란시스코에서 열린 'StrictlyVC' 행사에서 테크크런치의 팀 페른홀츠와 논의한 바와 같이, 그녀가 설립한 회사 '포럼 AI(Forum AI)'는 기초 모델이 그녀가 "중대한 주제"라고 칭하는 지정학, 정신 건강, 금융, 채용 분야에서 어떻게 작동하는지 평가한다. 이는 "명확한 예 또는 아니오로 답할 수 없고, 모호하며, 미묘하고 복잡한" 주제들이다.

이 접근 방식은 세계 최고의 전문가들을 섭외해 벤치마크를 설계하게 한 뒤, 대규모로 모델을 평가할 수 있는 AI 심사관을 훈련시키는 것을 포함한다. 포럼 AI(Forum AI)의 지정학 관련 연구를 위해 브라운은 닐 퍼거슨, 파리드 자카리아, 토니 블링컨 전 국무장관, 케빈 매카시 전 하원의장, 그리고 오바마 행정부에서 사이버보안을 총괄했던 앤 뉴버거를 영입했다. 목표는 AI 심사위원과 이들 인간 전문가 간의 합의율을 약 90%까지 끌어올리는 것이며, 그녀는 포럼 AI가 이미 이 기준에 도달했다고 말한다.

브라운은 17개월 전 뉴욕에서 설립된 포럼 AI의 기원을 특정 순간으로 거슬러 올라간다. “챗GPT가 처음 공개되었을 때 저는 메타(Meta)에 있었습니다,”라고 그녀는 회상하며, “그 직후 이것이 모든 정보가 흐르는 통로가 될 것이라는 사실을 깨달았던 기억이 납니다. 그리고 그 통로는 별로 좋지 않았죠.” 이 일이 자신의 자녀들에게 미칠 영향 때문에 그 순간은 거의 실존적인 위기로 느껴졌다. “우리가 이 문제를 해결하는 방법을 찾지 못하면 내 아이들은 정말 멍청해질 거야,”라고 그녀는 생각했던 것을 기억한다.

그녀를 가장 답답하게 만든 것은 정확성이 누구에게도 우선순위가 아닌 듯 보였다는 점이었다. 그녀는 파운데이션 모델 기업들이 “코딩과 수학에만 극도로 집중하고 있다”고 말했으며, 뉴스와 정보는 더 다루기 어렵다고 지적했다. 하지만 더 어렵다고 해서 선택 사항이 될 수는 없다고 그녀는 주장했다.

실제로 포럼 AI가 주요 모델들을 평가하기 시작했을 때, 그 결과는 그리 고무적이지 않았다. 그녀는 제미니(Gemini)가 “중국과 전혀 관련 없는 기사”를 작성하기 위해 중국 공산당 웹사이트에서 정보를 가져온 사례를 들었으며, 거의 모든 모델에 걸쳐 좌파 성향의 정치적 편향이 존재한다고 지적했다. 또한 맥락 생략, 관점 누락, 인정 없이 상대방의 주장을 왜곡하는 등 더 미묘한 오류들도 많다고 그녀는 말했다. “아직 갈 길이 멀다”고 그녀는 말했다. “하지만 결과를 획기적으로 개선할 수 있는 아주 간단한 해결책들도 있다고 생각한다.”

브라운은 페이스북에서 수년간 플랫폼이 잘못된 지표를 기준으로 최적화할 때 어떤 일이 벌어지는지 지켜보았다. “우리가 시도한 많은 일에서 실패했습니다,”라고 그녀는 페른홀츠에게 말했다. 그녀가 구축했던 팩트체킹 프로그램은 더 이상 존재하지 않는다. 소셜 미디어가 이를 외면해 왔더라도, 참여도를 높이기 위한 최적화는 사회에 해를 끼쳤고 많은 사람들의 정보 접근성을 저하시켰다는 것이 교훈이다.

그녀는 AI가 그 악순환을 끊어줄 수 있기를 희망한다. “현재로서는 양방향으로 갈 수 있습니다,”라고 그녀는 말했다. 기업들은 사용자들이 원하는 것을 제공할 수도 있고, “사람들에게 진짜이고 정직하며 진실된 정보를 제공할” 수도 있다. 그녀는 이상적인 버전—진실을 위해 최적화되는 AI—이 순진하게 들릴 수 있음을 인정했다. 하지만 그녀는 기업들이 이 문제에서 의외의 동맹이 될 수 있다고 생각한다. 신용 심사, 대출, 보험, 채용에 AI를 활용하는 기업들은 법적 책임을 중요하게 여기며, “정확한 결과를 도출하도록 최적화하기를 원할 것”이라고 그녀는 말했다.

이러한 기업의 요구는 바로 포럼 AI가 사업으로 삼고 있는 분야이기도 하지만, 규정 준수 관련 관심을 꾸준한 수익으로 전환하는 것은 여전히 어려운 과제다. 특히 현재 시장의 상당 부분이 브라운이 부적절하다고 여기는 체크리스트 방식의 감사와 표준화된 벤치마크에 여전히 만족하고 있다는 점을 고려하면 더욱 그렇다.

그녀는 규정 준수 현황을 두고 “말도 안 되는 일”이라고 말했다. 뉴욕시가 AI 감사를 의무화하는 최초의 채용 편향 방지법을 통과시켰을 때, 주 감사관은 절반 이상에서 미검출된 위반 사항이 발견되었다고 밝혔다. 진정한 평가에는 알려진 시나리오뿐만 아니라 “사람들이 생각지도 못한 문제에 휘말리게 할 수 있는” 극단적인 사례까지 다루기 위한 분야별 전문 지식이 필요하다고 그녀는 말했다. 그리고 그런 작업에는 시간이 걸린다. “능숙한 다재다능한 인재만으로는 부족하다.”

지난 가을 레러 히포(Lerer Hippeau)가 주도한 300만 달러 규모의 투자 유치에 성공한 브라운은, AI 업계의 자화상과 대다수 사용자의 현실 사이의 괴리를 설명하기에 누구보다 적합한 위치에 있다. 그녀는 “대형 기술 기업 리더들은 ‘이 기술이 세상을 바꿀 것이다’, ‘이 기술이 당신을 실직시킬 것이다’, ‘이 기술이 암을 치료할 것이다’라고 말하곤 한다”고 말했다. “하지만 챗봇을 이용해 기본적인 질문만 하는 일반인들에게는 여전히 엉터리 답변이나 잘못된 답변이 쏟아지고 있습니다.”

AI에 대한 신뢰도는 극히 낮은 수준이며, 그녀는 이러한 회의론이 많은 경우 정당하다고 생각한다. “실리콘밸리에서는 한 가지 주제를 중심으로 대화가 이루어지고 있지만, 소비자들 사이에서는 완전히 다른 대화가 오가고 있습니다.”