IQ : AI 평가를위한 결함 측정

최근 언론 행사에서 OpenAI의 CEO인 Sam Altman은 AI의 "IQ"의 급속한 발전에 대한 자신의 생각을 공유했습니다. 그는 "매우 대략적으로 말하자면, 이것은 과학적으로 정확하지 않고, 단지 느낌이나 영적인 답변일 뿐ですが, 매년 우리는 IQ의 한 표준편차를 이동하는 것처럼 느껴집니다."라고 언급했습니다. Altman만 IQ를 AI의 발전을 측정하는 척도로 사용하는 것이 아닙니다; 소셜 미디어 인플루언서들도 AI 모델을 IQ 테스트에 통과시키고 결과를 공유하는 것으로 알려져 있습니다.

그러나 많은 전문가들은 IQ를 AI의 능력을 평가하는 데 사용하는 것이 부적절할 뿐만 아니라 오해를 불러일으킨다고 주장합니다. 옥스퍼드에서 기술과 규제를 연구하는 Sandra Wachter는 TechCrunch에 "인간에게 사용하는 동일한 척도를 사용하여 능력이나 발전을 설명하려는 유혹이 있을 수 있지만, 이는 사과와 오렌지를 비교하는 것과 같습니다."라고 말했습니다.

언론 회견에서 Altman은 IQ를 지능과 동일시하는 것처럼 보였습니다. 하지만 IQ 테스트는 특정 유형의 지능에 대한 상대적인 측정이지 절대적인 측정이 아닙니다. 일반적으로 논리와 추상적 추론의 좋은 지표로 여겨지지만, 실질적인 지능—일을 작동시키는 방법을 알아내는 데 도움이 되는 종류—에 있어서는 부족합니다. 게다가, 그들은 누군가의 능력에 대한 단편적인 스냅샷만 제공합니다.

Wachter는 "IQ는 과학자들이 인간 지능이 어떤 모습이라고 믿는 것에 기반하여 인간의 능력을 측정하는 도구입니다—논란이 많은 도구이죠. 하지만 동일한 척도를 AI의 능력을 설명하는 데 사용할 수는 없습니다. 자동차는 인간보다 빠르고, 잠수함은 다이빙에 더 뛰어납니다. 하지만 이것이 자동차나 잠수함이 인간의 지능을 초월한다는 의미는 아닙니다. 당신은 성능의 한 측면을 인간의 지능과 동일시하고 있는데, 인간의 지능은 훨씬 더 복잡합니다."라고 지적했습니다.

IQ 테스트의 기원은 우생학, 즉 선택적 번식을 통해 인간을 개선하려는 신뢰를 잃은 이론과 연결되어 있습니다. 이 테스트에서 좋은 점수를 얻으려면 좋은 작업 기억력과 서구 문화적 규범에 대한 친숙함이 필요하며, 이는 편견을 초래할 수 있습니다. 워싱턴 대학교에서 윤리적 AI를 연구하는 박사 과정 학생인 Os Keyes는 AI 모델이 IQ 테스트에서 좋은 성적을 낸다면, 이는 모델의 능력보다는 테스트의 단점을 더 많이 말해준다고 믿습니다. Keyes는 "이 테스트들은 사실상 무한한 기억력과 인내심이 있다면 쉽게 조작할 수 있습니다. IQ 테스트는 인지, 감각, 지능을 측정하는 매우 제한적인 방법이며, 이는 디지털 컴퓨터가 발명되기 전부터 우리가 알고 있던 사실입니다."라고 말했습니다.

AI는 방대한 기억력과 지식을 손끝에 가지고 있기 때문에 IQ 테스트에서 불공정한 우위를 가질 수 있습니다. 그들은 종종 IQ 테스트 문제를 포함한 공개 웹 데이터로 훈련됩니다. 런던 킹스 칼리지에서 AI를 전문으로 하는 연구원인 Mike Cook은 "테스트는 매우 유사한 패턴을 반복하는 경향이 있습니다—IQ를 높이는 꽤 확실한 방법은 IQ 테스트를 연습하는 것이며, 이는 본질적으로 모든 모델이 한 일입니다. 내가 무언가를 배울 때, AI와 달리 완벽한 명확성으로 백만 번 뇌에 입력되지 않고, 소음이나 신호 손실 없이 처리할 수도 없습니다."라고 언급했습니다.

Cook은 또한 IQ 테스트가 인간의 일반적인 문제 해결 능력을 평가하기 위해 설계된, 내재된 편견을 가진 테스트라고 지적했습니다. 이는 AI에는 적합하지 않으며, AI는 문제를 다르게 해결합니다. 그는 "까마귀는 도구를 사용하여 상자에서 간식을 꺼낼 수 있지만, 그렇다고 해서 하버드에 등록할 수 있는 것은 아닙니다. 내가 수학 문제를 풀 때, 내 뇌는 페이지의 단어를 정확히 읽는 능력, 집에 가는 길에 해야 할 쇼핑에 대해 생각하지 않는 능력, 또는 지금 방이 너무 춥지 않은지에 대해서도 다룹니다. 즉, 인간의 뇌는 문제를 해결할 때—IQ 테스트든 아니든—훨씬 더 많은 것들과 경쟁하며, AI보다 훨씬 적은 도움으로 이를 수행합니다."라고 말했습니다.

AI Now Institute의 수석 AI 과학자인 Heidy Khlaaf는 TechCrunch에 AI를 테스트하는 더 나은 방법이 필요하다고 말했습니다. 그녀는 "계산의 역사에서 우리는 계산 능력을 인간의 능력과 정확히 비교하지 않았습니다. 왜냐하면 계산의 본질은 시스템이 이미 인간의 능력을 초월하는 작업을 완료할 수 있다는 것을 의미하기 때문입니다. 시스템의 성능을 인간의 능력과 직접 비교한다는 아이디어는 최근에 나타난 현상으로, 매우 논란이 많으며, AI 시스템을 평가하기 위해 계속 확장되고 이동하는 벤치마크를 둘러싼 논란과 관련이 있습니다."라고 말했습니다.