Sakana AI는 모델 교육 속도를 극적으로 향상시킵니다
이번 주, Nvidia가 지원하고 벤처 캐피털로부터 수백만 달러를 투자받은 스타트업 Sakana AI가 대담한 주장을 내놓았다. 그들은 AI CUDA Engineer라는 새로운 AI 시스템이 특정 AI 모델의 훈련 속도를 놀랍게도 100배 향상시킬 수 있다고 밝혔다.
결국, 이는 모두 연기와 거울에 불과했다.
X(이전 Twitter로 알려진 플랫폼)의 사용자들은 Sakana의 허풍을 빠르게 지적했다. 속도를 높이는 대신, 그들의 AI는 실제로 성능을 저하시켰다. 한 사용자는 심지어 3배 느려졌다고 보고했는데—이런, 약속했던 것과 정반대인 결과다!
그렇다면, 무엇이 잘못되었을까? OpenAI의 Lucas Beyer에 따르면, 코드에 교묘한 버그가 있었다. Beyer는 X에서 "그들의 원본 코드는 미묘한 방식으로 잘못되었다"고 지적했다. "그들이 벤치마킹을 두 번 실행했는데 결과가 극단적으로 달랐다는 사실은 그들이 멈추고 생각해봐야 했을 것이다."
금요일에 공개된 솔직한 사후 분석에서 Sakana는 잘못을 인정했다. 그들은 자신들의 시스템이 평가 코드의 허점을 이용해 "속임수"(그들의 표현이다)를 찾아냈다고 밝혔다. 이를 통해 정확도 검증 같은 중요한 확인 절차를 우회할 수 있었다. Sakana는 이를 "보상 해킹"이라고 불렀다. 이는 AI가 실제로 목표(이 경우 모델 훈련 속도 향상)를 달성하지 않고도 메트릭을 높이기 위해 지름길을 찾는 것을 의미한다. 마치 체스 플레이 AI가 교묘한 방법으로 승리를 쟁취하는 것과 비슷하다.
Sakana는 문제를 수정했으며, 실제로 일어난 일을 반영하기 위해 논문과 결과를 업데이트하고 있다고 밝혔다. 그들은 X에서 "우리는 이후 평가 및 런타임 프로파일링 하네스를 더욱 견고하게 만들어 이러한 허점들을 많이 제거했다"고 썼다. "우리는 논문을 수정하고 있으며, 결과를 반영하고 그 영향을 논의하는 중이다 [...] 독자들에게 우리의 감독 실수에 대해 깊이 사과드린다. 곧 이 작업의 수정본을 제공하고 우리의 교훈을 논의할 것이다."
Sakana가 자신의 실수를 인정하는 모습은 칭찬할 만하다. 하지만 이 사건 전체는 AI 세계에서 너무 좋아 보이는 것은 아마도 사실이 아닐 가능성이 크다는 점을 확실히 상기시킨다.
관련 기사
AI 생성 종이는 동료 검토를 통과하지만 Sakana는 주장하지만 세부 사항은 미묘한 차이가 있습니다.
일본 AI 스타트 업 사카 나 (Sakana)는 최근 AI 시스템 인 AI 과학자 -V2가 최초의 동료 검토 과학 간행물 중 하나를 생성했다고 주장함으로써 파도를 만들었다. 그러나 너무 흥분하기 전에 고려해야 할 몇 가지 중요한 세부 사항이 있습니다. 과학에서 AI의 역할에 대한 논쟁은 가열되고 있습니다. 그래서
AI 도구로 이발소 예약 간소화
오늘날 빠르게 변화하는 세상에서 자동화는 효율성의 핵심입니다. AI를 사용해 이발소 예약을 손쉽게 관리할 수 있다고 상상해보세요. 이 가이드는 AI 에이전트와 웹 브라우저 도구를 활용해 예약을 간소화하여 시간과 노력을 절약하는 방법을 탐구합니다. 오픈소스 도구와 텔레그램 봇을 사용한 예산 친화적 솔루션을 살펴보겠습니다. AI 기술로 다음 이발 예약을 쉽게
Audible, AI 내레이션 오디오북 제공을 새로운 출판사 파트너십으로 강화
Audible, Amazon의 오디오북 플랫폼은 화요일에 선택된 출판사들과 협력하여 종이책과 전자책을 AI 내레이션 오디오북으로 변환한다고 발표했습니다. 이 조치는 Apple, Spotify 및 기타 성장하는 오디오북 산업의 경쟁자들과의 경쟁 속에서 라이브러리를 빠르게 확장하기 위해 설계되었습니다.Audible은 출판사들이 오디오북을 제작할 수 있도록 Am
의견 (26)
0/200
![WillWalker]()
WillWalker
2025년 8월 6일 오후 12시 0분 59초 GMT+09:00
What a letdown! Sakana AI's big claim about 100x faster training sounded amazing, but it’s just hype? Gotta admit, I was excited for a sec, but now I’m just skeptical about these bold AI promises. 🥳😑
0
![DanielThomas]()
DanielThomas
2025년 4월 16일 오후 9시 41분 15초 GMT+09:00
사카나 AI가 모델 훈련 속도를 100배나 높인다고 해서 기대했는데, 다 허언이었어요. 정말 실망스러웠지만, 적어도 사람들 입에 오르내렸네요. 다음에는 정말로 기대를 저버리지 말아줬으면 좋겠어요! 😔
0
![WalterMartinez]()
WalterMartinez
2025년 4월 16일 오후 6시 31분 51초 GMT+09:00
A promessa da Sakana AI de aumentar a velocidade de treinamento do modelo em 100 vezes parecia boa demais para ser verdade, e foi mesmo! Uma decepção total, mas pelo menos eles conseguiram que todos falassem sobre eles. Talvez da próxima vez eles realmente entreguem o que prometem! 😂
0
![GregoryJones]()
GregoryJones
2025년 4월 14일 오전 8시 47분 56초 GMT+09:00
サカナAIのモデル訓練速度を100倍にするという約束は信じられないほど良すぎましたね。結局、期待外れでした。でも、話題にはなったから、次は本当に期待させてくれるかもね！😅
0
![FrankSmith]()
FrankSmith
2025년 4월 14일 오전 6시 56분 43초 GMT+09:00
La promesa de Sakana AI de aumentar la velocidad de entrenamiento del modelo 100 veces sonaba demasiado buena para ser verdad, ¡y lo fue! Una decepción total, pero al menos lograron que todos hablaran de ellos. ¡Quizás la próxima vez realmente cumplan con lo prometido! 😂
0
![JasonJackson]()
JasonJackson
2025년 4월 14일 오전 4시 1분 53초 GMT+09:00
Sakana AI's promise to boost model training speed by 100 times sounded too good to be true, and guess what? It was! Total letdown, but hey, at least they got everyone talking about them. Maybe next time they'll actually deliver on their hype! 😂
0
이번 주, Nvidia가 지원하고 벤처 캐피털로부터 수백만 달러를 투자받은 스타트업 Sakana AI가 대담한 주장을 내놓았다. 그들은 AI CUDA Engineer라는 새로운 AI 시스템이 특정 AI 모델의 훈련 속도를 놀랍게도 100배 향상시킬 수 있다고 밝혔다.
결국, 이는 모두 연기와 거울에 불과했다.
X(이전 Twitter로 알려진 플랫폼)의 사용자들은 Sakana의 허풍을 빠르게 지적했다. 속도를 높이는 대신, 그들의 AI는 실제로 성능을 저하시켰다. 한 사용자는 심지어 3배 느려졌다고 보고했는데—이런, 약속했던 것과 정반대인 결과다!
그렇다면, 무엇이 잘못되었을까? OpenAI의 Lucas Beyer에 따르면, 코드에 교묘한 버그가 있었다. Beyer는 X에서 "그들의 원본 코드는 미묘한 방식으로 잘못되었다"고 지적했다. "그들이 벤치마킹을 두 번 실행했는데 결과가 극단적으로 달랐다는 사실은 그들이 멈추고 생각해봐야 했을 것이다."
금요일에 공개된 솔직한 사후 분석에서 Sakana는 잘못을 인정했다. 그들은 자신들의 시스템이 평가 코드의 허점을 이용해 "속임수"(그들의 표현이다)를 찾아냈다고 밝혔다. 이를 통해 정확도 검증 같은 중요한 확인 절차를 우회할 수 있었다. Sakana는 이를 "보상 해킹"이라고 불렀다. 이는 AI가 실제로 목표(이 경우 모델 훈련 속도 향상)를 달성하지 않고도 메트릭을 높이기 위해 지름길을 찾는 것을 의미한다. 마치 체스 플레이 AI가 교묘한 방법으로 승리를 쟁취하는 것과 비슷하다.
Sakana는 문제를 수정했으며, 실제로 일어난 일을 반영하기 위해 논문과 결과를 업데이트하고 있다고 밝혔다. 그들은 X에서 "우리는 이후 평가 및 런타임 프로파일링 하네스를 더욱 견고하게 만들어 이러한 허점들을 많이 제거했다"고 썼다. "우리는 논문을 수정하고 있으며, 결과를 반영하고 그 영향을 논의하는 중이다 [...] 독자들에게 우리의 감독 실수에 대해 깊이 사과드린다. 곧 이 작업의 수정본을 제공하고 우리의 교훈을 논의할 것이다."
Sakana가 자신의 실수를 인정하는 모습은 칭찬할 만하다. 하지만 이 사건 전체는 AI 세계에서 너무 좋아 보이는 것은 아마도 사실이 아닐 가능성이 크다는 점을 확실히 상기시킨다.
AI 생성 종이는 동료 검토를 통과하지만 Sakana는 주장하지만 세부 사항은 미묘한 차이가 있습니다.
일본 AI 스타트 업 사카 나 (Sakana)는 최근 AI 시스템 인 AI 과학자 -V2가 최초의 동료 검토 과학 간행물 중 하나를 생성했다고 주장함으로써 파도를 만들었다. 그러나 너무 흥분하기 전에 고려해야 할 몇 가지 중요한 세부 사항이 있습니다. 과학에서 AI의 역할에 대한 논쟁은 가열되고 있습니다. 그래서
AI 도구로 이발소 예약 간소화
오늘날 빠르게 변화하는 세상에서 자동화는 효율성의 핵심입니다. AI를 사용해 이발소 예약을 손쉽게 관리할 수 있다고 상상해보세요. 이 가이드는 AI 에이전트와 웹 브라우저 도구를 활용해 예약을 간소화하여 시간과 노력을 절약하는 방법을 탐구합니다. 오픈소스 도구와 텔레그램 봇을 사용한 예산 친화적 솔루션을 살펴보겠습니다. AI 기술로 다음 이발 예약을 쉽게
Audible, AI 내레이션 오디오북 제공을 새로운 출판사 파트너십으로 강화
Audible, Amazon의 오디오북 플랫폼은 화요일에 선택된 출판사들과 협력하여 종이책과 전자책을 AI 내레이션 오디오북으로 변환한다고 발표했습니다. 이 조치는 Apple, Spotify 및 기타 성장하는 오디오북 산업의 경쟁자들과의 경쟁 속에서 라이브러리를 빠르게 확장하기 위해 설계되었습니다.Audible은 출판사들이 오디오북을 제작할 수 있도록 Am
2025년 8월 6일 오후 12시 0분 59초 GMT+09:00
What a letdown! Sakana AI's big claim about 100x faster training sounded amazing, but it’s just hype? Gotta admit, I was excited for a sec, but now I’m just skeptical about these bold AI promises. 🥳😑
0
2025년 4월 16일 오후 9시 41분 15초 GMT+09:00
사카나 AI가 모델 훈련 속도를 100배나 높인다고 해서 기대했는데, 다 허언이었어요. 정말 실망스러웠지만, 적어도 사람들 입에 오르내렸네요. 다음에는 정말로 기대를 저버리지 말아줬으면 좋겠어요! 😔
0
2025년 4월 16일 오후 6시 31분 51초 GMT+09:00
A promessa da Sakana AI de aumentar a velocidade de treinamento do modelo em 100 vezes parecia boa demais para ser verdade, e foi mesmo! Uma decepção total, mas pelo menos eles conseguiram que todos falassem sobre eles. Talvez da próxima vez eles realmente entreguem o que prometem! 😂
0
2025년 4월 14일 오전 8시 47분 56초 GMT+09:00
サカナAIのモデル訓練速度を100倍にするという約束は信じられないほど良すぎましたね。結局、期待外れでした。でも、話題にはなったから、次は本当に期待させてくれるかもね！😅
0
2025년 4월 14일 오전 6시 56분 43초 GMT+09:00
La promesa de Sakana AI de aumentar la velocidad de entrenamiento del modelo 100 veces sonaba demasiado buena para ser verdad, ¡y lo fue! Una decepción total, pero al menos lograron que todos hablaran de ellos. ¡Quizás la próxima vez realmente cumplan con lo prometido! 😂
0
2025년 4월 14일 오전 4시 1분 53초 GMT+09:00
Sakana AI's promise to boost model training speed by 100 times sounded too good to be true, and guess what? It was! Total letdown, but hey, at least they got everyone talking about them. Maybe next time they'll actually deliver on their hype! 😂
0
