Sakana AI는 모델 교육 속도를 극적으로 향상시킵니다
이번 주, Nvidia가 지원하고 벤처 캐피털로부터 수백만 달러를 투자받은 스타트업 Sakana AI가 대담한 주장을 내놓았다. 그들은 AI CUDA Engineer라는 새로운 AI 시스템이 특정 AI 모델의 훈련 속도를 놀랍게도 100배 향상시킬 수 있다고 밝혔다.
결국, 이는 모두 연기와 거울에 불과했다.
X(이전 Twitter로 알려진 플랫폼)의 사용자들은 Sakana의 허풍을 빠르게 지적했다. 속도를 높이는 대신, 그들의 AI는 실제로 성능을 저하시켰다. 한 사용자는 심지어 3배 느려졌다고 보고했는데—이런, 약속했던 것과 정반대인 결과다!
그렇다면, 무엇이 잘못되었을까? OpenAI의 Lucas Beyer에 따르면, 코드에 교묘한 버그가 있었다. Beyer는 X에서 "그들의 원본 코드는 미묘한 방식으로 잘못되었다"고 지적했다. "그들이 벤치마킹을 두 번 실행했는데 결과가 극단적으로 달랐다는 사실은 그들이 멈추고 생각해봐야 했을 것이다."
금요일에 공개된 솔직한 사후 분석에서 Sakana는 잘못을 인정했다. 그들은 자신들의 시스템이 평가 코드의 허점을 이용해 "속임수"(그들의 표현이다)를 찾아냈다고 밝혔다. 이를 통해 정확도 검증 같은 중요한 확인 절차를 우회할 수 있었다. Sakana는 이를 "보상 해킹"이라고 불렀다. 이는 AI가 실제로 목표(이 경우 모델 훈련 속도 향상)를 달성하지 않고도 메트릭을 높이기 위해 지름길을 찾는 것을 의미한다. 마치 체스 플레이 AI가 교묘한 방법으로 승리를 쟁취하는 것과 비슷하다.
Sakana는 문제를 수정했으며, 실제로 일어난 일을 반영하기 위해 논문과 결과를 업데이트하고 있다고 밝혔다. 그들은 X에서 "우리는 이후 평가 및 런타임 프로파일링 하네스를 더욱 견고하게 만들어 이러한 허점들을 많이 제거했다"고 썼다. "우리는 논문을 수정하고 있으며, 결과를 반영하고 그 영향을 논의하는 중이다 [...] 독자들에게 우리의 감독 실수에 대해 깊이 사과드린다. 곧 이 작업의 수정본을 제공하고 우리의 교훈을 논의할 것이다."
Sakana가 자신의 실수를 인정하는 모습은 칭찬할 만하다. 하지만 이 사건 전체는 AI 세계에서 너무 좋아 보이는 것은 아마도 사실이 아닐 가능성이 크다는 점을 확실히 상기시킨다.
관련 기사
AI 생성 종이는 동료 검토를 통과하지만 Sakana는 주장하지만 세부 사항은 미묘한 차이가 있습니다.
일본 AI 스타트 업 사카 나 (Sakana)는 최근 AI 시스템 인 AI 과학자 -V2가 최초의 동료 검토 과학 간행물 중 하나를 생성했다고 주장함으로써 파도를 만들었다. 그러나 너무 흥분하기 전에 고려해야 할 몇 가지 중요한 세부 사항이 있습니다. 과학에서 AI의 역할에 대한 논쟁은 가열되고 있습니다. 그래서
CapCut으로 AI 사진 편집 마스터하기: 전문가 가이드 및 팁
동영상 편집의 강자로 잘 알려진 CapCut은 놀랍도록 강력한 AI 기반 사진 편집 기능도 제공합니다. 이 포괄적인 튜토리얼에서는 CapCut의 지능형 도구를 활용하여 전문가 수준의 사진 향상, 원활한 배경 교체 및 창의적인 변형을 실행하는 방법을 기술적인 전문 지식 없이도 보여줍니다. 일반 스마트폰 사진작가든 야심찬 콘텐츠 크리에이터든, 이러한 AI 기반
엔비디아, 2분기 매출의 39%를 견인한 두 주요 고객사 보고
엔비디아의 매출 집중도는 AI 붐에 대한 의존도를 강조합니다.이 칩 제조업체의 최근 SEC 제출 자료에 따르면, 익명의 고객사 두 곳이 Nvidia의 2분기 매출 467억 달러 중 39%를 차지했으며, 이는 급증하는 AI 인프라 수요에 힘입어 연간 56% 증가한 수치로 고객 집중도가 엄청나게 높은 것으로 나타났습니다.규제 문서에 따르면단일 고객("고객 A"
의견 (29)
0/200
![StevenAllen]()
StevenAllen
2025년 9월 12일 오전 11시 30분 38초 GMT+09:00
진짜로 100배 빨라진다고? 🤔 회사 홍보용 과장 광고 같은데... 누구든 놀라운 성능이라면 실제 벤치마크 결과 공개해야 믿을 수 있을 거 같아요. 엔비디아 지원 받는다고 해도 너무 뻥튀기 한 것 같은데...
0
![ArthurJackson]()
ArthurJackson
2025년 9월 7일 오전 9시 30분 39초 GMT+09:00
Ну и новость... 100-кратное ускорение обучения ИИ оказалось банальным раздуванием фактов. Опять стартапы пытаются впечатлить инвесторов громкими заявлениями, а по факту — обычный маркетинг 🤦♂️. NVIDIA, вы же умнее, как можно вестись на такие сказки?
0
![PaulMartínez]()
PaulMartínez
2025년 8월 19일 오전 6시 1분 5초 GMT+09:00
Whoa, Sakana AI's 100x speed claim sounded too good to be true, and guess what? It was! 😅 Kinda reminds me of those overhyped tech demos that crash and burn. Hope they sort out the bugs soon!
0
![WillWalker]()
WillWalker
2025년 8월 6일 오후 12시 0분 59초 GMT+09:00
What a letdown! Sakana AI's big claim about 100x faster training sounded amazing, but it’s just hype? Gotta admit, I was excited for a sec, but now I’m just skeptical about these bold AI promises. 🥳😑
0
![DanielThomas]()
DanielThomas
2025년 4월 16일 오후 9시 41분 15초 GMT+09:00
사카나 AI가 모델 훈련 속도를 100배나 높인다고 해서 기대했는데, 다 허언이었어요. 정말 실망스러웠지만, 적어도 사람들 입에 오르내렸네요. 다음에는 정말로 기대를 저버리지 말아줬으면 좋겠어요! 😔
0
![WalterMartinez]()
WalterMartinez
2025년 4월 16일 오후 6시 31분 51초 GMT+09:00
A promessa da Sakana AI de aumentar a velocidade de treinamento do modelo em 100 vezes parecia boa demais para ser verdade, e foi mesmo! Uma decepção total, mas pelo menos eles conseguiram que todos falassem sobre eles. Talvez da próxima vez eles realmente entreguem o que prometem! 😂
0
이번 주, Nvidia가 지원하고 벤처 캐피털로부터 수백만 달러를 투자받은 스타트업 Sakana AI가 대담한 주장을 내놓았다. 그들은 AI CUDA Engineer라는 새로운 AI 시스템이 특정 AI 모델의 훈련 속도를 놀랍게도 100배 향상시킬 수 있다고 밝혔다.
결국, 이는 모두 연기와 거울에 불과했다.
X(이전 Twitter로 알려진 플랫폼)의 사용자들은 Sakana의 허풍을 빠르게 지적했다. 속도를 높이는 대신, 그들의 AI는 실제로 성능을 저하시켰다. 한 사용자는 심지어 3배 느려졌다고 보고했는데—이런, 약속했던 것과 정반대인 결과다!
그렇다면, 무엇이 잘못되었을까? OpenAI의 Lucas Beyer에 따르면, 코드에 교묘한 버그가 있었다. Beyer는 X에서 "그들의 원본 코드는 미묘한 방식으로 잘못되었다"고 지적했다. "그들이 벤치마킹을 두 번 실행했는데 결과가 극단적으로 달랐다는 사실은 그들이 멈추고 생각해봐야 했을 것이다."
금요일에 공개된 솔직한 사후 분석에서 Sakana는 잘못을 인정했다. 그들은 자신들의 시스템이 평가 코드의 허점을 이용해 "속임수"(그들의 표현이다)를 찾아냈다고 밝혔다. 이를 통해 정확도 검증 같은 중요한 확인 절차를 우회할 수 있었다. Sakana는 이를 "보상 해킹"이라고 불렀다. 이는 AI가 실제로 목표(이 경우 모델 훈련 속도 향상)를 달성하지 않고도 메트릭을 높이기 위해 지름길을 찾는 것을 의미한다. 마치 체스 플레이 AI가 교묘한 방법으로 승리를 쟁취하는 것과 비슷하다.
Sakana는 문제를 수정했으며, 실제로 일어난 일을 반영하기 위해 논문과 결과를 업데이트하고 있다고 밝혔다. 그들은 X에서 "우리는 이후 평가 및 런타임 프로파일링 하네스를 더욱 견고하게 만들어 이러한 허점들을 많이 제거했다"고 썼다. "우리는 논문을 수정하고 있으며, 결과를 반영하고 그 영향을 논의하는 중이다 [...] 독자들에게 우리의 감독 실수에 대해 깊이 사과드린다. 곧 이 작업의 수정본을 제공하고 우리의 교훈을 논의할 것이다."
Sakana가 자신의 실수를 인정하는 모습은 칭찬할 만하다. 하지만 이 사건 전체는 AI 세계에서 너무 좋아 보이는 것은 아마도 사실이 아닐 가능성이 크다는 점을 확실히 상기시킨다.
AI 생성 종이는 동료 검토를 통과하지만 Sakana는 주장하지만 세부 사항은 미묘한 차이가 있습니다.
일본 AI 스타트 업 사카 나 (Sakana)는 최근 AI 시스템 인 AI 과학자 -V2가 최초의 동료 검토 과학 간행물 중 하나를 생성했다고 주장함으로써 파도를 만들었다. 그러나 너무 흥분하기 전에 고려해야 할 몇 가지 중요한 세부 사항이 있습니다. 과학에서 AI의 역할에 대한 논쟁은 가열되고 있습니다. 그래서
CapCut으로 AI 사진 편집 마스터하기: 전문가 가이드 및 팁
동영상 편집의 강자로 잘 알려진 CapCut은 놀랍도록 강력한 AI 기반 사진 편집 기능도 제공합니다. 이 포괄적인 튜토리얼에서는 CapCut의 지능형 도구를 활용하여 전문가 수준의 사진 향상, 원활한 배경 교체 및 창의적인 변형을 실행하는 방법을 기술적인 전문 지식 없이도 보여줍니다. 일반 스마트폰 사진작가든 야심찬 콘텐츠 크리에이터든, 이러한 AI 기반
엔비디아, 2분기 매출의 39%를 견인한 두 주요 고객사 보고
엔비디아의 매출 집중도는 AI 붐에 대한 의존도를 강조합니다.이 칩 제조업체의 최근 SEC 제출 자료에 따르면, 익명의 고객사 두 곳이 Nvidia의 2분기 매출 467억 달러 중 39%를 차지했으며, 이는 급증하는 AI 인프라 수요에 힘입어 연간 56% 증가한 수치로 고객 집중도가 엄청나게 높은 것으로 나타났습니다.규제 문서에 따르면단일 고객("고객 A"
2025년 9월 12일 오전 11시 30분 38초 GMT+09:00
진짜로 100배 빨라진다고? 🤔 회사 홍보용 과장 광고 같은데... 누구든 놀라운 성능이라면 실제 벤치마크 결과 공개해야 믿을 수 있을 거 같아요. 엔비디아 지원 받는다고 해도 너무 뻥튀기 한 것 같은데...
0
2025년 9월 7일 오전 9시 30분 39초 GMT+09:00
Ну и новость... 100-кратное ускорение обучения ИИ оказалось банальным раздуванием фактов. Опять стартапы пытаются впечатлить инвесторов громкими заявлениями, а по факту — обычный маркетинг 🤦♂️. NVIDIA, вы же умнее, как можно вестись на такие сказки?
0
2025년 8월 19일 오전 6시 1분 5초 GMT+09:00
Whoa, Sakana AI's 100x speed claim sounded too good to be true, and guess what? It was! 😅 Kinda reminds me of those overhyped tech demos that crash and burn. Hope they sort out the bugs soon!
0
2025년 8월 6일 오후 12시 0분 59초 GMT+09:00
What a letdown! Sakana AI's big claim about 100x faster training sounded amazing, but it’s just hype? Gotta admit, I was excited for a sec, but now I’m just skeptical about these bold AI promises. 🥳😑
0
2025년 4월 16일 오후 9시 41분 15초 GMT+09:00
사카나 AI가 모델 훈련 속도를 100배나 높인다고 해서 기대했는데, 다 허언이었어요. 정말 실망스러웠지만, 적어도 사람들 입에 오르내렸네요. 다음에는 정말로 기대를 저버리지 말아줬으면 좋겠어요! 😔
0
2025년 4월 16일 오후 6시 31분 51초 GMT+09:00
A promessa da Sakana AI de aumentar a velocidade de treinamento do modelo em 100 vezes parecia boa demais para ser verdade, e foi mesmo! Uma decepção total, mas pelo menos eles conseguiram que todos falassem sobre eles. Talvez da próxima vez eles realmente entreguem o que prometem! 😂
0
