DeepSeek의 R1 및 V3 코딩 기술 테스트 : 우리는 아직 파멸되지 않았습니다.

DeepSeek 소개: AI 분야의 새로운 플레이어

DeepSeek가 주말 동안 등장하며 전 세계의 주목을 받았습니다. 그 이유는 세 가지입니다:

• 중국에서 온 AI 챗봇으로, 미국 기반의 기존 제품들과는 다른 점이 주목됩니다.
• 오픈 소스라는 점이 기술 커뮤니티에서 큰 화제를 모았습니다.
• 다른 거대 경쟁자들보다 훨씬 적은 인프라에서 실행되며, 이는 많은 이들에게 매력적인 선택지입니다.

미국 정부가 TikTok과 중국 정부의 코드 관여 가능성에 대해 면밀히 검토하며 주목받은 가운데, 중국에서 나온 DeepSeek도 비슷한 관심을 끌고 있습니다. 하지만 여기서는 정치적인 이야기는 피하겠습니다. 대신, DeepSeek V3와 DeepSeek R1이 코딩 작업에서 다른 AI 모델들과 어떻게 비교되는지 살펴보겠습니다.

DeepSeek의 자체 가이드에 따르면:

• 복잡한 수학 문제 해결이나 정교한 코드 생성과 같이 깊이와 정확성이 필요한 작업에는 V3를 선택하세요.
• 고객 지원 자동화나 기본 텍스트 처리와 같은 빠르고 대량의 애플리케이션이 필요할 때는 R1을 선택하세요.

채팅 인터페이스에서 작은 버튼을 사용해 R1과 V3를 전환할 수 있습니다. 버튼이 파란색이면 R1을 사용 중입니다.

그렇다면 결과는 어땠을까요? 두 모델 모두 가능성을 보여줬지만 완벽하지는 않았습니다. 결과를 살펴보겠습니다.

테스트 1: WordPress 플러그인 제작

아내가 온라인 그룹을 위한 참여 장치를 관리할 WordPress 플러그인이 필요했던 것에서 영감을 받은 첫 번째 테스트는 전형적인 사례입니다. 플러그인은 이름 목록을 받아 정렬하고, 중복된 이름이 옆에 오지 않도록 해야 했습니다. 이 도전 과제를 여러 AI에게 던졌고, 이는 어려운 과제였습니다.

DeepSeek V3는 사용자 인터페이스와 프로그램 로직을 완벽히 충족하며 성공했습니다. R1은 다른 접근법을 취하며, 코드를 공유하기 전에 무려 4502단어의 분석을 제공했습니다. UI는 더 광범위했지만, UI와 로직 모두 작동했으므로 R1도 통과했습니다.

현재까지 V3와 R1은 네 번의 테스트 중 한 번씩 통과했습니다.

테스트 2: 문자열 함수 재작성

사용자가 기부 필드에 달러와 센트를 입력하는 데 어려움을 겪었는데, 원래 코드에서는 이를 허용하지 않았습니다. 작업은 루틴을 수정해 둘 다 수용하도록 하는 것이었습니다. DeepSeek는 작동하는 코드를 생성했지만, 개선의 여지가 있습니다.

V3의 코드는 지나치게 길고 반복적이었으며, R1의 코드 생성 전 추론도 길었습니다. 두 모델 모두 소수점 두 자리까지 검증했지만, 매우 큰 숫자는 잘 처리하지 못했습니다. R1은 JavaScript의 Number 변환을 사용하면서 예외 상황을 확인하지 않아 충돌이 발생할 수 있었습니다.

흥미롭게도, R1은 테스트 케이스 목록을 멋지게 제공했습니다:

V3는 코드가 충돌하지 않고 예상 결과를 생성했기 때문에 점수를 얻었습니다. R1은 비문자열 입력으로 인한 잠재적 충돌로 실패했습니다. V3는 네 번 중 두 번 승리, R1은 한 번 승리했습니다.

테스트 3: 성가신 버그 추적

이 테스트는 제가 찾기 어려웠던 버그에서 비롯되었습니다. 오류 메시지에 기반한 명백한 답변이 틀렸다는 점이 도전 과제였으며, 이는 종종 AI를 속입니다. 이를 해결하려면 WordPress API 호출을 이해하고, 오류 메시지를 넘어 버그를 정확히 찾아내야 했습니다.

V3와 R1은 거의 동일한 답변으로 이 테스트를 통과해, V3는 네 번 중 세 번 승리, R1은 두 번 승리했습니다. DeepSeek는 이미 Gemini, Copilot, Claude, Meta를 능가하고 있습니다.

테스트 4: 스크립트 제작

이 테스트는 AppleScript, Chrome 객체 모델, Keyboard Maestro라는 세 가지 환경을 포함하기 때문에 어렵습니다. ChatGPT는 이를 완벽히 수행했지만, DeepSeek V3와 R1은 부족했습니다. 두 모델 모두 Keyboard Maestro와 Chrome 간의 작업 분할 필요성을 이해하지 못했고, AppleScript 지식도 약했습니다.

R1은 전면 창이 항상 존재하고 실행 중인 프로그램이 항상 Chrome일 것이라는 잘못된 가정을 했습니다. 이에 따라 V3는 세 번의 올바른 테스트와 한 번의 실패, R1은 두 번의 올바른 테스트와 두 번의 실패를 기록했습니다.

최종 소감

DeepSeek가 Gmail 같은 공개 클라우드 이메일을 사용해야 한다는 점과 제 기업 도메인을 사용할 수 없다는 점은 실망스러웠습니다. 또한 반응성 문제로 인해 테스트가 예상보다 오래 걸렸습니다.

처음에는 다음 오류로 인해 가입에 어려움을 겪었습니다:

DeepSeek의 온라인 서비스는 최근 대규모 악의적 공격을 받았습니다. 서비스 지속을 위해 등록은 일시적으로 +86 전화번호로 제한됩니다. 기존 사용자는 평소처럼 로그인할 수 있습니다. 이해와 지원에 감사드립니다.

로그인 후에는 테스트를 실행할 수 있었습니다. DeepSeek는 코드가 다소 장황한 경향이 있습니다. 테스트 4의 AppleScript는 부정확하고 불필요하게 길었습니다. 테스트 2의 정규 표현식은 더 유지보수 가능할 수 있었지만, V3는 이를 올바르게 처리했습니다.

V3가 Gemini, Copilot, Meta를 능가한 점은 인상적이지만, 여전히 GPT-3.5 수준에 머물러 있어 성장의 여지가 있습니다. R1의 성능은 실망스러웠습니다. 선택의 여지가 있다면, 프로그래밍 도움은 ChatGPT를 고수할 것입니다.

그럼에도 불구하고, 훨씬 적은 인프라에서 실행되는 새로운 도구로서는 DeepSeek가 주목할 만한 가치가 있습니다.

여러분의 생각은 어떠신가요? DeepSeek를 사용해 보셨나요? 프로그래밍 지원을 위해 AI를 사용하시나요? 아래 댓글로 알려주세요.

소셜 미디어에서 제 일일 프로젝트 업데이트를 팔로우하고, 주간 뉴스레터를 구독하며, Twitter/X의 @DavidGewirtz, Facebook의 Facebook.com/DavidGewirtz, Instagram의 Instagram.com/DavidGewirtz, Bluesky의 @DavidGewirtz.com, YouTube의 YouTube.com/DavidGewirtzTV에서 저와 연결하세요.