GPU보다 데이터다 — AI 3대 요소의 새 우선순위: 데이터 > 알고리즘 > 컴퓨팅

한 줄 결론 — AI의 세 요소(데이터·알고리즘·컴퓨팅)는 모두 필수지만, 장기 경쟁 우위의 우선순위는 데이터 > 알고리즘 > 컴퓨팅으로 보는 게 타당하다. 데이터는 지능의 상한선을 정하고, 알고리즘은 그 데이터를 지능으로 바꾸며, 컴퓨팅은 이를 물리적으로 구현하는 엔진이다.

AI 경쟁은 'GPU 싸움'처럼 보이지만

요즘 AI 경쟁은 겉으로 보면 GPU와 데이터센터의 싸움처럼 보인다. 누가 더 많은 칩을, 더 큰 클러스터를 확보했는가가 헤드라인을 채운다. 하지만 한 겹 들어가 보면 본질은 다르다 — 누가 더 좋은 데이터를 확보하고, 그것을 더 효율적인 알고리즘으로 학습시키며, 필요한 만큼의 컴퓨팅을 동원하는가의 싸움이다.

스탠퍼드 HAI의 2025 AI Index는 고난도 벤치마크에서 성능이 빠르게 개선되고 기업의 AI 도입·투자가 급증하고 있음을 보여준다. AI가 실험실 기술을 넘어 산업 인프라로 넘어왔다는 신호다. 인프라가 된 기술의 경쟁은, 결국 그 기술을 떠받치는 자원을 누가 더 잘 쌓느냐로 갈린다.

우선순위를 다시 매기면 — 데이터 > 알고리즘 > 컴퓨팅

세 요소는 모두 필수다. 컴퓨팅이 없으면 거대 모델을 못 돌리고, 알고리즘이 없으면 데이터에서 패턴을 못 뽑는다. 그러나 '필수성'과 '전략적 중요도'는 다르다. 장기 경쟁 우위를 만드는 자원은 대체하기 어렵고, 복제하기 어렵고, 시간이 갈수록 축적 효과가 커지는 것이다. 이 기준에서 가장 강한 건 데이터다.

컴퓨팅은 자본으로 접근 가능성이 높아지는 자원이지만, 공급망·전력·데이터센터 입지·수출통제 제약 탓에 단기 확보가 쉽지만은 않다. 알고리즘은 논문·오픈소스·인재 이동으로 빠르게 확산된다(단, 실제 성능을 좌우하는 학습 레시피·데이터 혼합·운영 노하우는 비공개 자산인 경우가 많다). 반면 특정 산업·사용자·문제에서 오래 쌓인 고품질 데이터는 단기간에 모방하기 어렵다. 그래서 특히 도메인 특화 AI에서 데이터가 가장 단단한 해자가 된다.

다만 이 우선순위는 장기 해자 관점의 분석이며, 산업·도메인·규제·자본 접근성에 따라 달라질 수 있다 — 범용 프런티어 모델 경쟁에서는 컴퓨팅 접근권·인재·제품 배포·사용자 피드백 루프도 강력한 해자다.

1순위: 데이터 — 지능의 상한선

데이터는 AI가 학습하는 경험의 총체다. 인간이 경험으로 세상을 이해하듯, AI는 데이터로 패턴을 익힌다. 그래서 데이터는 단순 입력값이 아니라 모델 성능의 실질적 한계를 강하게 좌우한다. 알고리즘·합성 데이터·추론 스케일링·도구 사용이 그 한계를 넓힐 수는 있어도, 데이터에 없는 도메인 지식·희귀 사례를 온전히 대체하긴 어렵다.

데이터가 1순위인 이유는 넷이다.

• 품질이 성능을 직접 결정한다. IBM은 "Garbage In, Garbage Out" 원칙이 머신러닝에 그대로 적용된다고 본다 — 결측·오류·편향·잘못된 라벨이 섞인 데이터는 모델 판단을 왜곡한다. 의료·금융·법률처럼 오류 비용이 큰 영역일수록 데이터 품질이 정확도와 책임성을 좌우한다.
• 차별화의 원천이다. 트랜스포머 이후 아키텍처·학습 기법은 빠르게 공개·평준화됐지만, 기업이 보유한 고객 행동·제조 공정·임상·금융 리스크 데이터는 쉽게 복제되지 않는다.
• 멀티모달 경쟁으로 이동 중이다. 텍스트를 넘어 이미지·영상·음성·센서·행동 로그까지 통합하는 방향으로 진화한다.
• 한 번 쓰고 끝나지 않는다. 사용자 피드백·오류 사례·전문가 검수가 다시 파이프라인으로 들어가면, 데이터는 시간이 갈수록 가치가 커지는 동적 자산이 된다.

핵심은 "많이 가진 것"이 아니라 양질의 데이터를 지속적으로 수집·정제·검증·공급하는 파이프라인이다. NIST의 AI 위험관리 프레임워크(AI RMF), 특히 생성형 AI 프로파일은 데이터 출처·변경 이력 추적과 성능 모니터링을 권고한다 — 데이터가 학습 재료를 넘어 신뢰성 관리의 핵심 자산이라는 뜻이다.

컴퓨팅 파워는 AI의 엔진이지만, 데이터는 그 엔진이 태우는 연료이자 AI가 세상을 이해하는 경험이다. 나쁜 연료로는 아무리 좋은 엔진도 멀리 갈 수 없다.

2순위: 알고리즘 — 데이터를 지능으로 바꾸는 설계도

알고리즘은 데이터에서 패턴을 찾아 예측·생성·판단으로 바꾸는 체계다. 같은 데이터·같은 컴퓨팅이라도 어떤 구조와 학습법을 쓰느냐에 따라 성능·효율·확장성이 크게 달라진다.

대표적 전환점이 2017년 「Attention Is All You Need」다. 순환·합성곱 없이 어텐션만으로 시퀀스 모델을 구성할 수 있음을 보였고, 병렬화에 유리해 이후 거대언어모델의 기반이 됐다. 알고리즘 혁신 하나가 산업의 방향을 바꾼 사례다.

알고리즘은 컴퓨팅 비용을 줄이는 방향으로도 경쟁력을 만든다. 지식 증류, 검색증강생성(RAG), 파라미터 효율적 미세조정, 추론 최적화는 같은 자원으로 더 높은 성과를 낸다. Epoch AI는 프런티어 모델의 학습 컴퓨팅이 2020년 이후 연평균 약 5배 커지는 동시에, 사전학습의 컴퓨팅 효율도 연 약 3배 개선되고 있다고 분석한다. 알고리즘·소프트웨어 효율이 컴퓨팅 부담을 완화하는 핵심 변수라는 얘기다.

3순위: 컴퓨팅 파워 — 지능을 실현하는 엔진

3순위가 '덜 중요하다'는 뜻은 아니다. 오히려 지금 AI 산업의 가장 큰 비용·병목이 컴퓨팅이다. Epoch AI에 따르면 프런티어 모델의 학습 컴퓨팅은 2020년 이후 연평균 약 5배, 학습 비용은 연평균 약 3.5배 늘었다. 최상위 모델 경쟁이 막대한 자본·전력·데이터센터를 요구한다는 뜻이다.

다만 전략적 대체 가능성에서 컴퓨팅은 데이터보다 높다. 자본이 있으면 클라우드·GPU 클러스터·전용 반도체로 일정 수준을 확보할 수 있다. 구글 클라우드는 TPU가 대규모 행렬 연산에 특화된 하드웨어로, 큰 모델·배치를 위해 고대역폭 메모리와 확장 가능한 연결을 제공한다고 설명한다 — 컴퓨팅 경쟁이 단순 서버 증설이 아니라 학습·추론 특화 인프라 경쟁으로 가고 있음을 보여준다. 반면 오래 축적된 독점 데이터는 돈을 쓴다고 즉시 생기지 않는다. 그래서 컴퓨팅은 필수 인프라이되, 최종 차별화의 원천은 아닐 수 있다.

인간은 '네 번째 요소'가 아니라 관통 역량이다

연구자·전문가의 역할은 여전히 핵심이다. 다만 데이터·알고리즘·컴퓨팅과 나란히 놓인 네 번째 재료라기보다, 세 요소를 목적에 맞게 잇고 조정하는 메타 역량으로 보는 게 정확하다.

• 어떤 문제를 AI로 풀지 정의하고
• 어떤 데이터가 의미 있는지 판단하며
• 모델 구조·학습법을 설계하고
• 편향·프라이버시·저작권·안전성을 검토하며
• 모델 성능을 비즈니스 가치로 연결하고
• 배포 후 드리프트를 관리한다.

데이터가 재료, 알고리즘이 설계도, 컴퓨팅이 엔진이라면 인간 전문가는 무엇을 지을지 정하고 그 결과가 사회적으로 쓸 만한지 판단하는 건축가다.

데이터 vs 컴퓨팅, 미래 가치

컴퓨팅은 더 중요해지는 동시에 더 효율화되는 이중 흐름에 있다. 클라우드·전용 반도체·경량화·추론 최적화가 발전할수록 같은 성능을 내는 비용은 내려갈 여지가 있다 — 즉 장기적으로 상품화 압력을 받는다. (다만 단기·중기에는 컴퓨팅 접근권 자체가 핵심 병목이자 차별화 요소다.) 반대로 특정 도메인에서 오래 쌓인 데이터에는 그 기업의 업무 방식·고객 관계·실패 사례·운영 노하우가 배어 있어, 비슷한 데이터를 구해도 품질·맥락·라벨·피드백 이력까지 똑같이 재현하기 어렵다.

그래서 미래 AI 경쟁의 본질적 질문은 이것이다.

누가 더 큰 모델을 만들었는가가 아니라, 누가 더 정확하고 더 신뢰할 수 있으며 더 희소한 데이터를 지속적으로 확보할 수 있는가.

보완: MLOps·거버넌스·시스템 통합

모델은 학습이 끝나도 완성이 아니다. 데이터·사용자·규제가 변하기 때문이다. MLOps(배포·모니터링·재학습·버전 관리)로 데이터·개념 드리프트에 대응하고, 데이터 거버넌스(개인정보·저작권·보안·출처·품질)로 합법적이고 신뢰 가능한 데이터 운영을 갖추며, 시스템 통합으로 실제 업무(상담·공정·심사·진단·물류)에 연결해야 데모를 넘어 가치가 된다. 그리고 자동화가 깊어질수록 인간의 역할은 사라지는 게 아니라 검증·책임으로 옮겨간다.

결론

AI 발전의 세 요소는 데이터·알고리즘·컴퓨팅이고, 셋 중 하나라도 빠지면 모델은 제대로 서지 못한다. 그러나 장기 경쟁 우위의 관점에서 우선순위는 분명하다 — 데이터 > 알고리즘 > 컴퓨팅.

알고리즘은 공개될 수 있고 컴퓨팅은 구매할 수 있다. 그러나 오랜 시간 축적된 고품질 데이터는 쉽게 복제되지 않는다. 이것이 AI 시대에 데이터가 가장 강력한 해자가 되는 이유다.

따라서 AI 시대의 승자는 컴퓨팅을 많이 쓰는 쪽이 아니라, 데이터를 가장 깊이 이해하고 가장 정교하게 활용하며 알고리즘·컴퓨팅을 전략적으로 결합하는 쪽이 될 가능성이 높다. 기업과 국가는 GPU 확보 못지않게 데이터 파이프라인·거버넌스·도메인 데이터·인간 검증 체계를 핵심 전략 자산으로 다뤄야 한다.

※ 이 글의 삽화는 AI로 생성한 개념 삽화이며, 실제 데이터·인프라 자료가 아닙니다. 통계 수치는 각 출처(Stanford HAI·IBM·NIST·Epoch AI·Google Cloud)에 근거합니다.

출처(링크 목록)

• Stanford HAI, 2025 AI Index Report: https://hai.stanford.edu/ai-index/2025-ai-index-report
• IBM, What Is Data Quality?: https://www.ibm.com/think/topics/data-quality
• NIST, AI Risk Management Framework: https://www.nist.gov/itl/ai-risk-management-framework
• NIST AI 600-1, 생성형 AI 프로파일(PDF): https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf
• Vaswani et al., "Attention Is All You Need"(2017): https://arxiv.org/abs/1706.03762
• Epoch AI, Trends in AI: https://epoch.ai/trends
• Google Cloud, Introduction to Cloud TPU: https://docs.cloud.google.com/tpu/docs/intro-to-tpu