매달 고정 요금을 내던 AI 구독 서비스가 어느 순간 ‘사용한 만큼 내세요’로 바뀌어 있는 경우가 생기고 있습니다. 깃허브 코파일럿이 대표적입니다. 처음엔 별 차이 없겠거니 싶었는데, 막상 청구서를 보면 기대보다 훨씬 높은 금액이 찍히는 상황이 벌어지고 있어요. 왜 이런 일이 생기는 걸까요. 단순히 ‘많이 써서’가 아닙니다. AI API 비용 구조 자체에 우리가 잘 모르고 있는 함정이 숨어 있습니다.
토큰 과금이란 무엇인가, 그리고 왜 한국어가 불리한가
언어 모델은 텍스트를 글자나 단어 단위가 아닌 토큰(token) 단위로 처리합니다. 영어는 대체로 단어 하나가 토큰 하나에 가깝게 대응되지만, 한국어·일본어·중국어 같은 비라틴 계열 언어는 같은 의미를 표현하는 데 훨씬 많은 토큰을 소모합니다. 예를 들어 ‘I need a refund for my order’는 약 7~8토큰인 반면, ‘내 주문에 대한 환불을 요청합니다’는 구조에 따라 15토큰을 넘기도 합니다.
과금은 이 토큰 수를 기준으로 이루어집니다. 입력 토큰과 출력 토큰을 각각 카운트해서 합산하는 방식이고, 모델이 고성능일수록 단가도 올라갑니다. 아래 표는 주요 API 서비스의 대략적인 토큰 단가 구조입니다. (2025년 기준 공개 정보이며 변동 가능성 있음)
| 서비스 | 모델 | 입력 단가 (1M 토큰) | 출력 단가 (1M 토큰) |
|---|---|---|---|
| OpenAI | GPT-4o | $5.00 | $15.00 |
| Anthropic | Claude 3.5 Sonnet | $3.00 | $15.00 |
| Gemini 1.5 Pro | $3.50 | $10.50 | |
| GitHub Copilot | 사용량 기반 전환 | 모델별 상이 | 모델별 상이 |
출력 단가가 입력 단가의 3~5배에 달한다는 점이 핵심입니다. AI가 길게 답변할수록, 한국어로 답변을 받을수록 청구액은 기하급수적으로 늘어납니다.
비용이 폭등하는 세 가지 구조적 원인
단순히 언어 문제만은 아닙니다. AI API 비용 구조가 폭등하는 데는 복합적인 이유가 있습니다.
- 컨텍스트 창(context window) 비대화: 대화 이력을 길게 유지할수록 매 요청마다 이전 대화 전체가 입력 토큰으로 재전송됩니다. 10회 대화를 나눴다면 마지막 질문 하나에도 앞선 9번의 내용이 통째로 포함되는 구조입니다.
- 고성능 모델로의 자동 라우팅: 일부 서비스는 사용자가 선택하지 않아도 내부적으로 더 비싼 최신 모델로 요청을 라우팅합니다. 단가 차이가 5~10배에 달하는 경우도 있습니다.
- RAG·에이전트 파이프라인의 숨은 호출: 기업용 AI 솔루션에서는 사용자 질문 하나에 내부적으로 여러 번의 API 호출이 일어납니다. 문서 검색, 요약, 재확인 단계 등이 모두 별도 과금 대상이 됩니다.
한계점과 현실적인 운용 조언
비용 절감 방법이 전혀 없는 건 아닙니다. 다만 공개된 구조를 분석해 보면, 절감 효과가 있는 방법과 실제로는 별 효과가 없는 방법이 나뉩니다.
- 효과 있는 방법: 시스템 프롬프트를 최대한 짧게 유지하기, 대화 이력을 주기적으로 초기화하기, 단순 작업에는 소형 모델(예: GPT-4o mini, Haiku) 명시적으로 지정하기
- 효과가 과장된 방법: ‘한국어 대신 영어로 질문하기’는 이론적으로는 맞지만, 영어로 질문하고 한국어 답변을 받으면 출력 토큰이 늘어나 오히려 역효과가 날 수 있습니다.
- 근본적 한계: 사용량 기반 과금 체계에서는 사용자가 비용을 정확히 예측하기 어렵습니다. 특히 기업 환경에서 여러 팀이 같은 API 키를 공유할 경우, 어디서 비용이 발생하는지 추적하는 것 자체가 별도의 운영 부담이 됩니다.
이런 점이 궁금하실 거예요
한국어로 쓰면 영어보다 요금이 무조건 더 나오나요?
토큰 효율만 놓고 보면 한국어가 불리한 건 사실입니다. 그런데 실제 비용에 영향을 미치는 더 큰 변수는 ‘대화 길이’와 ‘출력 분량’입니다. 언어 차이보다 콘텍스트 누적이나 긴 답변 요청이 비용에 훨씬 직접적인 영향을 줍니다. 언어가 문제라기보다 대화 습관이 더 중요한 변수예요.
고정 구독과 사용량 과금 중 어느 게 유리한가요?
사용 패턴에 따라 다릅니다. 하루 1~2시간 꾸준히 쓰는 개인 개발자라면 고정 구독이 대체로 유리합니다. 반면 월말에 집중적으로 쓰거나, 가끔씩 대량 처리 작업을 하는 경우라면 사용량 기반이 더 저렴할 수 있습니다. 지난 3개월 사용 패턴을 로그로 분석한 뒤 선택하는 게 가장 현실적입니다.
오픈소스 모델을 직접 돌리면 비용을 완전히 없앨 수 있나요?
API 비용 자체는 사라지지만, 그 대신 GPU 서버 비용과 유지보수 부담이 생깁니다. Llama나 Mistral 계열 모델을 로컬에서 운용하는 방식은 대규모 트래픽에선 경제적이지만, 소규모 개인 사용자에겐 오히려 더 비싸게 먹힐 수 있어요. 진입 장벽도 만만치 않고요.
2프로의 생각
QoS 없는 요즘제를 사용하다 요금 폭탄을 맞아보니 ‘종량제’의 무서움을 압니다. 쓰는 만큼만 낸다고 하지만, 실제로는 내가 얼마나 쓰는지 정확히 파악하기 전까지는 늘 불안합니다. AI API 비용 구조는 지금 딱 그 단계에 와 있습니다. 서비스 회사 입장에서는 사용량 기반이 더 합리적으로 들리지만, 사용자 입장에서는 예측 불가능성이 가장 큰 비용이에요. 지금 AI를 업무에 쓰고 있다면, 이번 달 청구서보다 먼저 API 로그부터 들여다보시길 권합니다. 모르고 내는 돈이 가장 비쌉니다.
※ 본 글은 정보 전달 목적입니다.