AWS 토큰 이코노믹스 프레임워크로 토큰 비용은 낮추고, 가치는 높이고
AI 적용이 확산되면서, 치솟는 AI 청구서(AI bill shock)는 이제 대부분의 기업이 마주한 공통된 현실이 되었습니다. 토큰 단가는 계속 내려가는데도 조직 전체의 AI 지출은 오히려 가파르게 늘어나고, 정작 그 비용이 어디서·왜 발생하는지조차 보이지 않는 상황에 많은 팀이 부딪히고 있습니다. 사용량을 틀어막자니 혁신이 멈추고, 그대로 두자니 비용을 감당하기 어려운 딜레마입니다.
이 문제의 본질은 '지출이 많다'가 아니라 '지출한 만큼 무엇을 얻고 있는지 모른다'는 데 있습니다. 그래서 지금 필요한 것은 단순한 '예산 삭감'이 아니라, AI 투자를 비즈니스 가치와 연결하고 토큰의 생산성(지출 대비 얻는 가치)을 끌어올리는 체계적인 프레임워크입니다. 이번 세미나에서는 AWS 토큰 이코노믹스 프레임워크를 기반으로 토큰을 더 저렴하게 생산하고, 그 비용과 가치를 측정 가능하게 하는 실질적인 방법을 다룹니다.
• 토큰 비용을 줄이라는 부담이 큰데, 어떻게 하면 성능을 유지하면서도 토큰 비용을 줄일 수 있을까요?
• 모델을 서빙하려는데 토큰 기반 API 서비스를 이용하는 게 좋을까요, GPU 기반으로 셀프 호스트하는 게 좋을까요?
• GPU를 최대한 효율적으로 이용하고 싶은데 어떻게 최적화할 수 있을까요?
• GPU 비용이 너무 과다하고 구하기도 어려운데, 대안이 없을까요?
• Bedrock, OpenAI, 그리고 자체 호스팅(self-hosted) vLLM 엔드포인트에 걸쳐, 요청 단위로 토큰 소비를 어떻게 추적할 수 있을까요?
• 우리 플랫폼에서 발생하는 AI 비용을 특정 팀·서비스·use case로 어떻게 귀속시킬 수 있을까요?
• 에이전트 루프가 폭주하기 전에, 에이전트별 토큰 예산과 서킷 브레이커를 어떻게 설정할 수 있을까요?
• 비용·지연·품질을 기준으로, 매니지드 API와 self-hosted 모델 사이에서 요청을 어떻게 라우팅할 수 있을까요?
• LLM, 에이전트, RAG 파이프라인을 프로덕션에 배포하는 AI/ML 엔지니어
• 멀티 모델 서빙 인프라를 구축·운영하는 플랫폼 엔지니어 및 AI Ops
• AI 워크로드의 안정성·비용·관측성을 책임지는 DevOps 및 SRE 팀
• LLM 호출(Amazon Bedrock, 3rd party API, self-hosted)을 애플리케이션에 통합하는 백엔드 엔지니어
• 모델 서빙·라우팅·관측성에 대해 build-vs-buy 의사결정을 내리는 엔지니어링 리드
• 방문 시 대중교통 이용을 권장드립니다. (자차 이용 시 센터필드 주차장 이용 가능하나, 주차권은 미지원됩니다)
• 참가비는 무료이며, 점심식사가 제공됩니다.
• 더 많은 고객분들을 모시기 위해 회사당 참석 인원이 제한될 수 있음을 양해 부탁드립니다.
• 문의사항이 있으신 경우 flexible-ai-korea@amazon.com 으로 연락주시기 바랍니다.
No registration link available.