서울에 소재한 AI 번역 스타트업인 트위그팜에게 성공은 균형을 잡는 것과 같습니다. 트위그팜이 그들의 야심찬 목표를 달성하기 위해서는 매우 정확한 결과를 최대한 빠르게 제공할 수 있어야 합니다. 또한 빠르게 성장하는 기업으로서 운영비를 신중하게 관리해야 합니다.
최근에 트위그팜이 GPU를 그래프코어의 지능형 처리 장치(IPU)로 전환했을 때 가격과 성능 간의 타협은 필요하지 않았습니다. 오히려 IPU로 전환한 후 10배의 성능 향상을 달성하는 동시에 비용을 절감할 수 있었습니다.
국경 없는 소통
트위그팜은 AI를 활용하여 전 세계 사람들과 조직을 위해 언어 장벽을 제거하는 일에 일조하겠다는 백선호 대표의 비전을 기반으로 2016년에 설립되었습니다. 이러한 비전은 백선호 대표가 소프트웨어 엔지니어로서 지닌 직업적 배경뿐만 아니라, 그가 실제로 경험한 어려움에서 비롯되었습니다. 그는 이스라엘과 네팔에서 초기 경력을 쌓을 때 의사소통이 조금만 더 원활해져도 훨씬 더 큰 잠재력을 발휘할 수 있다는 사실을 깨달았습니다.
이러한 깨달음을 바탕으로 백선호 대표는 훗날 트위그팜의 텍스트 기반 번역의 기술적 토대가 된 독자적인 하이브리드 번역기 및 자연어 처리(NLP) 엔진을 개발했습니다. 트위그팜은 첫 6년 동안 이러한 기술을 통해 신경망 기반 언어 처리 엔진인 LETR, 엔터프라이즈용 맞춤형 B2B 번역 플랫폼인 지콘스튜디오, 뉴스레터와 이메일을 번역하는 B2C 엔터프라이즈 솔루션인 헤이버니를 비롯한 일련의 서비스를 구현했습니다.
비용 집약적인 훈련 워크로드 관리
트위그팜의 제품이 계속해서 상을 수상하고, 기술 인증을 받고, 업계 관심을 사로잡고, 고객들의 찬사를 받는 동안 백선호 대표는 회사의 성공 및 인지도 수준에 비례하여 회사 운영비가 증가하는 것을 막아야 하는 점을 절실히 느끼고 있었습니다. 그는 이렇게 설명합니다. "스타트업에 있어 가장 신경 쓰이는 부분은 바로 비용입니다. 굉장히 제한적인 자원으로 회사를 운영하고 있기 때문이죠."
트위그팜이 고객에게 제공하는 서비스의 시간 및 비용 집약적 특성을 고려하면 이러한 점은 더욱 까다로운 문제입니다. 데이터 수집 및 사전 처리 외에도 트위그팜의 모델은 고객 피드백을 기반으로 지속적으로 재훈련해야 합니다. "저희는 고객들에게 최대한 빠르게 모델을 학습시켜 전달해야 합니다."라고 백선호 대표는 말합니다. "그만큼 학습 시간을 줄여야 하죠."
최근까지 트위그팜은 GPU로 구동되는 클라우드 기반 솔루션을 사용하여 AI 모델을 훈련했지만, 이는 엄청난 비용 부담을 초래했습니다. 이에 따라 백선호 대표는 트위그팜 제품에 더 적합한 연산 대안을 찾아야 했습니다. 백선호 대표는 "때때로 비용이 수만 달러에 달할 때도 있기 때문에 어떻게 하면 비용을 낮추면서 성능은 높일 수 있을지에 대한 고민을 하고 있었습니다."라고 회상합니다.
GPU의 대안 모색
클라우드 기반 GPU보다 더 뛰어난 성능 및 효율성을 원했던 백선호 대표가 그래프코어의 IPU를 선택하는 데는 그리 오랜 시간이 걸리지 않았습니다. IPU는 산적한 문제들을 단번에 해결하는 데 매우 적합했으며 효율성 증대, 총 소유 비용(TCO) 감소, 결과 도출 시간 단축 등의 이점을 제공했습니다. BERT NLP 모델에 대한 최신 MLPerf 결과에서 보여 준 IPU의 놀라운 성능에서 증명되었듯, IPU의 경쟁 우위는 NLP 응용 분야에서 특히 두드러집니다.
하지만 이러한 개선 사항들을 실현하기에 앞서 백선호 대표는 GPU에서 그래프코어 IPU로의 전환이 원활하게 진행되고, 비교적 가벼운 수준의 기술 교육, 코드 변경 및 최적화를 수반하는지 확인해야 했습니다.
그리고 그는 해당 부문에서 그래프코어가 지닌 탁월함을 인정합니다. "마이그레이션을 진행하는 데 있어서 다른 회사 같은 경우에는 저희 스스로 해야 할 때도 굉장히 많습니다. 아니면 기존에 공개된 문서들을 참고해야 할 때도 많이 있고요."라고 백선호 대표는 말합니다. "그래프코어 같은 경우에는 관련 문서를 제공하는 것은 물론, 저희한테 최적화된 도움도 주었습니다. 코드 변환에 있어서도 굉장히 도움을 많이 주었습니다. 그냥 설명에 그치는 것이 아니라 코드를 상세하게 같이 봐주면서 저희가 해결하지 못하는 부분을 해결해 주었습니다."
파트너십 강화
트위그팜은 마이그레이션을 원활하게 완료했으며, 2021년 11월부터 그래프코어의 클라우드 기반 IPU 및 Poplar 소프트웨어를 사용하여 비즈니스를 운영하고 있습니다.
트위그팜은 이러한 전환을 통해 이미 상당한 이점을 거두었습니다. 백선호 대표는 이렇게 밝혔습니다. "IPU는 기존에 사용했던 시스템보다 성능이 훨씬 뛰어났습니다. 결론적으로는 그래프코어의 IPU를 통해 더 저렴한 비용으로 성능은 10배 이상 개선할 수 있는 이점을 얻게 됩니다.”
앞으로도 트위그팜은 그래프코어의 IPU 기술을 활용하여 추가 서비스를 개발할 계획입니다. 백선호 대표는 이러한 파트너십을 긍정적으로 바라봅니다. 그는 "그래프코어는 글로벌 기업이자 지금 성장하고 있는 스타트업입니다."라고 말합니다. "그래프코어의 지원과 조언을 바탕으로 글로벌 무대에서 같이 나아갈 수 있을 것으로 기대하고 있습니다."
업데이트하기
