생성 AI 검색엔진의 핵심: 임베딩 모델 개발을 위한 GPU 도입
엘리스
2024. 7. 12.
업종, 규모
도입 서비스
도입 목적
임베딩 모델 개발을 위한 GPU 도입
Linq
AI 스타트업 Linq에서는 엘리스 클라우드 온디맨드를 도입하여 사용하고 있습니다. 이번 인터뷰에서는 Linq 최찬열 대표님을 만나 엘리스 클라우드 온디맨드 도입 사례와 사용 후기에 대한 이야기를 들어보았습니다.
Q. Linq에 대해 간단히 소개 부탁드립니다.
Linq는 생성 AI를 활용한 마켓 인텔리전스 솔루션을 제공하는 스타트업입니다. 헷지 펀드를 위한 AI 검색 서비스인 ‘Linq Alpha’를 개발하고 있으며, 주식 관련 문서의 내용을 이해하고 질문에 답변하는 솔루션을 제공하여 고객들이 필요로 하는 정보를 신속하고 정확하게 얻을 수 있도록 돕고 있어요.
Q. GPU를 도입하게 된 배경은 무엇인가요?
당시 Linq는 AI 서치의 핵심인 임베딩 모델(Embedding model)을 자체 개발하고 있었습니다. 그러나 모델 개발에 필요한 자원을 확보하는 데 어려움을 겪고 있었고, 이에 GPU를 급히 찾아보던 중 엘리스와 연락이 닿아 GPU 서비스를 도입하게 되었어요. 이로써 모델 개발 속도를 크게 향상시킬 수 있었습니다.
*임베딩 모델 : 생성 AI에서 가장 큰 문제로 대두되는 거대언어모델(LLM)의 환각 문제(Hallucination)를 해결하는 데 결정적인 역할을 하는 검색증강생성(RAG) 기술에 쓰이는 핵심적인 모델. 검색증강생성은 거대언어모델에 없는 최신데이터나 외부 유출이 없어야 하는 회사 내부 문서를 가져와 신뢰도 있는 형태로 결과물을 생성하는 기술.
Q. 엘리스 클라우드를 어떻게 알게 되셨나요?
처음에는 창업자 모임에서 엘리스 대표님을 만나 엘리스가 클라우드 사업을 하고 있다는 것을 알게 되었어요. 이후 GPU 리소스가 부족한 상황이 발생하자, 엘리스 클라우드가 떠올라 연락을 드리게 되었죠. 주변 창업자들 중 엘리스 클라우드를 사용한 분들이 있어서, 이미 많은 긍정적인 이야기를 들었던 상태였습니다.
Q. 여러 GPU 서비스 중에서 특별히 엘리스 클라우드를 선택한 이유는 무엇인가요?
첫 번째 이유는 자원 확보의 신속성, 두 번째 이유는 가격 경쟁력이라고 말씀드릴 수 있습니다. 가장 중요한 점은 저희가 필요할 때 즉시 사용할 수 있는 자원을 제공받는 것이었는데, 엘리스는 이 부분에서 가장 빠르게 대응해 주셨어요. 또한 가격 측면에서도 다른 클라우드 서비스에 비해 매우 경쟁력 있는 조건을 제시해 주셨습니다.
Q. 어떤 용도로 엘리스 클라우드를 이용하고 계신가요? 클라우드를 도입하여 이루고자 하는 목표가 무엇인지도 궁금합니다.
엘리스 클라우드를 활용하여 AI 모델 트레이닝을 진행하였고, 또 좋은 성과를 거두기도 했어요. 사례를 말씀드리면, Linq는 허깅페이스의 MTEB ‘대량 텍스트 임베딩 벤치마크 리더보드’의 텍스트 검색 분야 평가에서 엔비디아, 세일즈포스, 구글, 오픈AI 등을 제치고 1위를 차지할 수 있었습니다.
Linq는 고객들이 필요로 하는 답변을 제공할 수 있는 생성 AI 모델을 개발하고 있는 만큼, 저희의 목표는 고객을 지속적으로 만족시킬 수 있는 고성능 검색 모델을 만드는 것이고 엘리스 클라우드가 목표를 달성하는 데 큰 도움이 될 것으로 믿고 있습니다.
▲ MTEB 참고 이미지
Q. 엘리스 클라우드를 처음 사용했을 때 편리하다고 느끼셨나요? 불편함을 느낀 부분이 있다면 말씀해 주세요.
저도 공대 출신이고 컴퓨터 사이언스를 공부했기 때문에 사용하는 데 큰 어려움은 없었습니다. 저희 개발자와 함께 소통하며 진행했을 때도 초기 셋업을 제외하고는 크게 어렵거나 불편한 점은 없었습니다.
Q. 엘리스 클라우드를 사용하면서 좋았던 점 혹은 인상 깊었던 점이 있으실까요?
가장 인상 깊었던 점은 커스터머 서포트였습니다. 김수인 CRO님 그리고 Andy Nam AI 클라우드 총괄님과 지속적으로 소통했는데, 저희 상황을 이해하고 필요한 제품을 제공해 주려고 하셔서 좋았어요. 또한 엘리스에서 Linq에 어떻게 도움을 줄 수 있는지 꾸준히 확인해 주셔서 저희도 리소스 확보 측면에서 어느 정도 예상하고 계획을 세울 수 있었습니다.
Q. 엘리스 클라우드에서 특히 마음에 드셨던 부분이 있을까요?
새로운 서비스를 어떤 클라우드에 올리려고 할 때 가장 중요한 것이 결국 안정성인데요. 엘리스 클라우드는 온디맨드 기능을 제공하여, 필요할 때마다 온디맨드로 편하게 테스트해 볼 수 있고 또 그걸 기반으로 해서 다음 플랜을 잘 세워볼 수 있어서 그 부분이 매력적이었던 것 같아요.
또한, ML API도 출시된 것으로 알고 있는데요. 저희도 향후에 모듈화하게 되면 이 기능을 활용할 수도 있을 것이라 기대하고 있습니다.
Q. 엘리스 클라우드에 대해 전반적으로 만족하시나요? 10점 만점에 몇 점으로 답변해 주셔도 좋습니다.
9점 드리고 싶어요. 제가 GPU 회사 5곳에 연락했는데 엘리스가 가장 빠르게 대응해 주었습니다. 제 기억으로는 워킹 데이 기준 2일 만에 대응해 주셨던 것 같아요. 당시 저희 회사가 급박한 상황이었는데, 엘리스가 빠르게 대응해 주고 바로 트라이얼을 진행할 수 있게 해주셔서 정상화할 수 있었습니다. 덕분에 원하는 시일 내에 릴리스를 할 수 있었고, 그 모델이 1위를 차지할 수 있었다고 생각합니다.
Q. 엘리스 클라우드를 다른 기업에 추천하시나요? 추천하신다면 간단한 추천 이유도 함께 말씀 부탁드립니다.
아까 말씀드렸듯이 개발자 입장에서는 개발을 바로 필요로 할 때 리소스를 가져올 수 있는 게 제일 중요하잖아요. 그런 부분에서 정말 추천해 드리고 싶어요. 그리고 온디맨드 도입 이후에 지속적으로 확보하고 싶으면 할인이 되는 구조라서 자연스레 락인 효과도 있는 것 같고요. 실제로 주변 분들에게 제가 추천을 이미 많이 하기도 했고, 앞으로도 충분히 계속 추천을 해드릴 수 있을 것 같습니다.
Q. 향후 Linq가 나아갈 방향에 대해서 간단하게 말씀 부탁드립니다.
지금까지 Linq는 헬스케어, 리테일, 보험 등 다양한 분야에서 모델을 개발해 왔습니다. 올해부터는 헷지 펀드 분야로 방향을 명확히 하여, 파이낸스에 특화된 모델들을 많이 개발할 계획이에요. 이 분야에서 세계 최고가 될 수 있도록 고객이 필요로 하는 답변을 제공하는 방향으로 열심히 개발하고 서비스를 제공할 예정입니다.
Linq는 엘리스 클라우드를 통해 필요한 리소스를 빠르게 확보하고, AI 모델에서 뛰어난 성과까지 거둘 수 있었습니다. 엘리스 클라우드는 Linq와 같은 AI 스타트업에게 신속하고 안정적인 클라우드 환경을 제공하며 기업이 솔루션을 개발하는 데 도움을 드리고 있습니다. 안정적인 GPU 환경이 필요한 기업이라면 엘리스 클라우드 온디맨드를 서비스를 고려해 보세요.
*해당 콘텐츠는 저작권법에 의해 보호받는 저작물로 엘리스에 저작권이 있습니다.
*해당 콘텐츠는 사전 동의 없이 2차 가공 및 영리적인 이용을 금하고 있습니다.
