서브쿼드래틱, 시드 투자 유치…1,200만 토큰 ‘초장문’ LLM SubQ 공개

생성형 인공지능 스타트업 서브쿼드래틱이 2,900만 달러(약 426억 원)의 시드 투자를 유치하며 주목받고 있습니다. 이 회사는 최대 1,200만 토큰을 처리할 수 있는 대형언어모델 'SubQ'를 공개했는데, 이는 기존 AI 모델들이 가지고 있던 '컨텍스트 윈도우'와 연산비용 문제를 동시에 해결하고자 하는 목표를 가지고 있습니다. 5일(현지 시간) 서브쿼드래틱의 출범과 함께 이러한 내용을 발표했습니다.

서브쿼드래틱의 공동 창립자인 저스틴 댕글 CEO와 알렉산더 웨던 CTO는 새로운 모델 구조에 '서브쿼드래틱 아키텍처'를 적용했다고 밝혔습니다. 이 아키텍처는 기존의 '밀집 어텐션' 방식 대신 '희소 어텐션'을 활용하여, 모든 토큰을 전부 비교하는 대신 필요한 관계만을 선택적으로 계산할 수 있도록 설계되었습니다. 이를 통해 처리량을 크게 향상시키는 동시에 연산 비용도 절감할 수 있는 길을 열었습니다.

기존의 AI 모델들은 컨텍스트 윈도우의 한계로 인해 긴 텍스트를 처리하는 데 어려움을 겪었습니다. 서브쿼드래틱은 이러한 한계를 극복하고, 더 많은 정보를 한 번에 처리할 수 있는 가능성을 제시하고 있습니다. 이는 특히 복잡한 데이터나 긴 문맥을 다루어야 하는 다양한 분야에서 유용하게 쓰일 것으로 기대됩니다.

서브쿼드래틱은 이번 투자 유치를 통해 기술 개발에 더욱 박차를 가할 계획이며, 향후 다양한 산업에 AI 솔루션을 제공할 수 있는 가능성을 모색하고 있습니다. 이러한 혁신적인 기술이 적용된 'SubQ'는 앞으로 많은 기업과 개발자들에게 큰 관심을 받을 것으로 보입니다. AI와 관련된 산업은 날로 발전하고 있으며, 서브쿼드래틱의 도전은 그 흐름 속에서 중요한 이정표가 될 수 있을 것입니다.