도쿄--(뉴스와이어)--키옥시아 코포레이션(Kioxia Corporation)이 메모리 솔루션 분야의 세계적인 리더로서, 오늘 올-인-스토리지 ANNS 위드 프로덕트 퀀티제이션(All-in-Storage ANNS with Product Quantization, AiSAQ) 기술(1)(1)의 오픈 소스 출시를 발표했다. SSD에 최적화된 새로운 “어프락시미트 니어리스트 네이버(Approximate Nearest Neighbor)” 검색(ANNS) 알고리즘인 키옥시아 AiSAQ™(KIOXIA AiSAQ™) 소프트웨어는 DRAM에 인덱스 데이터를 배치하지 않고 대신에 SSD에서 직접 검색함으로써 검색증강생성(Retrieveeval-Augmented Generation, RAG)을 위한 확장 가능한 성능을 제공한다.

생성형 AI 시스템은 상당한 컴퓨팅, 메모리 및 스토리지 리소스를 필요로 한다. 다양한 산업 분야에서 혁신적인 돌파구를 추진할 수 있는 잠재력이 있지만, 이를 배포하려면 높은 비용이 수반되는 경우가 많다. RAG는 회사 또는 애플리케이션에 특정한 데이터로 대규모 언어 모델(LLM)을 정교화하는 AI의 중요한 단계이다.

RAG의 핵심 구성 요소는 특정 데이터를 축적하여 데이터베이스의 기능 벡터로 변환하는 벡터 데이터베이스이다. RAG는 또한 누적된 벡터와 타겟 벡터 간의 유사성을 기반으로 모델을 개선하는 벡터를 식별하는 ANNS 알고리즘을 활용한다. RAG가 효과적이려면 쿼리와 가장 관련성이 높은 정보를 신속하게 검색해야 한다. 전통적으로 ANNS 알고리즘은 이러한 검색에 필요한 고속 성능을 달성하기 위해 DRAM에서 배치된다.

키옥시아 AiSAQ 기술은 무시할 수 있는 메모리 사용량과 빠른 인덱스 전환 기능으로 수십억 규모의 데이터 세트를 위한 확장 가능하고 효율적인 ANNS 솔루션을 제공한다.

키옥시아 AiSAQ 기술의 주요 이점:

· 제한된 DRAM 리소스에 의존하지 않고 대규모 데이터베이스를 운영할 수 있어 RAG 시스템의 성능이 향상된다.

· 인덱스 데이터를 DRAM에 로드할 필요를 없애 벡터 데이터베이스를 즉시 시작할 수 있게 한다. 이를 통해 동일한 서버에서 사용자별 또는 애플리케이션별 데이터베이스 간의 원활한 전환이 지원되어 효율적인 RAG 서비스 제공된다.

· 여러 서버에서 공유할 수 있도록 인덱스를 세분화된 스토리지에 저장하여 클라우드 시스템에 최적화되었다. 이 접근 방식은 특정 사용자 또는 응용 프로그램에 대한 벡터 데이터베이스 검색 성능을 동적으로 조정하고 물리적 서버 간의 검색 인스턴스의 신속한 마이그레이션을 용이하게 한다.

키옥시아는 혁신적인 키옥시아 AiSAQ 기술을 오픈 소스 소프트웨어로 커뮤니티에 제공함으로써 AI 발전에 대한 헌신을 입증하고 있다.

참고

(1) 키옥시아 AiSAQ의 오픈 소스 출시에 대한 링크:

https://github.com/kioxiaamerica/aisaq-diskann

*회사 이름, 제품 이름 및 서비스 이름은 제3자 회사의 상표일 수 있다.

키옥시아 소개

키옥시아는 플래시 메모리 및 솔리드 스테이트 드라이브(Solid-state Drive, SSD)의 개발, 생산 및 판매에 전념하는 메모리 솔루션 분야의 세계적 선두업체이다. 2017년 4월에, 전신인 도시바 메모리(Toshiba Memory)는 1987년에 낸드(NAND) 플래시 메모리를 발명한 회사인 도시바(Toshiba Corporation)에서 분사했다. 키옥시아는 고객을 위한 선택과 사회를 위한 메모리 기반 가치를 창출하는 제품, 서비스 및 시스템을 제공함으로써 “메모리”로 세상을 향상시키기 위해 최선을 다하고 있다. 키옥시아의 혁신적인 3D 플래시 메모리 기술인 BiCS 플래시™(BiCS FLASH™)는 고급 스마트폰, PC, 자동차 시스템, 데이터 센터 및 생성성 AI 시스템을 포함한 고밀도 애플리케이션에서 스토리지의 미래를 형성하고 있다.

*제품 가격 및 사양, 서비스 내용 및 연락처 정보를 포함하여 이 문서에서의 정보는 발표 날짜에는 정확하지만 사전 통지 없이 변경될 수 있다.

이 보도자료는 해당 기업에서 원하는 언어로 작성한 원문을 한국어로 번역한 것이다. 그러므로 번역문의 정확한 사실 확인을 위해서는 원문 대조 절차를 거쳐야 한다. 처음 작성된 원문만이 공식적인 효력을 갖는 발표로 인정되며 모든 법적 책임은 원문에 한해 유효하다.