동국대, 대규모 언어모델 '메모리 병목' 줄이는 반도체 구조 제시

동국대 김성준 전자전기공학부 교수 연구팀이 서울과학기술대와 공동으로 대규모 언어모델(LLM)의 메모리 병목을 줄이는 메모리 내 연산(PIM) 구조를 제시했다고 16일 밝혔다. PIM은 메모리 안에서 직접 연산을 처리해 데이터 이동을 줄이는 기술이다. LLM은 이전 연산 정보를 담는 키-값(KV) 캐시가 커지면서 메모리 부담이 늘어나는 문제가 있다. 기존 PIM은 오래 보관해야 할 모델 가중치와 자주 갱신되는 KV 캐시를 한 가지 방식으로만 처리해 한계가 있었다. 연구팀은 하나의 소자 안에 빠른 메모리 방식과 보존력이 높은 메모리 방식을 함께 구현해, 빠른 방식은 KV 캐시 저장에, 보존 방식은 모델 가중치 저장과 곱셈-누산 연산에 쓰도록 설계했다. 실험에서 빠른 방식은 140나노초 만에 동작했고, 보존 방식은 3비트 데이터를 1만 초간 안정적으로 유지했다. 해당 연구에는 서울과기대 심원보 교수가 공동 교신저자로 참여했으며, 결과는 국제학술지 '머티리얼스 호라이즌스'에 지난달 3일 온라인 게재됐다.

PIM메모리 병목KV 캐시대규모 언어모델