AMD, Taalas 인수로 AI 모델을 실리콘에 각인해 추론 성능 극대화

AMD acquires Taalas to boost inference performance by etching models in silicon

AMD가 AI 칩 스타트업 Taalas를 인수했다. Taalas는 모델 가중치를 실리콘에 직접 각인하는 방식으로 추론 성능을 10배 이상 향상시키는 칩을 개발했다. 이 기술은 HBM 대신 모델별 집적회로(MSIC)를 사용하며, 첫 테스트 칩 HC1은 Llama 3.1 8B를 초당 16,960 토큰으로 처리해 기존 GPU보다 48배 빨랐다. AMD는 이 기술을 Helios 랙과 결합해 대규모 모델 서빙의 효율성을 높일 계획이다. 다만, 모델 변경 시 칩 재생산이 필요하다는 단점이 있다.