Google TPU v1

구글의 역사 설명은 TPU v1을 2015년 내부 시스템에 처음 배치된 추론 중심의 특정 용도 프로세서로 식별한다. 따라서 이 기록은 이후 TPU라는 이름으로 나온 모든 장치가 아니라 1세대 가속기를 나타낸다. 그 목적은 더 큰 컴퓨팅 서비스 안에서 이미 학습된 모델을 실행하는 것이었다. 행렬 연산을 전용 실리콘으로 옮기더라도 호스트 시스템, 모델 소프트웨어, 요청 처리 인프라는 여전히 완전한 애플리케이션의 구성 요소다.

구글의 첫 TPU 해설은 8비트 정수 곱셈·누산을 수행하는 256 × 256 시스톨릭 행렬 연산부를 설명한다. 값이 인접한 산술 연산 장치 사이를 규칙적으로 이동하므로, 중간 연산마다 범용 레지스터 파일로 되돌리지 않고 재사용할 수 있다. VLSI Museum의 해석: 핵심 아키텍처 자원은 단순히 많은 곱셈기의 수에 있지 않다. 워크로드를 배열에 대응시킬 수 있다면, 곱셈기의 배치가 유용한 피연산자 재사용을 가능하게 한다.

ISCA 논문은 가중치가 외부 DRAM에서 가중치 FIFO를 거쳐 들어오고, 중간값은 칩 내부의 24 MiB Unified Buffer에 저장된다고 설명한다. DMA는 이 버퍼와 호스트 메모리 사이에서 데이터를 이동시킨다. 행렬 연산은 누산기에 결과를 기록하고, 활성화 명령은 결과를 버퍼로 되돌린다. 이는 서로 다른 종류의 데이터를 명시적으로 관리하는 흐름이며, 일반적인 CPU 캐시 계층과는 다르다. 산술 연산을 지속하려면 가중치와 활성값이 모두 제때 도착해야 한다.

논문은 최초의 TPU를 28nm 구현으로 명시하며, 공개된 플로어플랜에서 Unified Buffer와 행렬 연산부가 상당한 면적을 차지한다. VLSI Museum의 해석: 이 가속기에서는 저장공간이 물리 설계의 핵심 고려사항이다. 이 자료는 논문에 공개된 내용을 링크로 연결하며, 그림을 복사하거나 광학 사진인 것처럼 제시하지 않는다. 새 기록에는 박물관 소장 다이 사진, 트랜지스터 수, 파운드리별 특정 공정 변형을 주장하지 않는다.

구글의 해설은 분기 예측이나 비순차 실행 같은 기법을 제외한 최소한의 실행 모델을 강조한다. VLSI Museum의 해석: 지원하는 연산을 제한하면 스케줄링을 더 예측 가능하게 만들 수 있지만, 모든 신경망이 최대 산술 처리량으로 실행된다는 뜻은 아니다. 행렬의 형태, 재사용, 전송, 소프트웨어 구성은 여전히 중요하다. 공개된 최대 연산 처리율은 적절한 조건에서의 하드웨어 능력이며, 실제 서비스의 초당 요청 처리량을 보편적으로 보장하지 않는다.

구글의 2017년 5월 발표는 학습과 추론을 모두 지원하는 2세대 TPU와 Google Cloud 도입을 설명한다. 이는 용도의 변화를 지우지 않으면서 v1에서 이어지는 명확한 계보를 제공한다. VLSI Museum의 해석: 이후 추가된 학습 기능과 메모리·인터커넥트의 세부사항은 후속 세대의 기록에 속한다. 두 세대를 하나의 TPU 이름으로만 다루면 아키텍처와 시스템 수준에서 이루어진 중요한 확장이 가려진다.