Google выпустили новое поколение TPUОни анонсировали TPU 8t и TPU 8i. Один…

Google выпустили новое поколение TPU

Они анонсировали TPU 8t и TPU 8i. Один чип под обучение, другой – под инференс и ризонинг.

Фактически, компания уходит от универсальных ускорителей и переходит к идее специфичного проектирования чипов под узкие места и задачи (это уже абсолютно другая стратегия в сравнении с Nvidia, которые берут как раз универсальностью). Это и есть ключевой момент релиза.

Итак, TPU 8t – это для обучения. Их может быть до 9 600 в одном кластере, и упор сделан на скорость обучения и масштабирование. Интересно, что есть отдельные блоки, спроектированные под ускорение специфичных операций, например для рексис.

TPU 8i – для работы моделей в проде. Тут у нас больше памяти, быстрее обмен данными между чипами и отдельные механизмы для синхронизации.

Относительно прошлого поколения заявляется до 2,7 раза лучше соотношение цена/производительность при обучении и до 80% (!) прироста эффективности на инференсе.

Оба чипа пока в статусе coming soon

https://blog.google/innovation-and-ai/infrastructure-and-cloud/google-cloud/eighth-generation-tpu-agentic-era/