Como funciona

A Cerebras desenvolve o WSE (Wafer-Scale Engine), um chip do tamanho de um wafer de silício inteiro, em vez de cortar o wafer em vários chips menores. Isso permite colocar mais núcleos e memória em um único processador.

O WSE-3 tem 4 trilhões de transistores e 900 mil núcleos de IA. A memória on-chip elimina a necessidade de acessar RAM externa, reduzindo gargalos de comunicação entre chip e memória.

A empresa também oferece a Cerebras Cloud, uma API de inferência com velocidade superior a GPUs tradicionais para modelos grandes.

Exemplo prático

Um laboratório de pesquisa pode treinar um modelo de 70 bilhões de parâmetros em um único sistema Cerebras, sem precisar distribuir o treinamento entre dezenas de GPUs. O código usa a API compatível com PyTorch:

Python
import cerebras_pytorch as cstorch
import torch

model = MeuModelo()
optimizer = cstorch.optim.AdamW(model.parameters(), lr=1e-4)

# Treinamento em wafer-scale
for batch in dataloader:
    outputs = model(batch)
    loss = criterion(outputs, labels)
    loss.backward()
    optimizer.step()

Para que serve

A Cerebras serve para treinamento e inferência de modelos grandes onde a velocidade e a simplicidade de um único chip são vantajosas. Elimina a complexidade de paralelizar entre múltiplas GPUs.

Para quem trabalha com IA em escala, a Cerebras oferece uma alternativa aos clusters de GPU tradicionais, com menor latência de comunicação e maior eficiência energética por token processado.