A corrida para tornar a inferência de IA mais barata está levando o design de chips além dos aceleradores de uso geral. Agora estamos caminhando para o silício que.
“Nossas equipes estão constantemente pesquisando e experimentando novas inovações para oferecer o máximo desempenho e eficiência aos nossos usuários e clientes.”.
"Nossas equipes estão constantemente pesquisando e experimentando novas inovações para oferecer o máximo desempenho e eficiência para nossos usuários e clientes. Embora nem todos os projetos passem para a produção, essa exploração rigorosa é fundamental para nossa abordagem full stack. Ao projetarmos conjuntamente nosso hardware e software desde o início, garantimos que nossos sistemas sejam integrados e altamente otimizados para cargas de trabalho do mundo real.".
De acordo com o relatório, o Google espera que o chip ajude a aliviar o problema que tornou mais difícil para os provedores de nuvem acompanhar a demanda, ao mesmo tempo que tornará o Gemini muito mais barato e mais eficiente para atender. Projeções internas estimam que o projeto poderia fornecer de seis a dez vezes mais tokens por watt do que a atual geração de chips de IA do Google.
Se o projeto avançar, representaria uma abordagem diferente para a infraestrutura de IA porque o Google estaria construindo hardware especificamente para Gemini. Para os desenvolvedores, esta é uma indicação precoce de que os futuros sistemas de IA podem ser projetados com uma integração muito mais estreita entre o modelo e o hardware abaixo dele.
Atualmente, a grande maioria das inferências de IA são executadas em GPUs Nvidia ou nas próprias unidades de processamento de tensores (TPUs) do Google. Como esses chips se destinam a acomodar uma ampla variedade de modelos de IA, eles carregam um alto grau de carga de processamento.
Há precedentes para esse tipo de mudança. A mineração de Bitcoin seguiu um caminho semelhante, começando com CPUs, depois GPUs, antes de finalmente se estabelecer em ASICs. A inferência de IA pode seguir na mesma direção. O treinamento ainda se beneficia da flexibilidade das GPUs, mas quando um modelo chega à produção, a prioridade muda para atender o maior número possível de solicitações usando menos energia.
O treinamento ainda se beneficia da flexibilidade das GPUs, mas quando um modelo chega à produção, a prioridade muda para atender o maior número possível de solicitações usando menos energia.
As informações são do site The New Stack
