Então agora onde isso fará sentido para inferência, mal conseguimos encaixar instâncias Kimi K2 e Qwen Coder 3 quantizadas Q8 nos nossos H200s. Kimi K2 @ Q8 não deixou espaço para um cache kv para o contexto. Será que esses modelos caberiam em uma única instância 8xB200? Provavelmente, vamos tentar esta semana.
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
9 Curtidas
Recompensa
9
4
Compartilhar
Comentário
0/400
HallucinationGrower
· 8h atrás
Para que fazer algo tão extravagante?
Ver originalResponder0
TerraNeverForget
· 8h atrás
Isso está muito ser liquidado.
Ver originalResponder0
FadCatcher
· 8h atrás
Como é que este espaço de cache kv se esgotou?
Ver originalResponder0
FloorSweeper
· 8h atrás
As placas de vídeo não cabem, o que está a acontecer?
Então agora onde isso fará sentido para inferência, mal conseguimos encaixar instâncias Kimi K2 e Qwen Coder 3 quantizadas Q8 nos nossos H200s. Kimi K2 @ Q8 não deixou espaço para um cache kv para o contexto. Será que esses modelos caberiam em uma única instância 8xB200? Provavelmente, vamos tentar esta semana.