Saltar al contenido
Fantástico Mundo de Jon
RSS

1 post

Posts etiquetados con vLLM

Todas las etiquetas

  1. El MacBook Pro M4 tiene más RAM que la 5090 y sigo con CUDA

    48 GB unificados en el M4 caben más que los 32 GB de la 5090. Aun así, vLLM, llama.cpp y diffusion siguen en NVIDIA, porque decode es banda y la stack que ya opero es CUDA.