únicamente el hardware de inferencia de clase para centros de datos disponga de la RAM (memoria de acceso aleatorio) y la potencia de procesamiento necesarias para cargar todo el modelo a la vez. A modo de comparación, el mayor archivo de pesos de Llama 2, un modelo 70B con precisión de 16 bits, posee un tamaño de unos 140 GB.

Hasta ahora, no hemos visto a nadie que lo haya ejecutado localmente, pero nos enteramos de que se está trabajando en un modelo cuantizado que reducirá su tamaño para que funcione en una GPU de consumo general; aunque esto también reducirá drásticamente su capacidad de procesamiento.

Willison confirmó nuestras sospechas, al manifestar que “es difícil evaluar [Grok-1] en este momento porque es muy grande; un archivo torrent [enorme], y además necesitas todo un conjunto de GPU costosas para ejecutarlo. Es muy posible que en las próximas semanas haya versiones cuantificadas que la comunidad genere y que presenten un tamaño más práctico, pero si no es por lo menos competitivo en calidad con Mixtral, es difícil entusiasmarse con él”.

Acertadamente, xAI no denomina “código abierto” al debut de Grok-1 en GitHub porque ese término tiene un significado específico en software, y el sector aún no ha establecido un concepto para los lanzamientos de modelos de IA que incluyen código y pesos con restricciones (como Llama 2 de Meta) o que proporcionan código y pesos sin publicar los datos de entrenamiento, lo que supone que el proceso de entrenamiento del modelo de IA no puede ser reproducido por otros. Por eso, solemos llamar a estas versiones “código de fuente disponible” o “ pesos abiertos”.

“Lo más interesante es que cuenta con una licencia Apache 2”, comenta Willison. “No una de las licencias poco compatibles con OSI [modelo de interconexión de sistemas abiertos] que se usan para modelos como Llama 2, y que es uno de los modelos de pesos abiertos más grandes que nadie ha presentado hasta ahora”.

Musk anunció inicialmente que Grok se publicaría como “código abierto” en un tuit publicado el lunes de la semana pasada. El aviso se realizó después de que Musk demandara a OpenAI y a sus directivos, acusándoles de dar prioridad a las ganancias frente a la liberación de los modelos de IA abiertos. Musk fue cofundador de OpenAI, pero ya no está vinculado a la organización, aunque suele insistir a la compañía para que difunda sus modelos como código abierto o pesos abiertos, tal y como muchos creen que el nombre de la empresa sugiere que debería hacer.

El 5 de marzo, OpenAI respondió a las acusaciones de Musk revelando antiguos emails que parecían apuntar a que Musk estaba de acuerdo con el cambio de OpenAI a un modelo de negocio con fines comerciales a través de una filial. OpenAI también manifestó que el término “abierto” de su nombre sugiere que sus productos resultantes estarían disponibles para beneficio de todos, en lugar de ser un enfoque de código abierto. Ese mismo día, Musk tuiteó (dividido en dos tuits): “Cambia tu nombre a ClosedAI y retiraré la demanda”. Su declaración de ofrecer Grok en un régimen abierto llegó cinco días después.

Grok-1: un modelo de pesos