Meta acaba de lanzar la más reciente adición a su línea de modelos de inteligencia artificial (IA) generativa de código abierto: Llama 3. Con el lanzamiento de Llama 3, Meta tiene como objetivo empujar los límites de las capacidades de IA, mostrando mejoras significativas en comparación con sus predecesores, además de prometer un mejor rendimiento que los modelos competidores. Ya hemos visto como otras herramientas de IA ha ido mejorando. Meta no quiere quedarse atrás.
a serie Llama 3 está compuesta por dos modelos: Llama 3 8B, con 8 mil millones de parámetros, y Llama 3 70B, con impresionantes 70 mil millones de parámetros. Según Meta, estos modelos representan un «salto significativo» en rendimiento en comparación con las versiones anteriores de Llama. Entrenados en clusters de 24,000 GPUs personalizadas, tanto Llama 3 8B como Llama 3 70B se encontrarían entre los modelos de IA generativa de mejor rendimiento disponibles en la actualidad.
Comparaciones de rendimiento de Llama 3.
- Para respaldar sus afirmaciones, Meta señala el rendimiento de Llama 3 en varios puntos de referencia de IA, como MMLU, ARC y DROP.
- A pesar de las discusiones en curso sobre la validez de estos puntos de referencia, sirven como una medida estandarizada para evaluar modelos de IA.
- En esta evaluación, Llama 3 8B supera a modelos de código abierto competidores como Mistral 7B y Gemma 7B en varios puntos de referencia.
- Es importante destacar que Llama 3 70B compite con modelos líderes como Gemini 1.5 Pro de Google, superándolos en puntos de referencia críticos como MMLU y HumanEval.
- Aunque no alcanza el pico de rendimiento establecido por modelos como Claude 3 Opus de Anthropic, Llama 3 70B muestra avances significativos, superando a competidores más débiles como Claude 3 Sonnet en múltiples aspectos.
- Meta también realizó pruebas internas, comparando Llama 3 70B con modelos de otros proveedores, incluidos Mistral y OpenAI.
Entrenamiento del Llama 3.
El éxito del Llama 3 radica en su vasto conjunto de datos de entrenamiento, que consta de impresionantes 15 billones de tokens, abarcando aproximadamente 750 mil millones de palabras. Meta recurrió a diversas fuentes públicamente disponibles, incluyendo datos sintéticos para enriquecer el entrenamiento. Aunque inicialmente adaptado para generar resultados en inglés, la amplia diversidad en el conjunto de datos mejora el rendimiento del modelo en varios idiomas y tareas.
Sin embargo, siguen existiendo desafíos, como lo demuestran incidentes pasados, como la tendencia de Llama 2 a generar información imprecisa o delicada. Meta reconoce las limitaciones de las salvaguardas actuales y destaca los esfuerzos continuos para mejorar la robustez y la seguridad del modelo.
La disponibilidad para descargar los modelos Llama 3 es solo el principio. Meta tiene planes de alojar estos modelos en diversas plataformas de la nube, ampliando así su accesibilidad y utilidad. Además, la empresa ya está entrenando modelos Llama 3 con más de 400 mil millones de parámetros, lo que sugiere capacidades multilingües y multimodales con una mejora en la capacidad de razonamiento y codificación.
Despliegue de Llama 3 a gran escala
Pronto, Llama 3 estará disponible en las principales plataformas, incluyendo proveedores de nube, servicios de API de modelos y muchos otros. Llama 3 estará omnipresente.
Las pruebas comparativas indican que el tokenizador ofrece una mayor eficiencia en la generación de tokens, produciendo hasta un 15% menos de tokens en comparación con Llama 2. Además, indica META que ahora también se ha incorporado la Atención de Consulta de Grupo (GQA) en Llama 3 8B. Como resultado, a pesar de que el modelo tiene 1B de parámetros más en comparación con Llama 2 7B, la mejora en la eficiencia del tokenizador y la inclusión de GQA contribuyen a mantener la eficiencia de inferencia al mismo nivel que Llama 2 7B.
Para visualizar ejemplos de cómo utilizar todas estas capacidades, puedes consultar Llama Recipes, donde encontrarás nuestro código fuente abierto que puede ser utilizado para una variedad de propósitos, desde ajustes finos hasta despliegue y evaluación de modelos.
Descargar Llam 3
Si deseas probar los últimos avances de Meta Llama 3, puedes visitar elsitio web de Llama 3para descargar los modelos y consulta laGuía de iniciopara ver la lista actualizada de todas las plataformas disponibles.
Ten en cuenta que llama 3 esta creciendo para estar disponibles de forma gratuitas en varias plataformas y países. Si no esta disponible en tu region, ten paciencia.
