Let’s Talk: MISTRAL AI Community Questions & Feedback
As part of the Mistral Ambassadors program, I’m opening this thread to gather community feedback, questions and suggestions directly from all of you.
Questions and suggestions here:
www.reddit.com/r/MistralAI/...
Mistral has just released its new public documentation site, with a fresh layout, clean structure and more detailed info about models, endpoints, agents, and platform features.
The docs are finally reaching the level of polish that the platform deserves.
You can check it out here: docs.mistral.ai
Proyecto MetaTool. Enseñando a los Robots a inventar a traves de la IA.
Amen
Al final dependerá mucho de tu equipo y el caso de uso. Ciertamente Gemma ofrece un contexto mucho más largo, pero a coste de uso de recursos menos eficiente. No obstante, merece la pena probar ambos para comparar.
Conforme el contexto acumulado crece (limitado a 30k en ambos) Mistral mantiene su velocidad, pero Gemma se hace notablemente más lento y el consumo de recursos en el ordenador crece notablemente más (un 40% más que Mistral aprox.) 🧵
Y ahora vienen otras consideraciones que no puedo medir. Mistral es más serio y conciso. Gemma más hablador y “gracioso”.
En el RAG que tengo montado, Mistral es bastante más rápido que Gemma y más preciso. Y, esto a continuación es importante 🧵
Multilingual. Solo lo he probado en español aparte de inglés. Mistral no comete fallos notables. Gemma 3 tiene algunos problemas con el español, pero muchos menos que, por ejemplo, llama 3.3. 🧵
Velocidad de inferencia. Ambos en local mediante Ollam y en el mismo ordenador(el anterior) y mismo prompt.
Mistral: 20 tokens por segundo.
Gemma 3: 24 tokens por segundo. 🧵
Mistral tiene 32k de contexto y Gemma 128k. Personalmente prefiero 128k, pero para uso local un contexto tan grande satura la memoria a no ser que tengas un pepino de ordenador (en mi caso un MacBook Pro M4 Max con 128 de memoria unificada y aún sufre cuando pasa de 50k tokens) Para gustos. 🧵
He tenido la oportunidad de probar Gemma 3 de Google en su versión 27b. Voy a compararlo, desde un punto de vista de usuario, con Mistral Small 3 24b por ser de tamaño aproximado. 🧵
Introducing Gemma 3. The most capable LLM model you can run on a single GPU
Disrespectful, arrogant, and illiterate. But above all, a traitor.
#standwithukraine
#standwithukraine
Yeah, sure the orange dog will do it.
blogs.microsoft.com/on-the-issue...
