Tiiny AI: el dispositivo edge más pequeño para ejecutar LLMs localmente
The smallest edge AI device for local LLMs
Tiiny AI presenta un dispositivo edge de tamaño mínimo capaz de ejecutar modelos de lenguaje grandes (LLMs) localmente, sin depender de la nube. El dispositivo, que se lanzará en septiembre, ofrece privacidad total, memoria a largo plazo y soporte para agentes de IA. Incluye un SDK para desarrolladores y utiliza el motor de inferencia PowerInfer para optimizar el rendimiento. Los usuarios pueden unirse a la lista de espera para obtener un descuento de lanzamiento.
Únete a la lista de espera para desbloquear tu descuento exclusivo de lanzamiento y lleva tu propia IA a casa.
- ByteOfWood
Toda esta página (excepto el pie de página) está hecha con imágenes. ¿Hay alguna razón para que hagan esto? ¿Hacen estas imágenes a mano o se generan de alguna manera? Simplemente parece una elección inusual.
- vkaku
Dime cuánto tiempo puede funcionar sin calentarse. Es un buen paso en la dirección correcta. La fiabilidad del hardware y las pruebas todavía tienen que avanzar mucho.
- tristanj
No entiendo la propuesta de valor aquí.
Este dispositivo se vende por $1,999. En la página de producto de su sitio web, muestran el dispositivo enchufado a un MacBook Pro.
Un MacBook Pro ya tiene una excelente capacidad para ejecutar LLMs locales, así que ¿por qué alguien no gastaría esos $1,999 en maximizar las especificaciones de su MacBook (M5 Max con más RAM) en su lugar?
¿O por qué no comprar un Mac Mini con 48GB de RAM por $2300?