Colibri

Colibri es un motor de inferencia para Windows que te permitirá ejecutar modelos de lenguaje MoE gigantescos, desde 744B hasta 2.8T de parámetros, directamente en hardware de consumo heterogéneo. Si alguna vez has querido usar IA avanzada sin depender de costosas granjas de servidores o APIs de terceros, esta herramienta convertirá tu almacenamiento NVMe, RAM y VRAM en una única jerarquía de memoria para lograrlo.

Carga familias de modelos conocidos con facilidad

Al estar desarrollado íntegramente en lenguaje C puro y con cero dependencias de motor, Colibri te permitirá cargar potentes familias de modelos como GLM-5.2 (744B), Inkling (975B), Kimi K3 (2.8T), DeepSeek V4 Flash (284B) y OLMoE (7B). Esto hará que puedas disfrutar de una amplia compatibilidad y versatilidad a la hora de ejecutar todas tus tareas del día a día.

Una herramienta que aprenderá día a día para optimizar el uso

Al igual que otros referentes de la inferencia local como vLLM o llama.cpp, Colibri también democratizará la IA, pero operando como un compilador JIT. Como un modelo de 744B parámetros solo necesita activar unos 40B por token, esta utilidad no requerirá cargar todo en la memoria rápida. En su lugar, la parte densa del modelo residirá en la RAM, mientras que los miles de expertos enrutados vivirán en el disco duro y se transmitirán bajo demanda. A medida que interactúes, el motor aprenderá de tu carga de trabajo y mantendrá en la caché a los expertos más utilizados para que la falta de memoria rápida solo afecte a la velocidad y nunca reduzca silenciosamente la precisión o la semántica del modelo.

Lo que más me gustó y lo que mejoraría de Colibri

• Lo que más me ha gustado: la optimización técnica que permite usar múltiples discos SSD simultáneamente para duplicar el ancho de banda de lectura. También resulta útil mantener conversaciones persistentes para abrirlas de nuevo instantáneamente sin tener que volver a procesar el contexto.

• Lo que mejoraría: la velocidad de generación de texto es dependiente de la velocidad de tu disco duro, por lo que en equipos más modestos o con discos lentos la experiencia puede ser tediosa. Además, necesitarás alrededor de 370 GB solo para ejecutar el modelo GLM-5.2.

Descarga Colibri para Windows y transforma tu computadora en un laboratorio de investigación de inteligencia artificial. Ajusta tus parámetros, explora el atlas de expertos en 3D y descubre de lo que es capaz tu hardware al optimizarlo al máximo.