Actualmente hay varios actores de IA en el mercado, incluidos ChatGPT, Google Bard, Bing AI Chat y muchos más. Sin embargo, todos requieren que tengas una conexión a internet para interactuar con la IA. ¿Y si quieres instalar un Modelo de Lenguaje Grande (LLM) similar en tu computadora y usarlo localmente? Un chatbot de IA que puedes usar de forma privada y sin conexión a internet. Bueno, con nuevas aplicaciones de escritorio GUI como LM Studio y GPT4All, puedes ejecutar un LLM al estilo ChatGPT sin conexión en tu computadora sin esfuerzo. Dicho esto, aprendamos a usar un LLM localmente sin conexión a internet.
Ejecuta un LLM Local Usando LM Studio en PC y Mac
- Primero que todo, descarga LM Studio para tu PC o Mac desde aquí.
- Luego, ejecuta el archivo de instalación y LM Studio se abrirá.
- A continuación, ve a la pestaña «buscar» y encuentra el LLM que deseas instalar. Puedes encontrar los mejores modelos de IA de código abierto en nuestra lista. También puedes explorar más modelos de HuggingFace y el ranking AlpacaEval.
- Estoy descargando el modelo Vicuna con 13B de parámetros. Dependiendo de los recursos de tu computadora, puedes descargar modelos aún más capaces. También puedes descargar modelos específicos para codificación como StarCoder y WizardCoder.
- Una vez que el modelo LLM esté instalado, ve a la pestaña «Chat» en el menú de la izquierda.
- Aquí, haz clic en «Seleccionar un modelo para cargar» y elige el modelo que has descargado.
- Ahora puedes comenzar a chatear con el modelo de IA utilizando los recursos de tu computadora localmente. Todos tus chats son privados y también puedes usar LM Studio en modo sin conexión.
- Una vez que termines, puedes hacer clic en «Eject Model», lo que descargará el modelo de la RAM.
- También puedes ir a la pestaña «Modelos» y administrar todos tus modelos descargados. Así es como puedes ejecutar localmente un LLM al estilo ChatGPT en tu computadora.
Ejecuta un LLM Local en PC, Mac y Linux usando GPT4All
GPT4All es otra aplicación de escritorio GUI que te permite ejecutar un LLM al estilo ChatGPT en tu computadora de forma privada. Lo mejor de GPT4All es que ni siquiera requiere una GPU dedicada y también puedes cargar tus documentos para entrenar el modelo localmente. No se requiere API ni codificación. ¿Genial, verdad? Así que descubramos cómo usar GPT4All localmente.
- Adelante, descarga GPT4All desde aquí. Es compatible con las plataformas Windows, macOS y Ubuntu.
- Luego, ejecuta el instalador y descargará algunos paquetes adicionales durante la instalación.
- Después de eso, descarga uno de los modelos según los recursos de tu computadora. Debes tener al menos 8GB de RAM para usar cualquiera de los modelos de IA.
- Ahora, simplemente puedes comenzar a chatear. Debido a la baja memoria, tuve algunos problemas de rendimiento y GPT4All dejó de funcionar a mitad de camino. Sin embargo, si tienes una computadora con especificaciones robustas, funcionaría mucho mejor.