Arquitectura de Vertex AI para modelos de lenguaje

Vertex AI es la plataforma unificada de Google Cloud para el ciclo de vida completo de machine learning (ML). Permite a los equipos desarrollar, desplegar y gestionar modelos de IA, incluyendo los modelos de lenguaje grandes (LLM) como Gemini, con herramientas integradas y escalables. Comprender su arquitectura es fundamental para optimizar el uso de los LLM.

Componentes Core de Vertex AI

Vertex AI consolida más de una docena de servicios de ML de Google Cloud en un solo entorno. Su diseño facilita la interoperabilidad y la gestión centralizada. Para modelos de lenguaje, los componentes clave incluyen:

• Model Garden: Un catálogo de modelos preentrenados y de código abierto, incluyendo los modelos fundacionales de Google (como Gemini, PaLM 2, Imagen, Codey) y modelos de terceros. Permite el acceso directo para fine-tuning o inferencia.
• Workbench: Entornos de desarrollo basados en Jupyter Notebooks, preconfigurados con las librerías y SDKs necesarios para ML. Facilita la experimentación y el desarrollo de código.
• Training: Servicio para entrenar modelos personalizados. Soporta entrenamiento distribuido, hyperparameter tuning y diversas arquitecturas de ML. Aunque los LLM fundacionales ya están preentrenados, este componente es crucial para el fine-tuning.
• Prediction: Servicio para desplegar modelos entrenados y realizar inferencia. Permite configurar endpoints para solicitudes en línea (tiempo real) o por lotes (batch prediction). Es el punto de acceso principal para consumir las capacidades de los LLM.
• Feature Store: Un servicio centralizado para almacenar, gestionar y servir características (features) de ML. Aunque menos crítico para la inferencia directa de LLM, es vital para modelos que consumen datos estructurados para contextualizar las interacciones con LLM o para retrieval-augmented generation (RAG).

Modelos Fundacionales y Gemini en Vertex AI

Los modelos fundacionales son la base de la IA generativa en Google Cloud. Son modelos grandes, preentrenados en vastos conjuntos de datos, capaces de realizar una amplia gama de tareas. Gemini es el modelo fundacional más avanzado de Google, diseñado para ser multimodal y altamente capaz.

• Acceso: Gemini está disponible a través de la API de Vertex AI. Los ingenieros y desarrolladores pueden interactuar con Gemini directamente desde sus aplicaciones o mediante las herramientas de Vertex AI.
• Versiones: Existen diferentes versiones de Gemini (por ejemplo, Gemini Pro, Gemini Ultra, Gemini Nano), cada una optimizada para casos de uso específicos en términos de capacidad, latencia y costo. La disponibilidad de estas versiones en Vertex AI puede variar y se actualiza constantemente.
• Fine-tuning: Aunque Gemini es potente por sí mismo, Vertex AI permite realizar fine-tuning con datos específicos de la organización. Esto adapta el comportamiento del modelo a terminología, estilo o dominios particulares, mejorando la relevancia y precisión de las respuestas. El fine-tuning utiliza los servicios de Training de Vertex AI.

Integración con Servicios de Datos de Google Cloud

La efectividad de los LLM en entornos empresariales depende de su capacidad para interactuar con los datos organizacionales. Vertex AI se integra profundamente con otros servicios de datos de Google Cloud para facilitar esto:

• BigQuery: Para almacenar y analizar grandes volúmenes de datos estructurados. Puede ser fuente de datos para fine-tuning o para contextualizar las solicitudes a los LLM.
• Cloud Storage: Para almacenar datos no estructurados (documentos, imágenes, videos) que pueden ser procesados por modelos multimodales o utilizados en RAG.
• Cloud SQL / AlloyDB: Bases de datos relacionales para aplicaciones transaccionales, que pueden servir como fuentes de información en tiempo real para agentes basados en LLM.
• Vertex AI Vector Search (anteriormente Matching Engine): Un servicio de base de datos vectorial altamente escalable. Es crucial para implementaciones de RAG, permitiendo a los LLM recuperar información relevante de grandes corpus de documentos empresariales antes de generar una respuesta.

Orquestación y Agentes con Vertex AI

Más allá de la inferencia directa, Vertex AI proporciona herramientas para construir sistemas más complejos basados en LLM, conocidos como agentes de IA. Estos agentes pueden realizar cadenas de razonamiento, usar herramientas externas y mantener un estado.

• Vertex AI Agent Builder: Un conjunto de herramientas que facilita la creación de agentes conversacionales y generativos. Incluye componentes para la gestión del flujo, la integración de herramientas y la orquestación de modelos.
• LangChain en Vertex AI: Aunque LangChain es una librería de código abierto, Google Cloud ofrece integraciones y soporte para su uso dentro de Vertex AI, permitiendo a los desarrolladores construir agentes complejos con facilidad, aprovechando las capacidades de los LLM y las herramientas de Google Cloud.
• Herramientas (Tools): Los agentes pueden ser equipados con 'herramientas' que les permiten interactuar con sistemas externos (APIs, bases de datos, servicios web). Vertex AI facilita la definición y el uso de estas herramientas, permitiendo a los LLM ejecutar acciones o recuperar información específica.

Seguridad y Gobierno en la Arquitectura

La seguridad y el gobierno son pilares en la arquitectura de Vertex AI, especialmente al manejar datos sensibles de la empresa con LLM.

• IAM (Identity and Access Management): Controla quién puede acceder a qué recursos dentro de Vertex AI y Google Cloud. Es fundamental para definir permisos para modelos, endpoints y datos de entrenamiento.
• VPC Service Controls: Crea perímetros de seguridad alrededor de los servicios de Google Cloud, incluyendo Vertex AI, para prevenir la exfiltración de datos. Esto asegura que los datos sensibles permanezcan dentro de la red corporativa.
• Data Governance: Vertex AI cumple con las políticas de residencia de datos y ofrece opciones de encriptación en reposo y en tránsito. Es responsabilidad del cliente configurar y gestionar estas opciones según sus requisitos de cumplimiento.
• Model Monitoring: Permite monitorear el rendimiento y el comportamiento de los modelos desplegados, detectando desviaciones, sesgos o degradación. Es esencial para mantener la calidad y la seguridad de las respuestas de los LLM.

Aplicación Práctica: Preparando el Entorno

Para el lunes, familiarícese con la consola de Google Cloud y Vertex AI. Acceda a un proyecto de Google Cloud con permisos de edición y realice los siguientes pasos:

1. Habilitar la API de Vertex AI: Navegue a la sección 'APIs y servicios' en la consola de Google Cloud y asegúrese de que la 'Vertex AI API' esté habilitada para su proyecto. Esto es un prerrequisito para usar cualquier servicio de Vertex AI.
2. Explorar Model Garden: Dentro de Vertex AI en la consola, navegue a 'Model Garden'. Revise los modelos fundacionales disponibles, prestando especial atención a las versiones de Gemini. Observe la información sobre sus capacidades y cómo acceder a ellos.
3. Crear un Workbench Notebook: En la sección 'Workbench' de Vertex AI, cree una nueva instancia de usuario gestionada. Seleccione un tipo de máquina pequeño (por ejemplo, e2-standard-2) para empezar. No es necesario instalar librerías adicionales por ahora, solo asegúrese de que el entorno se inicie correctamente. Esto le proporcionará un entorno de desarrollo para la siguiente lección.