VJOURNAL

IA • Sección internacional •

Primero el problema, después el modelo: cómo elegir un proyecto para un curso aplicado de IA

El proyecto es donde un curso aplicado de IA deja de ser clases y pasa a ser decisiones suyas. Así se elige: una tarea real, datos utilizables, una línea de base, un alcance que quepa en el calendario, una prueba explicable y los límites por escrito.

Portada de VJOURNAL para «Primero el problema, después el modelo: cómo elegir un proyecto para un curso aplicado de IA»

Respuesta breve

Elija el proyecto por el problema y no por la tecnología. Formule el objetivo en una frase sin nombrar ningún modelo, confirme que puede usar los datos, mida primero una línea de base sencilla, recorte el alcance hasta que quepa en las semanas disponibles y decida de antemano cómo se probará el resultado. Termine con un breve texto que explique para qué sirve el sistema, dónde falla y qué no se comprobó.

Corte de verificación: 4 fuentes
Un buen proyecto parte de una tarea que alguien hace de verdad, escrita en una frase que no nombra modelos ni técnicas.
El permiso para usar los datos y un registro escrito de su origen, su licencia y sus lagunas van antes de cualquier experimento.
Una línea de base sencilla, medida con ejemplos reservados, convierte el «funciona» en un resultado que se puede juzgar.

El proyecto es donde el curso pasa a ser decisión suya

Las clases y los ejercicios de un curso aplicado de IA los eligen otros. El proyecto, no. Es la única parte en la que usted decide qué construir, con qué datos y cómo saber si funcionó, y suele ser el trabajo que después enseñará a un empleador o a un cliente.

La mayoría de los proyectos decepcionantes fracasan antes de escribir una línea de código. El alumno elige una técnica que suena impresionante, luego busca un problema al que aplicarla y en la quinta semana descubre que los datos no existen. La página de proyectos del curso de aprendizaje profundo CS230 de Stanford señala que los proyectos de aplicación, en los que se escoge un problema de interés y se estudia cómo aplicarle algoritmos de aprendizaje, son con mucho los más habituales.

Cinco pruebas separan un proyecto para un curso de IA viable de un simple deseo: un problema real, datos que se le permite usar, una línea de base que superar, un alcance que quepa en las semanas disponibles y una evaluación que sepa explicar. La sexta va al final: un relato honesto de los límites.

Formule el objetivo en una frase que no nombre ningún modelo

El curso de Google «Introduction to Machine Learning Problem Framing», una formación breve en línea de unos 45 minutos según su propia estimación, empieza con una instrucción que parece demasiado simple para importar: formule su objetivo en términos ajenos al aprendizaje automático, como respuesta a la pregunta «¿Qué intento conseguir?». Sus ejemplos ocupan una línea cada uno: detectar spam, calcular el tiempo de viaje, identificar transacciones fraudulentas.

Haga lo mismo con su idea. «Ajustar un modelo de lenguaje con tickets de soporte» es un método. «Clasificar los mensajes de soporte entrantes en cinco colas para que los urgentes se atiendan primero» es un objetivo: dice quién se beneficia y qué cambia. Si no logra escribir una frase del segundo tipo, tiene una herramienta y todavía no tiene proyecto.

El mismo curso añade una prueba que descarta muchas ideas atractivas: no tiene valor predecir algo si la predicción no puede convertirse en una acción que ayude a los usuarios. Pregúntese qué haría distinto una persona el lunes por la mañana con la salida de su sistema. Una puntuación pulcra que no cambia el trabajo de nadie es un ejercicio, y un ejercicio es peor proyecto que una herramienta pequeña y útil.

Datos que puede usar y describir por escrito

El permiso va antes que la calidad. Use datos creados por usted, un conjunto público cuya licencia cubra su finalidad o material de un empleador con consentimiento escrito y sin datos personales. Lea la licencia y las condiciones en la página del propio conjunto; «estaba en internet» no es una licencia. Si los datos describen a personas identificables, pregunte antes al curso o a la organización cómo deben tratarse.

Después valore si pueden sostener el proyecto. El curso de Google enumera cómo deben ser los datos de un modelo predictivo: abundantes, coherentes y fiables, de confianza, disponibles en el momento de la predicción, correctos y representativos del mundo real. Un alumno rara vez reúne las seis condiciones. Lo honesto es anotar cuáles flojean y reducir en consecuencia lo que se afirma.

Cuente también el tiempo. Las indicaciones de CS230 en Stanford advierten de que, cuando los datos necesitan un preprocesamiento considerable o usted piensa recogerlos por su cuenta, eso es solo una parte del trabajo esperado, pero a menudo consume un tiempo considerable. Una regla práctica: si en la primera semana no consigue abrir una muestra utilizable de los datos, cambie la idea y no el calendario.

Una línea de base que superar antes de cualquier refinamiento

Una línea de base (baseline) es lo más simple que podría hacer el trabajo: una regla, una lista de palabras clave, el proceso manual actual o un modelo ya hecho con una instrucción de una línea. El curso de Google llama a la solución sin aprendizaje automático la referencia para decidir si el aprendizaje automático encaja en el problema, y sugiere resolverlo a mano con una heurística si esa solución aún no existe.

La línea de base es lo que da sentido a su cifra final. Una ilustración con números inventados: un clasificador que acierta 90 veces de cada 100 parece sólido hasta que se observa que, eligiendo siempre la categoría más frecuente, se acierta 88 veces. La diferencia de dos puntos es el resultado, y es modesto. Sin la línea de base habría informado de un 90 y no habría aprendido nada.

Constrúyala pronto. El mismo curso aconseja empezar por lo simple, porque la mayor parte del trabajo está en los datos, y observa que los modelos sencillos son una buena referencia aunque nunca lleguen a ponerse en producción. CS230 pide código en funcionamiento con un modelo de referencia en la entrega intermedia. Exija lo que exija su curso, una línea de base operativa en el primer tercio del calendario significa que ya tiene algo completo que entregar.

Recorte el alcance hasta que quepa en el calendario

Cuente las semanas que tiene de verdad y después reste. La última es para la memoria, la anterior para la evaluación y el análisis de errores, y al menos una se perderá por trabajo, enfermedad o un portátil averiado. Lo que queda es el tiempo para los datos y la construcción, y suele ser bastante menos de lo que suponía el primer plan.

Estreche la tarea en lugar de diluir el trabajo. Un idioma, un tipo de documento, una clase de cliente, tres categorías y no doce. Escriba la versión más pequeña que seguiría siendo un proyecto completo, con datos, línea de base, prueba y conclusión, y trate todo lo demás como opcional. Un proyecto estrecho y terminado enseña más que uno amplio sin acabar.

Desconfíe de las ideas que dependen de cosas que usted no controla: un conjunto de datos que alguien ha prometido, un acceso que requiere aprobación, miles de ejemplos que habría que etiquetar a mano. Las indicaciones de Stanford para la entrega intermedia buscan indicios de que el equipo ha puesto a prueba cualquier supuesto que pudiera impedirle completar el proyecto. Ponga a prueba los suyos en la primera semana, cuando cambiar de rumbo todavía sale barato.

Una evaluación que podría explicar a un compañero

Decida cómo juzgará el resultado antes de construirlo. Aparte una porción de los ejemplos como conjunto de prueba y no la mire mientras ajusta el sistema; una puntuación medida con ejemplos sobre los que ha afinado no dice nada de los nuevos. Elija una medida principal que se derive de la frase del objetivo y esté en condiciones de explicar con palabras llanas qué significa un punto de ella.

El curso de Google separa dos cosas que los alumnos suelen confundir. Las métricas del modelo, como la exactitud (accuracy), la precisión y la exhaustividad (recall), describen el modelo. Las métricas de éxito describen lo que a usted le importa, por ejemplo si la gente toma la decisión adecuada con más frecuencia. Un proyecto que informa de las primeras y discute las segundas demuestra que su autor entendió el problema y no solo la biblioteca.

El texto generado necesita otro tipo de prueba. El curso señala que puede hacer falta un conjunto de prueba para comparar la salida de un modelo generativo con valores conocidos, por ejemplo comprobando que los resúmenes se parecen a los escritos por personas o que la gente los valora como buenos. En la práctica eso supone una rúbrica corta de tres o cuatro criterios, un conjunto fijo de entradas y, si puede organizarlo, una segunda persona que puntúe.

Los límites van en la memoria, no en una nota al pie

La práctica investigadora ofrece una plantilla lista. El artículo «Model Cards for Model Reporting», de Margaret Mitchell y otros autores, propone que un modelo entrenado vaya acompañado de un documento breve que revele el contexto en el que se pretende usar y cómo se evaluó su rendimiento. Entre las secciones que sugiere figuran el uso previsto, los casos de uso fuera de alcance, los datos de evaluación y las salvedades y recomendaciones.

Un proyecto para un curso de IA puede tomar prestada la idea en una página. Diga para qué sirve el sistema y quién debería usarlo. Diga para qué no debe usarse. Describa los datos y lo que les falta. Presente el resultado junto a la línea de base. Luego muestre tres o cuatro fallos reales y explique qué tienen en común. Los ejemplos de fallo convencen más que una frase que admite que existen.

Los alumnos temen a menudo que enumerar debilidades juegue en su contra. Piense en cómo lee la página un evaluador o un empleador: un resultado solo merece confianza cuando sus fronteras son visibles. «Funciona con facturas en inglés de dos proveedores; no se probó con escritura a mano» es un hallazgo. El silencio sobre esa misma laguna es un error a la espera de que otro lo descubra.

Compruebe la idea con algo más que la técnica

El documento de la UNESCO «AI competency framework for students» (marco de competencias en IA para estudiantes), publicado en 2024 para los currículos escolares, describe 12 competencias en cuatro dimensiones: una mentalidad centrada en el ser humano, la ética de la IA, las técnicas y aplicaciones de la IA y el diseño de sistemas de IA. Las ordena en tres niveles de progresión: comprender, aplicar y crear. No se escribió para cursos de adultos, pero sirve de espejo.

Ponga su idea frente a él. Un proyecto que solo ajusta un modelo ejercita una dimensión. Uno que además se pregunta a quién afecta una salida errónea, de quién son los datos y cómo encajan las piezas en un sistema que funciona toca las cuatro. Y un proyecto en el que usted construye, prueba y mejora algo propio se sitúa en el nivel de crear, el nivel al que aspira un curso aplicado.

Lea las normas de su propio curso antes de comprometerse, porque varían de un curso a otro. La página de CS230, en el momento de escribir estas líneas, dice que limitarse a dar instrucciones a un gran modelo de lenguaje sin entrenamiento adicional no cuenta como proyecto para esa asignatura; otro curso puede aceptar justo eso, y el curso de Google observa que en la mayoría de los casos se personaliza un modelo generativo preentrenado y no se entrena uno propio. Después elija entre sus ideas candidatas con las cinco pruebas y prefiera aquella cuyos datos puede abrir hoy.

Lista práctica

  • Escriba la meta en una sola frase, sin nombrar modelos ni técnicas, e indique quién actuaría según el resultado.
  • Consiga por escrito el permiso para usar los datos y anote su origen, licencia, fecha y lagunas conocidas.
  • Mida una línea de base sencilla con ejemplos reservados antes de construir nada más complejo.
  • Planifique hacia atrás desde la fecha de entrega y defina la versión más pequeña que aún cuente como proyecto completo.
  • Termine con una página que recoja para qué sirve el sistema, para qué no debe usarse, el resultado frente a la línea de base y ejemplos reales de fallo.

Preguntas frecuentes

¿Cómo elijo entre dos ideas de proyecto para un curso de IA?

Puntúe cada idea con las mismas cinco preguntas: si el problema es real, si puede usar los datos, si puede montar una línea de base esta semana, si la versión completa más pequeña cabe en el calendario y si sabe explicar cómo la probará. La idea cuyos datos ya tiene en la mano suele merecer la victoria, aunque la otra suene más emocionante. La emoción no sobrevive a un mes esperando un acceso.

¿Es demasiado simple un proyecto basado en un modelo de lenguaje ya hecho?

Depende de las normas de su curso. Algunos, como CS230 de Stanford, exigen trabajo de entrenamiento y dicen que dar instrucciones al modelo no basta. Donde las normas lo permiten, la profundidad viene de otra parte: un objetivo preciso, un conjunto de prueba reunido con cuidado, una comparación con una línea de base más simple y un análisis de los fallos. Son las partes que más fácilmente se omiten y las que demuestran criterio.

¿Qué se considera una línea de base en un proyecto de aprendizaje automático?

Cualquier método simple que realice la misma tarea y pueda puntuarse con los mismos ejemplos de prueba: una regla escrita a mano, una coincidencia de palabras clave, predecir siempre la clase más frecuente, el proceso manual existente o un modelo estándar con una instrucción mínima. Su función es la comparación. Presente su puntuación junto a la de usted, medida del mismo modo, para que el lector vea cuánto aportó su trabajo.

¿Puedo usar los datos de mi empresa en un proyecto de curso?

Solo con permiso escrito de quien tenga autoridad para darlo y, normalmente, después de retirar los datos personales y confidenciales. Compruebe también qué hace el curso con los trabajos entregados, ya que el profesorado puede leer las memorias y el código, o pueden compartirse con otros alumnos. Si el permiso es lento o dudoso, elija un conjunto público con una licencia clara. Esto es orientación general y no asesoramiento jurídico; deciden las normas de su organización.

¿Qué tamaño debe tener el conjunto de datos de un proyecto de curso?

No hay una cifra universal. El curso de Google sobre el planteamiento de problemas dice que más ejemplos relevantes dan un modelo mejor, y cita entre sus otros requisitos que los datos sean correctos y representativos. Para un proyecto corto, una prueba útil es si los ejemplos reservados incluyen todos los tipos de caso que usted afirma resolver y si puede revisar sus etiquetas personalmente. Si alguna respuesta es no, reduzca lo que afirma antes de recoger más.