Se bienvenido a estas tierras digitales...
...especialmente si eres un molino....
¿Qué es la Influencia Algorítmica?
Este post pretende aclarar el concepto de influencia algorítmica que es justo en el que he basado el argumento sobre la posibilidad de manipulación y desinformación al que nos sometemos cuando, sin criterio, accedemos a las IA generativas. Huelga decir que Estados Unidos (VASA-I) ha considerado la IA un asunto de Seguridad Nacional. Por lo que debemos concienciarnos de que su uso ha de ser muy responsable.
La influencia algorítmica se refiere al impacto que los algoritmos pueden tener sobre las decisiones, percepciones y comportamientos de las personas al priorizar o presentar información de manera «específica». Esto es particularmente relevante cuando los algoritmos determinan qué contenido, anuncios o noticias se muestran primero en las redes sociales, los motores de búsqueda o en plataformas de video como YouTube. Esta práctica puede influir en la opinión pública, el consumo y hasta el comportamiento electoral.
Lejos de suponer que sea una práctica marginal, algunos casos que se pueden citar son:
Caso de Facebook y la personalización de noticias:
En 2014, se reveló que Facebook había realizado un experimento con sus usuarios en el que manipulaba el contenido mostrado en el feed de noticias para estudiar cómo los cambios en las emociones del contenido podían afectar el estado emocional de los usuarios.
Durante este experimento, la plataforma «alteró» los algoritmos para mostrar más contenido positivo a unos usuarios y más contenido negativo a otros. Los resultados demostraron que los usuarios expuestos a contenido predominantemente negativo comenzaron a publicar más mensajes negativos, mientras que aquellos que veían contenido positivo compartieron más publicaciones positivas. Este tipo de manipulación sutil, aunque fue con fines de estudio, es un claro ejemplo de cómo los algoritmos pueden influir en el estado de ánimo y, potencialmente, en la conducta social.
Elecciones y publicidad política:
Durante la campaña presidencial de 2016 en Estados Unidos, la empresa Cambridge Analytica utilizó datos de Facebook para diseñar y personalizar anuncios políticos dirigidos a ciertos perfiles psicológicos de votantes. El algoritmo optimizaba los anuncios de forma tal que cada usuario viera mensajes diseñados para resonar con sus valores, miedos y prejuicios específicos. Este tipo de influencia algorítmica polarizó a los votantes y demostró cómo la personalización excesiva puede tener un impacto significativo en el comportamiento electoral y en la opinión pública.
YouTube y la radicalización:
Se ha demostrado que el algoritmo de recomendaciones de YouTube, que optimiza para maximizar el tiempo de visualización, tiende a sugerir contenido progresivamente más extremo. Por ejemplo, si un usuario comienza viendo videos sobre teorías de conspiración «inofensivas», el algoritmo podría recomendarle videos con contenido más radical o teorías conspirativas más intensas, con el objetivo de mantener al usuario en la plataforma. Esta estrategia puede llevar a una forma de «radicalización algorítmica«, donde el usuario, al consumir contenido más polarizante, se expone a ideas extremas que posiblemente no habría buscado por sí mismo.
Cómo funciona la influencia algorítmica
Los algoritmos están diseñados para optimizar ciertos resultados o KPI (Indicadores Clave de Rendimiento), tales como el tiempo de visualización, el número de clics o el nivel de participación. Estos objetivos pueden llevar a los algoritmos a mostrar contenido que provoque reacciones emocionales fuertes (positivas o negativas), ya que es más probable que este tipo de contenido retenga a los usuarios. La inteligencia artificial y el aprendizaje automático analizan los comportamientos pasados de los usuarios para identificar patrones, lo cual les permite predecir qué tipo de contenido los mantendrá más tiempo en la plataforma o logrará la interacción deseada.
Sin embargo, el problema surge cuando estas predicciones y optimizaciones priorizan contenido que puede ser engañoso, sensacionalista o parcial, incrementando la polarización y la desinformación. En efecto, los usuarios no solo están expuestos a información cuidadosamente seleccionada, sino que también son guiados hacia una versión filtrada de la realidad que refuerza sus prejuicios y creencias previas, sin permitir un acceso equitativo a puntos de vista alternativos.
Implicaciones y desafíos: campo regulatorio por delante.
La influencia algorítmica plantea preocupaciones éticas y de derechos humanos, especialmente en el contexto de la democracia y la libertad de información. Si bien el Reglamento de Inteligencia Artificial de la UE prohíbe ciertas prácticas de manipulación que explotan vulnerabilidades emocionales o psicológicas, los límites de lo que se considera manipulación o personalización aceptable aún están en debate. Además, es esencial que los algoritmos de las plataformas de redes sociales y motores de búsqueda sean más transparentes y que las personas puedan tener control sobre la personalización de su experiencia en línea.
La influencia algorítmica es un tema complejo, pero la aplicación de normas claras y la concienciación del usuario (vuelvo a repetirlo, es preciso no menoscabar la capacidad crítica de la población) pueden ayudar a reducir sus efectos negativos y a fomentar una interacción más equilibrada y transparente con la tecnología.
Manipulación e Influencia Algorítmica
La capacidad de las IA generativas para anticipar y reaccionar a las búsquedas en internet plantea riesgos significativos de manipulación de la opinión pública. Dado su poder para sintetizar información de múltiples fuentes y ofrecer respuestas coherentes y estructuradas, los modelos de IA generativa, como los modelos de lenguaje de gran escala (LLM), podrían explotarse para influenciar en los resultados de búsqueda de temas específicos. Esta manipulación sutil podría lograrse de dos maneras principales:
Predicción de búsquedas populares y creación de contenido tendencioso
Mediante el análisis de tendencias de búsqueda y comportamiento en línea, estos modelos pueden anticipar qué términos serán más buscados en temas sensibles, como elecciones, temas de salud, o conflictos sociales. Una vez identificadas estas tendencias, podrían generarse grandes cantidades de contenido que promueva una narrativa específica. En contextos donde la IA se utiliza para realizar búsquedas o proveer resúmenes (como en aplicaciones de servicios públicos o en plataformas de consumo masivo), la respuesta de la IA puede estar inclinada para «favorecer ciertos puntos de vista» o productos. Este tipo de manipulación, conocido como «influencia algorítmica», genera preocupación porque el contenido parecería imparcial, dado que la IA se presenta como una entidad objetiva. Y como digo en mi intervención en el Parlamento de Andalucía: «la IA nos dice y nosotros «
Aplicación de algoritmos para priorizar resultados parcializados
En contextos más técnicos, como el diseño de modelos que procesan solicitudes de información en sectores específicos (salud, finanzas, educación), una IA podría ser programada o entrenada para priorizar ciertos resultados y omitir o subestimar otros. Esto plantea problemas éticos y de transparencia, especialmente cuando se trata de temas complejos, donde la parcialidad no es fácilmente detectable y los usuarios pueden no cuestionar la veracidad o el sesgo de las respuestas proporcionadas. La falta de criterio es un arma que explota eficientemente la influencia algoritmica.
Regulación y medidas preventivas
En Europa, el Reglamento de IA de la Unión Europea (AI Act) busca establecer un marco legal que prohíba el uso de técnicas de manipulación subliminal y explotación de vulnerabilidades de los usuarios. Las normas proponen también evitar que se genere contenido de «social scoring» y establecer obligaciones para que las IAs sean auditables y responsables en sus resultados. A nivel práctico, los expertos recomiendan implementar filtros y auditorías (y personalmente creo que el Gobierno Andaluz camina en este sentido, para suerte de nuestra comunidad) que permitan identificar cuándo y cómo una IA podría estar promoviendo narrativas específicas. Además, el Estatuto de la Agencia Española de Supervisión de Inteligencia Artificial aprobado y publicado en «BOE» núm. 210, de 2 de septiembre de 2023, promueve el establecimiento de órganos de vigilancia que evalúen estos posibles sesgos y su impacto en la población.
Es crucial crear conciencia sobre la necesidad de transparencia y de ser capaz de explicar los resultados proporcionados en los sistemas de IA, para que los usuarios puedan evaluar críticamente la información generada. Además, se debe fomentar una educación digital que empodere a los ciudadanos (enlace en la web de noticiasdealmeria.com) a reconocer cuándo una IA puede estar ofreciendo contenido potencialmente parcializado o manipulativo, lo cual es clave para una sociedad informada y menos vulnerable a la manipulación algorítmica.
La Inteligencia Artificial y su Impacto en el Bienestar y el Aprendizaje de los Estudiantes Universitarios
Descarga el artículo «Harnessing Machine Learning and Generative AI: A New Era in Online Tutoring Systems» ya que es un trabajo publicado en Open Access y por tanto, puede accederse, desde la editorial, libremente.
De la lectura de este artículo («Harnessing Machine Learning and Generative AI: A New Era in Online Tutoring Systems») y de este otro (que al no ser Open Access no puedo proporcionar acceso al mismo, pero que se titula «Understanding the Role of AI in Helping University Students Manage Their Psychological Wellbeing»), hoy, como vengo haciendo desde hace poco expreso mi opinión.
Hace tiempo que quería integrar en el sistema de aula virtual de la Universidad de Almería un sistema que reorganizase los contenidos de acuerdo a la capacidad de resolver tareas demostrada por los estudiantes (especialmente de primer curso). Para este efecto quería usar un software de resolución de tareas que explota la memoria de trabajo y la memoria espacial. Con este software ( que podéis ver y descargar aquí -si lo usas, por favor, acredita su autoría) se extraen parámetros que pueden determinar una estrategia u otra a la hora de distribuir tareas o incluso de liberar el contenido.
Estos dos artículos, que hoy comento aquí, tratan de favorecer la experiencia académica de estudiantes, en particular, universitarios. Porque, no lo vamos a ocultar, la Universidad forma parte del ciclo educativo más exigente. La maquinaria universitaria debe, por tanto, ser consciente del estrés y ansiedad que puede generar en los estudiantes y además ser consciente de que re-pensar la forma de relacionarse con el estudiante (habilitar diferentes tracks educativos en función del interés, habilidades, etc del estudiante).
En el contexto universitario, los estudiantes enfrentan desafíos significativos relacionados tanto con su bienestar mental como con el rendimiento académico. La Inteligencia Artificial (IA), y en particular los Modelos de Lenguaje Grande (LLMs), están comenzando a desempeñar un papel crucial en acercarse a la leviatánica tarea de abordar estas áreas, proporcionando soluciones innovadoras en la gestión de la salud mental (Understanding the Role of AI in Helping University Students Manage Their Psychological Wellbeing) y en el apoyo educativo personalizado (Harnessing Machine Learning and Generative AI: A New Era in Online Tutoring Systems). Honestamente, tratar de influir en personas con depresión, ansiedad o pensamientos suicidas a través de la IA Generativa me parece un atrevimiento. Pues no sólo no se conoce a priori (tampoco se puede predecir) el avance de la conversación ni las consecuencias que en la psique pueda afectar. ¿Hay responsables en este asunto?
Hay tres frases extraídas literalmente de estos dos artículos que generan cierta inquietud:
«They possess the capability to process extensive data on students’ behaviors,schedules, and emotional states»
En referencia a los datos que deben procesar, se interpreta el estado emocional, cuando queda patente que las IA es incapaz de empatizar ni siquiera de detectar estado de ánimo. Esto ya de por si revela, quizá, lo inapropiado de usar el ML y la IA Generativa para «todo». Hay barreras que no se deberían traspasar con tanta ligereza.
«While LLMs can process emotions expressed in text, their inability to fully understand human emotions inherently limits their therapeutic applicability.»
Pues esto es consecuencia directa de la primera frase. No son útiles para asuntos terapeuticos. Afortunadamente, en Europa, el uso de la IA tiene niveles de riesgo que limitan su aplicación. A pesar de que haya generadores de contenido (podcasters, etc) que vean esto un handicap para el desarrollo empresarial (y me refiero a la normativa europea).
«These challenges stem largely from the limitations of their algorithms, which often fail to capture the intricacies of human learning, and from the intensive demands placed on instructional designers to manually craft workflows for every conceivable teaching scenario.»
Somos incapaces de comprender muchas de las respuestas que ofrece la IA (y más de entender cómo se ha llegado a ellas). A esto se le suma la incapacidad de que un algoritmo mimetice o sintetice la lógica que esconde el aprendizaje de cada una de las personas.
Bienestar Psicológico de los Estudiantes
El entorno académico universitario es (como he dicho antes) tanto un espacio de crecimiento como de considerable presión. Los estudiantes enfrentan situaciones que afectan su bienestar psicológico: retos y tareas académicas, inseguridades sobre su futuro profesional y problemas de relaciones personales (se que es un tópico, pero están en la edad, no es la primera vez que en clase un estudiante refiere como excusa situaciones inestables domésticas y/o emocionales). Estudios recientes han revelado que más del 60% de los estudiantes universitarios cumplen con criterios de al menos un problema de salud mental, con un preocupante 15% que ha considerado seriamente el suicidio (este dato tan preocupante lo publica Mayo Clinic Health System en un artículo titulado College students and depression: A guide for parents. (con fecha 7 Julio 7, 2024) y se puede consultar en este enlace).
Aquí es donde este artículo invita a que pensemos que la IA emerge como un soporte esencial. Todo el artículo se apoya en el programa Small Steps SMS, que utiliza IA para ofrecer mensajes interactivos que ayudan a los estudiantes a gestionar síntomas de depresión y ansiedad. Realmente usa técnicas de ML (que lo hace menos efectivo) pero los mensajes son aportados por expertos y por la IA.
Este programa, según el artículo, ha mostrado un impacto positivo al reducir los síntomas de estos trastornos, gracias a su capacidad para personalizar mensajes que abordan los desafíos emocionales diarios de los estudiantes. Las historias personalizadas que se generan a partir de modelos como GPT-4 ayudan a los estudiantes a reflexionar sobre sus propios problemas, promoviendo una visión realista y positiva de sus desafíos y facilitando estrategias de afrontamiento. Pero sigo pensando en que todo es smoke, es decir, publicar por publicar. El peligro de que no veamos que la IA está germinando como la semilla de una futura burbuja (como ocurrió con las .COM). ¿Cómo que es capaz de abordar los desafíos emocionales? ¿Con mensajes? Una persona en un estado crítico no responde a mensajes de una aplicación.
Además, continúan aseverando que un aspecto clave de esta implementación de IA es su capacidad para adaptarse al contexto emocional y temporal de cada usuario, enviando mensajes de apoyo en los momentos más apropiados. Estas herramientas no solo ofrecen acompañamiento emocional, sino que promueven la independencia al facilitar el autoconocimiento y la reflexión sobre situaciones cotidianas.
No puedo creer que esto se haya publicado en ACM. Puedo entender que un sistema de tutorización o de gestión de tareas pueda evitar situaciones de estrés a través de la reducción en la procrastinación (por esto busqué el segundo artículo de esta crítica)… porque no creo que un sistema de mensajes de IA sea capaz de ajustarse al «contexto emocional y temporal» de nadie.
Mejora del Aprendizaje a través de la Tutoría Personalizada con IA
En el ámbito académico, y esta es la segunda derivada que quería comenzar a contrastar, los sistemas de tutoría inteligente (intelligent tutoring systems: ITS en adelante) han revolucionado el aprendizaje, ofreciendo experiencias educativas personalizadas que antes solo podían lograrse a través de tutores humanos. Sin embargo, las limitaciones de los ITS han sido notables, especialmente al intentar entender y adaptarse a las necesidades individuales de cada estudiante. La integración de IA generativa y machine learning está cambiando este panorama.
Un ejemplo destacado es el sistema Ruffle&Riley (no lo he encontrado, tan sólo este artículo y otro en arXiv, asi que no he podido probarlo), que emplea modelos de lenguaje como GPT-4 para crear un entorno de aprendizaje conversacional. En este sistema, los estudiantes (según el artículo) interactúan con dos agentes virtuales, Ruffle (un estudiante) y Riley (un profesor), en una experiencia de “enseñanza colaborativa” donde el propio estudiante explica los temas, reforzando su comprensión. Esta metodología no solo fomenta la participación activa, sino que también permite que el sistema identifique y corrija errores de concepto en tiempo real.
Además, la IA en los ITS permite ajustar el nivel de dificultad de las tareas en función del conocimiento y el progreso del estudiante, siguiendo principios como el de “aprendizaje por dominio”, que asegura que el estudiante domine un concepto antes de pasar al siguiente. Estos sistemas también ofrecen retroalimentación inmediata, permitiendo a los estudiantes corregir errores y avanzar de manera eficiente. Este enfoque adaptativo mejora la retención y el rendimiento, mientras que el uso de modelos de aprendizaje supervisado y refuerzo permite que los ITS ajusten sus estrategias pedagógicas continuamente en función de los datos de interacción del estudiante.
¿Qué es lo que termino pensando sobre esto?
La implementación de IA en la educación (si es posible) y en el bienestar de los estudiantes universitarios (si es posible si hablamos de bienestar porque la usan como planificador, generador de recursos, etc pero no como sistema que le permita lidiar con sus diatribas emocionales o sus problemas de salud mental) promete un cambio de paradigma, proporcionando un dudoso soporte emocional y un posible y creíble soporte académico de manera continua y personalizada. Sin embargo, es esencial un marco ético que proteja la privacidad y seguridad de los estudiantes.
La IA debe ser una herramienta de acompañamiento, diseñada para integrarse respetuosamente en la vida académica, evitando la dependencia y promoviendo el desarrollo de habilidades de autogestión y resolución de problemas.
Cuando los LLM decidan por nosotros…
Estos días he leído varios papers, pero hay un artículo (dos realmente) que refleja lo que siempre he dicho y es la debilidad -por ahora- de los modelos de Inteligencia Artificial Generativa. El artículo en cuestión es : GPTs and Hallucination Why do large language models hallucinate? (sus autores son Jim Waldo y Soline Boussard). Bueno, y ahí se puede medio dejar tranquila la cuestión, hasta que uno llega a un artículo como este: Do I Have a Say In This, or Has ChatGPT Already Decided for Me? It’s not just about LLMs, it’s about us too. (autor: Aadarsh Padiyath). Ay, amigo. Esto es diferente. Cuando la gente se apoya, sin reservas, sobre la IA Generativa, confía ciegamente en ella sin sospechar de lo que la sustenta.
De manera muy burda podríamos comparar esto con la precisión del punto flotante, o la coma fija -también denominada notación cientifica-, que estoy seguro que todos la hemos experimentado en el colegio o instituto. Cuando nos explican que cualquier valor puede expresarse de manera «manejable» (por ejemplo, en base 10, 0.00000000003 puede expresarse como 3×10^10) nos dan una herramienta potentísima, podemos manejar números muy grandes y números muy pequeños, juntos. Es más, podemos manejarlos. Que ya es un mérito. Nuestra percepción es esa. Hasta que los tratamos computacionalmente. En este caso, nos enfrentamos (quizá sea un sesgo codificado) a la forma en la que se representa esto en un sistema computacional: el IEEE-754. Y claro, éste se apoya en un sistema físico con limitaciones (tamaño de los registros internos del procesador, etc). Y ahora resulta que la operación con aritmética flotante NO es precisa. No. No lo es. Y cuanto más grande queremos que sea el número representado (mayor exponente) menos precisión alcanzo. Y al revés, cuanto más diminuto quiero que sea el número a representar, menos precisión alcanzo. Y claro, la precisión de nuestra realidad colisiona con la precisión que nos da un «ordenador».
Pues con los modelos, pasa igual. Es imposible erradicar el sesgo. No. No se puede. En los últimos años, los modelos de lenguaje grandes (LLM) como ChatGPT han cambiado por completo la forma en que interactuamos con la tecnología. Ahora, podemos automatizar tareas, crear contenido, e incluso recibir «ayuda» en decisiones importantes (uy, uy, que se pone caliente la cosa). Su habilidad para generar respuestas coherentes (no siempre) y con sentido casi nos hace sentir que estos modelos entienden nuestras necesidades y hasta casi que entienden lo que pensamos y no le decimos. Pero si miramos más de cerca, vemos que estos modelos también pueden “flipar”: producir respuestas que parecen correctas pero en realidad son falsas o no tienen ninguna base. Recuerdo al lector el ejemplo del IEEE-754. En estos casos, la situación es preocupante, sobre todo cuando se empiezan a usar en aplicaciones que afectan a decisiones importantes.
Por otro lado, hay otra preocupación creciente: la idea de «determinismo tecnológico», de la que habla Aadarsh Padiyath. Esta visión nos hace creer que somos meros receptores en este mundo «dominado» -o cuyo control ha sido cedido por nosotros- por la IA, adaptándonos a lo que sea que estas aplicaciones decidan hacer (esto me hace parafrasear a Noam Chomsky y su profecía sobre la lapidación del pensamiento crítico con el uso de redes sociales y en particular aquellas que limitan la expresión a 140 caracteres -por aquel entonces- como pasa con X -otrora twitter-). Esto es especialmente problemático en áreas -os podéis imaginar- como la educación y la toma de decisiones, donde la autonomía y el pensamiento crítico -que ya está bastante socavado- son clave. Si no tenemos cuidado, podríamos ceder sin querer el control sobre nuestras elecciones a estas herramientas de IA, creyendo que son infalibles o que su uso es inevitable. Dejo para otro post el asunto del control de opinión, deliberado, por ciertos modelos públicos. Que eso, también, tiene miga.
En su artículo, Waldo y Boussard destacan que los LLM funcionan a partir de probabilidades estadísticas (si, así es, la IA es básicamente un campo donde se aúnan redes neuronales y estadística -se que esto me va a traer críticas, pero entended que es una percepción personal-), no de conocimiento real. En lugar de saber algo de verdad, producen respuestas basadas en las palabras que tienen más probabilidades de aparecer juntas en sus datos de entrenamiento. Así, cuando se enfrentan a temas poco populares o polémicos, donde los datos son escasos, pueden (y lo hacen, y con mucha frecuencia) meter la pata. Esto plantea una pregunta importante: ¿hasta qué punto deberíamos confiar en las respuestas de la IA, especialmente cuando sus «fumadas» pueden desinformarnos o dar una visión sesgada (¿os he dicho ya que el sesgo es imposible de eliminar?)?
Por otro lado, y volviendo a Padiyath cuestiona (si, yo también) la idea de que estas herramientas de IA son imprescindibles. Su investigación muestra que los usuarios, sobre todo estudiantes, deciden cómo y cuándo interactuar con ellas según sus propias necesidades y objetivos. En lugar de aceptar sin más cada sugerencia de ChatGPT, los estudiantes ponen límites y usan la IA solo cuando les conviene (um, no se yo si estoy de acuerdo con este postulado de Padiyath, ya que a mi en clase me dicen «lo he buscado en chatGPT» -esto da para otro post-), especialmente en situaciones donde lo que realmente importa es entender profundamente el material. Padiyath sugiere que debemos ver estas herramientas como herramientas ajustables, no como reemplazos inevitables, reforzando así nuestra capacidad de decidir cómo y cuándo usarlas.
Nuestra relación con la IA necesita equilibrio. Por un lado, debemos estar atentos a los casos de “alucinaciones” y saber identificar (y esto implica un alto grado de especialización en cualquier campo del conocimiento donde se esté aplicando la IA) cuando el contenido generado por IA puede desviarnos. Y por otro, debemos adoptar una mentalidad que vea estas tecnologías como herramientas de apoyo, no como sustitutos del juicio humano. Así, podremos conservar nuestra autonomía en este ecosistema digital, integrando —o incluso rechazando— estas herramientas según nuestros valores.
Es inevitable ocultar que los LLM se integran cada vez más en nuestro día a día, por tanto es crucial recordar que tenemos una opción. En lugar de dejar que la IA decida por nosotros, deberíamos definir activamente cómo nos relacionamos con estas tecnologías para que reflejen nuestras necesidades, valores y aspiraciones reales. La «Super-Inteligencia» está todavía muy lejos.
