LLM seeding como arma de guerra

Recientemente, Politico publicó un exposé sobre un pequeño proyecto de SEO financiado por el gobierno israelí.

El Hanover Institute for Public Policy es un think tank ficticio montado por dos agencias de marketing - y una de ellas presume el coverage de Politico en su sitio web.

El objetivo de la operación era hacer "LLM seeding", una nueva forma de SEO que aspira a introducir un cierto sesgo en las respuestas de los grandes modelos de lenguaje.

Para lograr sus objetivos nefastos, el Hanover Institute producía decenas de artículos por día, respondiendo preguntas frecuentes sobre la guerra de Gaza desde una perspectiva pro-Israel. Aparentemente, funcionó.

Recientemente, OpenAI denunció una operación similar, proveniente de Rusia - y mucho más frugal.

A medida que las respuestas monolíticas provistas por los chatbots reemplazan a la cacofonía de las Search Engine Result Pages (apodadas "SERPs" en el rubro); el LLM seeding se convierte en una estrategia de altos stakes en la que el ganador se lleva todo. Si la respuesta única provista por la IA va a darle forma al entendimiento que el usuario va a tener sobre este o aquel tema, ¿Por qué no hacer todo lo posible para garantizar que esa respuesta sea la que deseamos?

Si es bueno para marcas, es bueno para estados.

¿Cómo funciona una operación de LLM seeding?

A pesar de sus numerosas y expertamente documentadas falencias, Google es el mejor buscador del mundo. Me siento como aquellos liberales que fingen lamentarse al decir que el capitalismo, a pesar de sus fallas, es el mejor sistema posible. Google es el mejor buscador que hemos podido crear como especie hasta el momento.

Por supuesto, la experiencia de uso de Google se ha degradado muchísimo en los últimos años, y el unrolling de las "AI overviews" sólo ha empeorado las cosas. Pero, como fuese - eso no quita que Google siempre haya sido difícil de hackear, en particular para tópicos sensibles.

El estándar de calidad para contenido vinculado a salud y finanzas siempre ha sido particularmente alto, y quien quisiera operar políticamente debía pagarle a las grandes publicaciones, con la autoridad de dominio suficiente como para posicionar en la primera página. Por supuesto, los resultados de búsqueda relacionados a temas políticos siempre se han manipulado. Pero antes, necesitabas hacer un trato con Clarín o con The New York Times. La era de las LLMs nos trae instituciones alucinadas y provenance opaca. Virtualmente, sí, cualquiera podría hacer esto.

De hecho:

• Hace unas semanas, a fellow blogger falseó una marca de desodorantes y logró que ChatGPT la recomendara como "la mejor para pieles sensibles".
• Un grupo de investigadores de Cornell descubrió que 13 palabras en un hilo de Reddit bastaban para sesgar las respuestas de un agente de "deep research".

¿Funciona?

En el caso del Hanover Institute, vemos un intento tardío y burdo de revertir un cambio en la opinión pública. Este cambio se dio por medios mucho más virtuosos que los del Hanover Institute. Por supuesto, esta no es una operación propagandística pilar, sino una pequeña operación satélite - según filtraciones, sólo ha costado unos 500 mil dólares, un rounding error para el presupuesto propagandístico israelí.

Hay algo muy interesante en el recorrido del usuario al realizar consultas en LLMs, en comparación a su experiencia en Google. Google es una plataforma social, con resultados relativamente consistentes dentro de áreas geográficas, que se pueden compartir fácilmente. Las conversaciones con LLM son "privadas" por defecto, 1-1, y bastante difíciles de predecir a gran escala. Por eso soy particularmente escéptico respecto a la nueva ola de herramientas de visibilidad en LLMs. Las LLMs son, desde su arquitectura hasta su modalidad de uso, pasando por todo lo demás, muy opacas por defecto.

Sin embargo, si nos basamos en una estimación muy rudimentaria realizada con una herramienta líder en el sector, también muy rudimentaria, vemos que ChatGPT sigue citando 32 páginas del Hanover Institute, a pesar de su origen polémico. Mientras tanto, una sola página sigue apareciendo como fuente en el modo de IA de Google.

En el circuito cerrado entre LLM y usuario, alienado del resto de internet, hemos de encontrar un mundo de referencias oscuras y plagadas de alucinaciones, con "grandes expertos" que no existen en ningún otro lado. Un mundo de contenidos sintéticos que sólo existen para el usuario que ha sido identificado como su audiencia ideal.

Este es el modelo que pretende destronar a la web 2.0: IA sicofántica, mentiras y aislamiento, un internet donde uno está solo con un robot y el robot es nuestro mediador con el mundo. Podemos hablar todo el día de los posters grotescos que los pequeños negocios están produciendo con ChatGPT; de cómo las girlies disfrazan a Claude de Joan Didion y le piden que les escriba un newsletter; y del workslop con el que nos bombardean nuestros colegas. Pero, la búsqueda conversacional es una gran amenaza para la democracia.

El Hanover Institute no rankea bien en Google:

Esta hermosa gente hoy lucha por palabras clave como:

• "how is gaza death toll calculated" - para la que rankean en la posición 53.
• "is torture a war crime" - posición 260.

Si le dijese a un cliente que logré posicionarlo en los puestos 53 y 260, me pegaría una patada en la frente - y tendría algo de razón. La mejor palabra clave del Hanover Institute está en el puesto 53 - es decir, en la página 5 de Google.

El algoritmo fundacional de Google se llama PageRank, y está modelado en base al sistema de citaciones académico. Podemos traspolar el valor y la influencia de un paper en base a cuántas citas tiene. Lo mismo sucede con los sitios en Google. Uno de los factores de posicionamiento principales para un sitio en Google es cuántas veces es linkeado por sitios de alta reputación. Pero, uno siempre puede dejar una suerte de "notita" en un link, sólo visible para Google, en la que aclara que "RT ≠ endoresement".

Hoy, el Hanover Institute tiene una autoridad de dominio de 23/100 (Ahrefs). Para la query "how is gaza death toll calculated", compite contra sitios como Reuters, que tiene una autoridad de dominio de 93/100. Y para la repulsiva query "is torture a war crime", compite, por ejemplo, contra el sitio de Naciones Unidas - que presume un score también de 93/100.

Entonces, si esta operación de influencia es una hormiga compitiendo contra mammuths, ¿Por qué preocupa? ¿Por qué esta referencia oscura en temas sensibles es citada por ChatGPT y otras LLMs, si Google la rechaza?

Creo que el concepto de "democratización" no estaba tan bueno al final

Ahrefs reporta que sólo el 37.9% de las referencias citadas en los Google AI Overviews provienen del top 10. El 31.2% de las referencias rankean entre los puestos 11 y 100. Y el 31% restante no aparece siquiera en el top 100.

Las LLMs nos están sirviendo deep cuts de internet sin ninguna clase de jerarquización o check de legitimidad. ¡Buenísimo, supongo!

Para peor, esto está tomando lugar en un contexto en el que grandes medios están decidiendo paywallear la mayoría de su librería de contenido - o, al menos, bloquear LLMs. Y esto tiene sentido, ya que las LLMs remixan contenido pre-existente, robándole tráfico a sus autores. Pero, a quien quiera influir en la opinión pública pasando su propaganda como periodismo y sus sesgos ponzoñosos como sentido común, esto no le importa - es más, la opacidad le conviene.

¿Qué hacer?

• Marcas: LLM seeding defensivo.
• Seres humanos: No utilizar LLMs como fuentes de verdad, complementar con investigación independiente, vayas a comprar un desodorante o elegir a quién votar.
• Desarrolladores de soluciones para el sector de AI search: DM