Moderación en Twitter: Problemas Clave, Políticas y Tecnologías

¿Cómo podemos navegar un espacio digital que defienda la libre expresión mientras también necesitamos proteger a sus usuarios del daño? Esta pregunta está en el centro del debate en curso sobre la moderación de contenido en X (anteriormente Twitter), una plataforma que se ha convertido en una arena central para el discurso global, el debate político y la rápida difusión de información. El desafío de encontrar este equilibrio es más complejo que nunca, influenciado por las tecnologías en evolución, políticas cambiantes y eventos del mundo real que prueban los límites de la gobernanza en línea.

El Cambio de Escenario de la Moderación en X

En un movimiento significativo después de una pausa de dos años, X publicó un informe de transparencia en septiembre de 2024, ofreciendo un vistazo a sus prácticas de moderación actuales. Los datos revelan una tendencia desconcertante: mientras los informes de los usuarios sobre contenido dañino se han disparado, las acciones de aplicación de la plataforma no han mantenido el ritmo.

Durante la primera mitad de 2024, los usuarios señalaron más de 224 millones de cuentas y tweets, un aumento impresionante del 1.830% en comparación con los 11.6 millones reportados a finales de 2021. A pesar de este aumento, el número de suspensiones de cuentas sólo creció alrededor del 300%, de 1.3 millones a 5.3 millones. Esta disparidad sugiere un cambio fundamental en cómo X identifica y actúa sobre las violaciones de políticas.

Los cambios se iluminan aún más por las políticas de plataforma en evolución. Bajo un nuevo liderazgo, las reglas sobre desinformación de COVID-19 han sido descartadas y acciones como el malgenerización o el deadnaming ya no se clasifican como discurso de odio. Esta redefinición tiene un impacto directo en las métricas de aplicación. Por ejemplo:

• Conducta Odiosa: Las suspensiones por conducta odiosa bajaron drásticamente a solo 2,361 cuentas, en comparación con 104,565 en la segunda mitad de 2021.

• Seguridad Infantil: De más de 8.9 millones de publicaciones reportadas por preocupaciones de seguridad infantil, X eliminó solo 14,571.

Este nuevo enfoque, detallado en un informe resumido de 15 páginas, contrasta fuertemente con las revelaciones completas de 50 páginas del pasado. Apunta hacia un sistema que lidia con un volumen inmenso de informes mientras opera bajo un conjunto revisado, y quizás más indulgente, de reglas.

La Mecánica de la Suspensión: ¿Cómo Decide X?

Entender quién es suspendido y por qué requiere mirar más allá de las estadísticas hacia los comportamientos subyacentes. La investigación sobre las dinámicas de moderación durante eventos geopolíticos importantes, como la invasión rusa de Ucrania en 2022 y la elección presidencial francesa, proporciona información crucial sobre los patrones operativos de la plataforma.

Estudios que analizan más de 270 millones de tweets han identificado tendencias claras en la creación y suspensión de cuentas durante períodos de discurso controversial y de alto volumen. Durante estos períodos, hay picos notables en la creación de cuentas sospechosas, muchas de las cuales son suspendidas poco después de aparecer.

Cuentas Nuevas vs. Antiguas: Una Posición Proactiva

Uno de los hallazgos más significativos es que Twitter parece ser mucho más proactivo en suspender cuentas recién creadas en comparación con las más antiguas y establecidas. Muchas cuentas maliciosas son suspendidas dentro de solo unos días de su creación, lo que sugiere que la edad de la cuenta es un factor clave en los sistemas de detección de la plataforma. La vida útil de una cuenta suspendida a menudo depende de su nivel de actividad; las cuentas nuevas muy activas pueden ser señaladas y eliminadas más rápidamente, mientras que las cuentas antiguas que se comportan de manera similar podrían persistir por más tiempo.

Este enfoque proactivo hacia cuentas nuevas probablemente sea una estrategia para combatir comportamientos inauténticos coordinados, como redes de bots y campañas de spam, que a menudo dependen de cuentas recién creadas para amplificar su mensaje antes de ser detectadas.

Comportamientos que Desencadenan la Suspensión

Las cuentas suspendidas, sean nuevas o antiguas, tienden a mostrar patrones de comportamiento específicos que las distinguen de los usuarios típicos. Estos incluyen:

• Uso Excesivo de Respuestas y Menciones: En lugar de crear contenido original, estas cuentas suelen inundar las respuestas de usuarios legítimos con spam, acoso o propaganda.

• Tuiteo de Alta Frecuencia: Los usuarios suspendidos a menudo tuitean a un ritmo mucho más alto que los usuarios activos, indicando un comportamiento automatizado u obsesivo. El tiempo medio entre tweets de un usuario suspendido es significativamente menor.

• Compartir Contenido Dañino: Un análisis cualitativo revela que las cuentas suspendidas tienen muchas más probabilidades de compartir contenido clasificado como spam o dañino (incluyendo discursos de odio, lenguaje abusivo y agresión) que las cuentas activas.

Durante la elección francesa de 2022, por ejemplo, las cuentas suspendidas tenían más probabilidades de amplificar hashtags divisivos como #toutsaufmacron (cualquiera menos Macron). De manera similar, durante la fase inicial del conflicto en Ucrania, muchas cuentas suspendidas fueron encontradas promocionando spam relacionado con criptomonedas. Estos patrones muestran que la suspensión a menudo está vinculada al abuso claro de la plataforma destinado a manipular conversaciones o explotar la atención de los usuarios.

Una Nota sobre la Transparencia de Datos

Los investigadores enfrentan desafíos significativos al estudiar la moderación. Plataformas como X no revelan el tiempo exacto o la razón específica de la suspensión de una cuenta. Los analistas deben a menudo usar proxies, como la última actividad visible de una cuenta, para estimar cuándo fue eliminada. Además, la interrupción del acceso gratuito a la API para investigadores ha hecho que sea más difícil monitorear y analizar estas tendencias de manera independiente, aumentando las preocupaciones sobre la responsabilidad de la plataforma.

El Auge de la Moderación AI: ¿Un Arma de Doble Filo?

En el núcleo de la estrategia de moderación de X se encuentra una creciente dependencia de la inteligencia artificial. La plataforma establece que utiliza una "combinación de aprendizaje automático y revisión humana", donde los sistemas de IA toman acciones directas o señalizan contenido para moderadores humanos. Aunque este enfoque es necesario para manejar el volumen de contenido, está lleno de desafíos y dilemas éticos.

Los sistemas de moderación de IA han demostrado durante mucho tiempo ser imperfectos. A menudo luchan con los matices del lenguaje humano, lo que lleva a errores significativos:

• Ceguera de Contexto: La IA frecuentemente falla al entender el sarcasmo, la sátira o el lenguaje codificado utilizado por comunidades marginadas, lo que lleva a falsos positivos donde el contenido benigno es señalado como dañino.

• Sesgo en Conjuntos de Datos: Muchos algoritmos están entrenados en conjuntos de datos principalmente del Norte Global, lo que puede resultar en insensibilidad cultural y lingüística. Un memo del Centro para la Democracia y la Tecnología destacó cómo esto lleva a una precisión de moderación pobre en dialectos como el árabe magrebí.

• Rendimiento Inconsistente: Un estudio de 2021 de la Universidad de Oxford y el Instituto Alan Turing evaluó varios modelos de detección de discursos de odio de IA y encontró brechas significativas de rendimiento. Algunos modelos, como el API Perspectiva de Google, tendían a señalar excesivamente contenido no odioso, mientras que otros no detectaban instancias claras de discursos de odio.

Estas limitaciones pueden explicar la baja pronunciada en acciones contra el discurso de odio en X, ya que la IA lucha por identificar el espectro completo de retórica dañina. Las consecuencias son reales, como se vio cuando la IA de Facebook bloqueó erróneamente anuncios de pequeñas empresas en 2020 o señaló publicaciones del Museo de Auschwitz como violaciones de los estándares de la comunidad en 2024. La dependencia excesiva en la IA no sólo falla al atrapar actores maliciosos sino que también arriesga sofocar la expresión legítima, particularmente de comunidades que ya enfrentan censura.

La Cuerda Floja Ética de la Automatización

¿Podemos confiar en que las máquinas hagan juicios morales sobre la comunicación humana? A medida que las plataformas automatizan cada vez más la moderación, corren el riesgo de amplificar sesgos existentes y tomar decisiones opacas que impactan la libre expresión. Expertos del Instituto AI Now abogan por una mayor rendición de cuentas, instando a las plataformas a adoptar estándares éticos e incrementar la transparencia en torno a sus sistemas de IA. Esto es especialmente crítico ya que estas decisiones automatizadas moldean el discurso público alrededor de eventos clave como las elecciones.

Mientras que los desafíos en la moderación digital son inmensos, otros sectores tecnológicos muestran cómo los sistemas inteligentes pueden ser desplegados con resultados más predecibles y beneficiosos. En el campo de la energía renovable, por ejemplo, compañías como Les Nouveaux Installateurs aprovechan la tecnología no para un filtrado de contenido ambiguo sino para una optimización concreta. Sus soluciones inteligentes, incluyendo la gestión inteligente de la producción de paneles solares, la carga inteligente de vehículos eléctricos y el uso optimizado de bombas de calor, capacitan a los usuarios para controlar su consumo energético de manera eficiente. Esto se logra a través de datos claros, monitoreo remoto confiable y tecnología que ofrece resultados tangibles y positivos, un marcado contraste con el mundo a menudo opaco y propenso a errores de la moderación de contenido por IA.

Consecuencias Reales: Cuando el Discurso en Línea Se Vuelve Tangible

El debate sobre la moderación no es simplemente académico; tiene consecuencias reales y tangibles. Un caso reciente en el Reino Unido destaca la peligrosa brecha entre la política de la plataforma y la seguridad pública. Tras disturbios alimentados en gran parte por desinformación en redes sociales, una mujer fue procesada por una publicación en X que llamaba