La herramienta GLTR basada en IA puede detectar artículos y tweets escritos por IA

Vota este post

¡El rápido desarrollo de modelos de IA y la generación de lenguaje natural plantea un serio desafío hoy en día! Pueden generar automáticamente noticias falsas, reseñas falsas, artículos engañosos, cuentas sociales falsas y tweets para difundir información errónea que puede tener graves consecuencias.

Afortunadamente, algunos investigadores están motivados para desarrollar métodos simples para la detección de texto generado automáticamente. ¿El resultado? GLTR o Giant Language Model Test Room, una herramienta que puede diferenciar el texto generado por máquina del texto escrito por humanos para lectores no expertos.

Esta herramienta impulsada por IA fue creada por investigadores de la Universidad de Harvard y MIT-IBM Watson Lab para detectar si un algoritmo de modelo de lenguaje generó una pieza de texto específica. GLTR mejoró la tasa de detección humana de texto falso del 54 % al 72 % sin capacitación previa, según los investigadores.

GLTR utiliza un conjunto de métodos estadísticos de referencia para detectar artefactos de generación a través de esquemas de muestreo típicos. Las frases generadas por los generadores de texto de IA pueden ser gramaticalmente correctas, pero pueden no tener sentido. GLTR funciona identificando dichos patrones estadísticos en una ventana de sesenta palabras (treinta palabras a cada lado de cualquier palabra dada en el texto) y detectando la secuencia de palabras más predecible.

El texto genuino tiende a tener una combinación saludable de palabras amarillas, rojas y moradas. Si el texto resaltado es principalmente verde y amarillo, da una fuerte indicación de que una máquina podría generarlo. Los investigadores dijeron que GLTR tiene como objetivo educar y crear conciencia sobre el texto generado.

En otro experimento de los investigadores detrás de GLTR, pidieron a los estudiantes de Harvard que identificaran el texto generado por IA, primero sin la herramienta y luego con la ayuda de resaltarlo. Los estudiantes detectaron solo la mitad de todas las falsificaciones por sí mismos, pero el 72 por ciento cuando se les dio la herramienta.

Iniciativas como las iniciativas GLTR son útiles no solo en la detección de texto falso, sino también en la lucha para detectar noticias falsas, falsificaciones profundas y bots de Twitter. Cabe destacar que Botometer utiliza técnicas de aprendizaje automático para determinar si una cuenta es operada por un humano o por un algoritmo de software. La herramienta identifica correctamente alrededor del 95% de las veces una cuenta de bot. Aunque ninguno de estos métodos es infalible, enfatizan la necesidad de crear sistemas colaborativos humanos-IA para abordar los problemas sociotecnológicos de manera colectiva.

Deja un comentario