Pangram Domina la Detección de IA: ¿Pueden sus Falsos Positivos Dañar Reputaciones?

Pangram es una startup de inteligencia artificial que cuenta con un equipo de 24 empleados y tiene su sede en Brooklyn, justo encima de un restaurante Popeyes. Hasta el momento, ha logrado recaudar 13 millones de dólares, una cifra que representa aproximadamente el 0.0072% de lo que ha acumulado OpenAI. Aunque era prácticamente desconocida a principios de este año, Pangram se ha posicionado como una de las principales barreras contra la influencia creciente de la IA en el ámbito de la escritura.

La propuesta de Pangram es audaz: promete evaluar la cantidad de inteligencia artificial utilizada en la creación de cualquier texto, ofreciendo un porcentaje estimado de dicha participación. En enero, surgieron rumores en plataformas como Reddit y YouTube sobre la posibilidad de que la autora Mia Ballard hubiera empleado IA para escribir su novela autopublicada, «Shy Girl», la cual había sido adquirida por Hachette para su publicación en formato tradicional. Aunque Ballard desmintió los rumores, el CEO de Pangram afirmó en X que el libro contenía un 78% de contenido generado por IA, lo que llevó a Hachette a cancelar su lanzamiento.

Este incidente desencadenó una oleada de acusaciones similares. El New York Times, por ejemplo, enfrentó críticas tras publicar un artículo en su columna «Modern Love», que Pangram identificó con un 100% de probabilidad de haber sido generado por IA. Otros casos notables incluyeron un relato corto ganador del Premio Commonwealth, que también recibió un 100%; la novela «Daggermouth», con un 60%; y el thriller «Call Me, I’ll Hide the Body», vendido por 2.4 millones de dólares, que alcanzó un 97% de probabilidad de haber sido escrito por IA.

Integración y Reacciones en la Comunidad Literaria

A finales de julio, Substack anunció su intención de integrar Pangram en su plataforma, permitiendo a los lectores detectar rápidamente la posible utilización de IA en los textos. Sin embargo, no todos los escritores ven esta integración con buenos ojos. Jane Friedman, autora y experta en edición, señala que existe un fuerte rechazo y descontento hacia el software de detección de IA, con la percepción de que estas herramientas son más perjudiciales que las propias empresas de IA.

Fuera del ámbito editorial y de la educación superior, Pangram aún no es un nombre familiar, pero se encuentra en la cúspide de una creciente demanda por distinguir entre el contenido generado por modelos de lenguaje avanzados y la escritura humana. La pregunta que surge es: ¿qué tan confiable es esta empresa?

La Filosofía Detrás de Pangram

Max Spero, cofundador y CEO de Pangram, se une a nuestra reunión virtual desde su teléfono, con una caja de comida en la mano y un fondo de rascacielos. A sus 30 años, se muestra amistoso y accesible. A medida que avanza la conversación, revelamos detalles sobre su infancia en California, su trayectoria académica en Stanford, y cómo junto a su socio, Bradley Emi, decidió fundar Pangram tras el lanzamiento de ChatGPT en 2022.

La empresa comenzó como Checkfor.ai y, al año siguiente, adoptó el nombre de Pangram. En su camino, ha competido con otras empresas en el sector de detección de contenido generado por IA, logrando buenos resultados en pruebas independientes. Spero destaca que la filosofía de contratación de Pangram se basa en la misión de la empresa: «La gente que trabaja aquí está aquí porque le importa lo que hacemos».

Para detectar la IA, Pangram emplea una técnica llamada «reflejo sintético», donde textos humanos son utilizados para que los modelos de lenguaje generen réplicas similares, lo que ayuda a enseñar a su sistema cómo escribe la IA. Asimismo, implementan la ‘hard negative mining’, que busca falsos positivos en conjuntos de datos para mejorar su entrenamiento.

El Impacto de «Shy Girl» en la Reputación de Pangram

La controversia en torno a «Shy Girl» expuso a Pangram al escrutinio público. Spero admitió que recibió el manuscrito de Ballard a través de un canal no convencional y que no revisó el documento exhaustivamente antes de introducirlo en su sistema. Desde entonces, la compañía ha enfrentado críticas y ha llevado a cabo análisis exhaustivos de otros ganadores de premios literarios, identificando varios casos potenciales de uso de IA.

A pesar de ello, Spero sostiene que la puntuación de Pangram no ha sido el único factor en la cancelación de contratos editoriales, subrayando que su herramienta es solo una parte de un proceso más amplio. La reciente integración con Substack ha suscitado preocupaciones entre algunos autores, quienes temen que su carrera se vea comprometida por un análisis que no siempre es concluyente.

Sin embargo, la realidad es que una cantidad creciente de autores y editoriales están utilizando herramientas de IA. Un estudio realizado por Gotham Ghostwriters reveló que el 61% de los escritores encuestados emplean herramientas de IA, y un 7% ha publicado textos generados por estas. Un análisis reciente también indicó que casi el 20% de las novelas autoeditadas presentaban puntuaciones significativas en la detección de IA.

Desafíos y Controversias de la Detección de IA

Los críticos de Pangram han señalado dos problemas principales: los falsos positivos y los posibles sesgos en su sistema de aprendizaje automático. Investigaciones han demostrado que los detectores son más propensos a clasificar como generados por IA los textos de personas que no tienen el inglés como lengua materna. Además, autores neurodivergentes han reportado que sus estilos de escritura son frecuentemente identificados erróneamente.

Los autores de «Shy Girl», «Daggermouth» y «Call Me» son todos escritores de color, lo que ha llevado a la discusión sobre las desigualdades en el sector literario. Spero ha ofrecido recompensas a aquellos que puedan demostrar que sus obras fueron escritas sin la intervención de IA, aunque hasta ahora, nadie ha aceptado la oferta.

Chakrabarty, un académico que ha colaborado con Pangram, reconoce que es posible engañar al sistema y que algunos autores han manipulado sus textos para obtener resultados falsos. Pangram también admite que su herramienta tiene un rendimiento inferior con fragmentos de texto cortos, lo que puede ser problemático dado que su servicio gratuito limita el número de palabras que se pueden analizar en un día.

El Futuro de Pangram y el Sector Editorial

El equipo de Spero está compuesto por antiguos educadores y profesionales del sector editorial, y la empresa está comprometida con la transparencia en sus operaciones. Aunque las demandas por difamación de autores acusados son una posibilidad, Spero se muestra optimista, apuntando a la generación de confianza a través de la apertura y la interacción con la comunidad.

Pangram se esfuerza por simplificar los matices de la comunicación humana en cifras comprensibles, aunque el terreno de la creatividad y la escritura es inherentemente ambiguo. A medida que la empresa continúa desarrollándose y enfrentando nuevos desafíos, su papel en la detección de contenido generado por IA seguirá siendo objeto de análisis y debate dentro de la industria literaria.