A partir del 20 de julio de IA abierta tiene tranquilamente tiró del enchufe en su I.A. software de detección, AI Classifier, citando su “baja tasa de precisión”. Si es la primera vez que escucha esto, no se sorprenda: OpenAI enterró las noticias tan profundamente bajo tierra que le tomó una semana a cualquiera darse cuenta de que estaba allí.
El final del AI Classifier no llegó con una explosión, sino con un gemido. En lugar de anunciar el cambio en una declaración, OpenAI eliminó la página de destino de AI Classifier, que ahora simplemente muestra un notificación de error , luego editado en dos oraciones que informan a los usuarios de la interrupción de la herramienta en la parte superior de la publicación de blog de enero que lanzó por primera vez el producto. En la publicación actualizada, OpenAI dijo que la compañía está 'investigando técnicas de procedencia más efectivas'.
OpenAI se negó a comentar más allá de la publicación del blog de enero.
La inexactitud de AI Classifier no es exactamente una sorpresa, dado que su anuncio inicial dedicó más palabras a detallar sus advertencias y limitaciones que sus puntos fuertes. La herramienta de detección solo pudo identificar correctamente el 26 por ciento del texto escrito por IA y, lo que es más alarmante, emitió falsos positivos (evaluaciones que juzgaron que el texto escrito por humanos fue plagiado de IA) el 9 por ciento de las veces, según OpenAI.
Para los educadores, la poco confiable A.I. los detectores de plagio traen muchos más peligros que beneficios
El cierre de AI Classifier es especialmente preocupante para el sector educativo. La creación de ChatGPT envió a las instituciones académicas luchando a medida que se hizo evidente que los estudiantes dependían cada vez más de la IA generativa. para casi todo . AI. El software de detección se consideró originalmente como uno de los pocos faros disponibles para guiar a los profesores a través del tormentoso mar de plagio generado por IA, pero parece que esa luz podría estar apagándose.
Marc Watkins, profesor de la Universidad de Mississippi que se especializa en I.A. en educación, ve el cierre de AI Classifier como emblemático de un problema mayor.
“Este es un reconocimiento de que [A.I. software de detección] realmente no funciona en todos los ámbitos ', dijo a Observer, y señaló que la Universidad de Pittsburgh uso descontinuado reciente de IA herramienta de detección Turnitin por motivos de precisión.
“Dado que la herramienta se lanzó en enero y luego se cerró en julio, parece una indicación bastante clara de que esto no funciona”, dijo Watkins sobre AI Classifier.
Watkins no es la única persona que pierde la fe en la IA. tecnología de detección; en una encuesta de Twitter publicada el 25 de julio, solo el 15,3 por ciento de los 667 encuestados dijeron que creían que cualquiera podía fabricar un detector consistentemente preciso.
A la luz de @OpenAI apagando su herramienta de detección de IA debido a la poca precisión, ¿crees que alguien podrá alguna vez hacer un detector que detecte con precisión el contenido escrito por IA?
— DataChazGPT 🤯 (no un bot) (@DataChaz) 25 de julio de 2023
Después de todo, si OpenAI, la empresa detrás de ChatGPT, no puede determinar qué texto genera su propio algoritmo, es difícil imaginar que a otras herramientas de detección como GPT-0 o Originality.AI les vaya mucho mejor.
Las consecuencias de una I.A. inexacta la detección es más profunda que simplemente pasar por alto algunos documentos escritos por GPT. Como estudiante de la Universidad de California descubierto de primera mano esta primavera, A.I. los detectores de plagio pueden disparar fácilmente sus acusaciones y terminar incitando a los maestros a informar erróneamente a los estudiantes por ensayos escritos completamente sin influencia externa.
niña de buscando a nemo
Estos falsos positivos tampoco son aleatorios. Por ejemplo, “los estudiantes que no hablan inglés obtienen una puntuación más baja en perplejidad, uno de los principales marcos de trabajo de A.I. Los detectores se utilizan para determinar A.I. texto generado”, dijo Watkins, “lo que significa que los hablantes no nativos serán mal marcados a tasas mucho más altas”.
Si bien el final de AI Classifier tiene un impacto tangible muy pequeño (hay miles más en línea), simboliza algo mucho más grande: la ineptitud generalizada de los contrastes tecnológicos actuales para ChatGPT.
Watkins le dijo a Observer que no 'defiende ni recomienda ninguna de las herramientas de detección' actualmente disponibles, y con la vergonzosa retirada de OpenAI de la primera línea del software de clasificación, no es difícil ver por qué.
