MIT, Stanford e Harvard desaconselham os detectores de IA

O Instituto de Tecnologia de Massachusetts recomendou a seus professores não depender dos detectores de texto de IA, e Stanford e Harvard seguem o mesmo caminho. As evidências mostram que essas ferramentas falham e seus erros recaem sobre os mais vulneráveis.

No fundo existe uma hipocrisia acadêmica insólita: usar uma ferramenta de IA para perseguir o uso de ferramentas de IA. Enquanto isso, os humanos, expostos diariamente à prosa das máquinas, começamos a escrever como elas.

Quando o algoritmo acusou Cervantes

Por: Gabriel E. Levy B.

Desde a chegada do ChatGPT, como primeiro modelo generativo massivo de IA, em novembro de 2022, praticamente todas as universidades do planeta e as redações dos meios de comunicação tradicionais decidiram, de forma apressada e sem maiores evidências sólidas ou trabalho experimental de campo, implementar softwares e algoritmos que prometiam e, o que é pior, seguem prometendo, distinguir entre a prosa humana e os textos criados pelos sistemas algorítmicos de Inteligência Artificial de tecnologia LLM, ou grandes modelos de linguagem, como ChatGPT, Claude, Grok, DeepSeek ou Gemini.

Geralmente, embora nem sempre funcionem assim, esses programas apresentam uma porcentagem de uso de IA em um texto, e esse número, para muitíssimos professores ao redor do mundo, é o que define a suspeita a favor ou contra o estudante. Existem dezenas de casos documentados de alunos que foram sancionados ou expulsos por usá-la e que depois demonstraram, em tribunais ou em recursos, a imprecisão desses sistemas; muitos deles inclusive conseguiram provar que foram eles mesmos que escreveram o texto.

Possivelmente o caso mais comentado na imprensa, entre os múltiplos erros que esses sistemas cometem, ocorreu em dezembro de 2024, quando o escritor de origem espanhola Pedro Torrijos submeteu o primeiro parágrafo de Dom Quixote a um detector e obteve um veredicto insólito: 86% de probabilidade de ser obra de uma inteligência artificial. Ou seja, segundo esse tipo de programa de detecção, como Pangram ou Copyleaks, Cervantes teria usado, há mais de 420 anos, o ChatGPT ou o Gemini para escrever sua obra. O paradoxal e ao mesmo tempo ridículo do assunto não é o fato em si, mas que os professores usem essa ferramenta para decidir se um estudante usou a IA na sala de aula.

Mas este não é o único caso: poucos meses depois, o divulgador Fernando Bujedo repetiu o exercício com a ferramenta JustDone e conseguiu 78% para Cervantes e 89% para sua própria dissertação de mestrado, redigida em 2017, quando a IA generativa não existia.

Mas sem dúvida o fato mais significativo é que todos os sistemas de detecção, como Pangram, Copyleaks, ZeroGPT ou JustDone, e as próprias plataformas, como ChatGPT ou Claude, advertem em seus termos de uso que não garantem seus resultados, que existe uma alta probabilidade de erro ou falha em suas detecções e que não devem ser usados como critério objetivo para determinar o uso da IA. Ou seja, definem a si mesmas como ferramentas de apoio, mas não de julgamento.

Isso nos lança uma pergunta inevitável:

Pode uma ferramenta capaz de confundir Cervantes com um chatbot decidir a sorte acadêmica de um estudante?

Duas advertências de Cambridge

Em agosto de 2023, a unidade de tecnologia educacional da MIT Sloan publicou um guia cujo título não deixa margem a dúvidas: “os detectores de IA não funcionam e é melhor fazer outra coisa”.

A acadêmica da MIT Sloan Anna Wright documentou de forma extensa, com evidências claras e alto rigor acadêmico, as altas taxas de erro desses programas, e propôs um caminho diferente com políticas acordadas em cada curso, diálogo com os estudantes, tarefas redesenhadas e relatos do processo de escrita de cada trabalho.

Mas o mais importante, e o que melhor funciona, é pedir ao estudante que explique com suas próprias palavras o que está escrito no texto. Esse método, que contraditoriamente não exige o uso da mesma tecnologia que se busca punir, deixa em evidência, na maioria dos casos, quando o aluno foi preguiçoso e usou a IA para escrever; e quando o estudante se apropriou adequadamente do conhecimento, significa que o propósito acadêmico do aprendizado de fato se cumpriu.

Três anos depois, em agosto de 2026, o instituto foi mais longe.

Um comitê especial liderado pelos professores Eric Klopfer e Sam Madden, convocado pela reitora Sally Kornbluth, recomendou não se apoiar nesses sistemas porque alimentam uma corrida armamentista com os chamados “humanizadores”, serviços que apagam os rastros da IA.

O comitê alertou que esses programas confundem com frequência a escrita de falantes não nativos de inglês e de estudantes neurodivergentes, e o próprio órgão disciplinar do MIT deixou de aceitar a pontuação de um detector como prova suficiente de fraude.

O MIT não está sozinho e não é um caso isolado: o instituto de IA centrada no humano de Stanford, um dos mais avançados do mundo no uso complexo e profundo dos modelos LLM, pediu que não se confie em detectores que descreve como pouco confiáveis e fáceis de enganar, e a Faculdade de Artes e Ciências de Harvard classificou de imprudente apoiar-se na detecção automática e se negou a licenciar uma dessas ferramentas para seus cursos.

Há, além disso, uma contradição de fundo que nenhuma atualização de software resolve:

usamos uma ferramenta de automação para detectar a automação de um texto. Delegamos a um algoritmo a tarefa de decidir se outro algoritmo escreveu algo, e convertemos a suspeita em um trâmite industrial que dispensa a leitura atenta e a voz do acusado.

A mesma lógica que queríamos vigiar terminou administrando a vigilância, e o juízo humano ficou reduzido a validar a porcentagem que aparece na tela.

A incoerência alcança o terreno disciplinar: se um estudante merece sanção por delegar sua redação à IA, o professor que delega a avaliação a um detector incorre na mesma falta, pois também usou uma ferramenta para substituir sua obrigação acadêmica, a de ler e julgar o trabalho de seus alunos.

A armadilha da perplexidade

Os detectores medem duas propriedades estatísticas da linguagem.

A primeira é a perplexidade, isto é, quão previsível resulta cada palavra. A segunda é a variação no comprimento e na estrutura das frases, conhecida em inglês como burstiness.

A prosa formal e codificada obtém pontuações baixas de perplexidade e por isso se parece, aos olhos do algoritmo, com a de um modelo de linguagem LLM ou de Inteligência Artificial Generativa.

O jornalista Benj Edwards demonstrou o fenômeno na Ars Technica em julho de 2023, quando o GPTZero atribuiu à inteligência artificial trechos da Constituição dos Estados Unidos.

Edward Tian, fundador da empresa, explicou que o documento aparece tantas vezes nos dados de treinamento dos modelos que eles aprenderam a imitá-lo.

Outro detector, o ZeroGPT, atribuiu à Declaração de Independência 97,93% de probabilidade de ser artificial.

Os números confirmam o padrão.

A OpenAI fechou seu próprio classificador em julho de 2023 depois de admitir que reconhecia apenas 26% dos textos de IA e acusava em falso 9% dos humanos, e uma equipe liderada pela pesquisadora Debora Weber-Wulff avaliou 14 ferramentas sem que nenhuma alcançasse 80% de precisão.

Uma imprecisão que discrimina

O custo desses erros não se distribui por igual.

Uma equipe da Universidade Stanford, encabeçada pelo professor James Zou, publicou um experimento na revista Patterns em julho de 2023: passou 91 redações do exame TOEFL, escritas por estudantes não nativos de inglês, por sete detectores conhecidos. Em média, os programas marcaram em falso 61,3% das redações, e uma das ferramentas apontou quase 98%.

Esses mesmos sistemas acertaram em mais de 90% com textos de estudantes americanos do oitavo ano. A armadilha estatística se repete: quem escreve em uma segunda língua usa vocabulário mais comum e frases mais simples, e essa simplicidade dispara o alarme.

O detector confunde domínio do idioma com autoria.

A Universidade Vanderbilt desligou o detector da Turnitin em agosto de 2023 depois de calcular que, com 75.000 trabalhos anuais e uma taxa de erro de 1%, o programa poderia apontar sem razão cerca de 750 estudantes. Turnitin e GPTZero defendem suas melhorias e insistem que suas pontuações não provam fraude, uma nuance que nem sempre sobrevive ao chegar à sala de aula.

O espelho invertido

A outra metade da história acontece no nosso próprio teclado. Quanto mais texto de IA lemos, mais o estilo dele se infiltra no nosso.

O Instituto Max Planck para o Desenvolvimento Humano analisou mais de 730.000 horas de palestras acadêmicas e episódios de podcast e constatou que, desde o surgimento do chatbot, palavras favoritas do modelo ganharam terreno na fala espontânea: “delve” (aprofundar) cresceu 48% e “meticulous” 40%. Na escrita científica a marca é mais funda.

Dmitry Kobak e sua equipe revisaram mais de 15 milhões de resumos biomédicos e concluíram na Science Advances que pelo menos 13,5% dos publicados em 2024 passaram por um modelo de linguagem, com picos de 40% em alguns campos.

Um estudo da Universidade Cornell mostrou ainda que os assistentes de escrita empurram autores da Índia para estilos ocidentais e apagam nuances culturais. Até a pontuação entrou na briga: o travessão, querido por Dickinson e por Woolf, virou suspeito de delatar a IA, e muitos escritores hoje o evitam.

O círculo se fecha: os modelos aprenderam com a prosa humana e hoje a moldam, enquanto a próxima geração de sistemas vai treinar com essa escrita uniformizada.

Em resumo, o MIT chegou a uma conclusão taxativa: os detectores de IA falham demais para sustentar uma acusação, e seus erros castigam os mais vulneráveis. Cervantes apontado como chatbot retrata essa impotência técnica melhor que qualquer estatística. O desafio é cultural, porque a prosa das máquinas já contagia a nossa, e fica no ar uma dúvida incômoda: quantos de nós já escrevemos, sem notar, como ela.

Referências:

  1. Wright, A. (2023). AI detectors don’t work. Here’s what to do instead. MIT Sloan Teaching & Learning Technologies. https://mitsloanedtech.mit.edu/ai/teach/ai-detectors-dont-work/
  2. MIT Ad Hoc Committee on AI Use in Teaching, Learning, and Research Training. (2026). Report. Massachusetts Institute of Technology. https://aiandeducation.mit.edu/report/
  3. Edwards, B. (2023). Why AI detectors think the US Constitution was written by AI. Ars Technica. https://arstechnica.com/information-technology/2023/07/why-ai-detectors-think-the-us-constitution-was-written-by-ai/
  4. Liang, W., Yuksekgonul, M., Mao, Y., Wu, E. e Zou, J. (2023). GPT detectors are biased against non-native English writers. Patterns, 4(7), 100779. https://doi.org/10.1016/j.patter.2023.100779
  5. Weber-Wulff, D., Anohina-Naumeca, A., Bjelobaba, S., Foltýnek, T., Guerrero-Dib, J., Popoola, O., Šigut, P. e Waddington, L. (2023). Testing of detection tools for AI-generated text. International Journal for Educational Integrity, 19(26). https://doi.org/10.1007/s40979-023-00146-z
  6. OpenAI. (2023). New AI classifier for indicating AI-written text. https://openai.com/index/new-ai-classifier-for-indicating-ai-written-text/
  7. Vanderbilt University. (2023). Guidance on AI detection and why we’re disabling Turnitin’s AI detector. https://www.vanderbilt.edu/brightspace/2023/08/16/guidance-on-ai-detection-and-why-were-disabling-turnitins-ai-detector/
  8. Yakura, H., Lopez-Lopez, E., Brinkmann, L., Serna, I., Gupta, P. e Rahwan, I. (2024). Empirical evidence of Large Language Model’s influence on human spoken communication. arXiv. https://arxiv.org/abs/2409.01754
  9. Kobak, D., González-Márquez, R., Horvát, E.-Á. e Lause, J. (2025). Delving into LLM-assisted writing in biomedical publications through excess vocabulary. Science Advances, 11(27). https://www.science.org/doi/10.1126/sciadv.adt3813
  10. Agarwal, D., Naaman, M. e Vashistha, A. (2025). AI suggestions homogenize writing toward Western styles and diminish cultural nuances. CHI 2025. https://dl.acm.org/doi/10.1145/3706598.3713564
  11. MuyComputer. (2024). Cervantes era una inteligencia artificial. https://www.muycomputer.com/2024/12/02/cervantes-era-una-inteligencia-artificial/
  12. Omnia. (2025). Pone a prueba un detector de plagios de IA y el resultado expone hasta a Cervantes. https://www.omnia.com.mx/noticia/363919
  13. Stanford HAI (Myers, A.). (2023). AI-detectors biased against non-native English writers. Stanford Institute for Human-Centered Artificial Intelligence. https://hai.stanford.edu/news/ai-detectors-biased-against-non-native-english-writers
  14. Harvard University, Office of Undergraduate Education. (2023). Generative AI guidance. Faculty of Arts and Sciences. https://oue.fas.harvard.edu/faculty-resources/generative-ai-guidance/