A metodologia permite aplicação de provas individualizadas e precisas. Mas especialistas criticam falta de interpretação das notas
TRI. A pequena sigla se tornou popular nas falas, artigos e reportagens sobre o Exame Nacional do Ensino Médio (Enem). Ao contrário do que os desavisados podem pensar, ela nada tem a ver com o número três. Significa Teoria da Resposta ao Item. É a metodologia que dá suporte à elaboração e correção do novo modelo de provas do Enem desde o ano passado.
Criada na década de 1950 nos Estados Unidos, a TRI envolve psicologia, estatística e informática. Os especialistas enumeram vantagens na sua utilização para elaboração de exames como o Enem: provas aplicadas em momentos diferentes podem ser comparadas, o conhecimento de cada aluno avaliado de forma mais precisa e não há necessidade de aplicar as provas no mesmo dia para milhares de candidatos.
Essas mudanças em relação ao jeito clássico das avaliações – soma de acertos – são possíveis graças ao foco da teoria: o item. Quem elabora as questões precisa se preocupar em medir níveis de conhecimentos diferentes pelas perguntas. Em uma mesma prova, é importante que elas variem: sejam fáceis, medianas e difíceis. Além disso, esses itens têm de conseguir separar quem sabe o conteúdo de quem tenta acertar no chute.
“Há três parâmetros importantes considerados em cada item: o grau de dificuldade, a discriminação do item e o acerto casual”, afirma Dalton Francisco de Andrade, professor titular do Departamento de Informática e Estatística da Universidade Federal de Santa Catarina (UFSC). “O modelo logístico da TRI calcula a probabilidade de um candidato acertar aquele item a partir do conhecimento que possui (dificuldade) e o conhecimento mínimo necessário para responder a questão (discriminação), e avalia o padrão de respostas do aluno na prova, para ter certeza de que ele não está acertando ao acaso”, define.
Para saber se os itens cumprem os requisitos, é preciso testá-los. Depois dos pré-testes, as questões podem ser eliminadas, reformuladas ou incorporadas a um banco de itens, que deve ser constantemente atualizado. A proposta do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) é construir um banco com milhares de itens. “Com isso, poderíamos fazer inúmeras provas distintas”, explica o presidente do Inep, Joaquim José Soares Neto.
Neto ressalta que a qualidade das provas, ao longo dos anos, pode variar. O que não muda, ele garante, é a capacidade de comparabilidade das avaliações por conta dos parâmetros adotados na seleção das questões. O objetivo é que o banco seja formado por itens cada vez melhor elaborados. Por isso, avaliadores do Inep estão passando por treinamentos com o professor Andrade, um dos maiores especialistas do País no tema.
“Quanto melhor o instrumento, mais precisa a medida. Quanto mais as pessoas forem aprendendo a teoria, melhor será o instrumento”, diz Andrade. No Brasil, a TRI começou a ser utilizada em avaliações em 1995. Naquele ano, ela foi incorporada ao Sistema Nacional de Avaliação da Educação Básica (SAEB), instrumento que avalia a capacidade de leitura e escrita das crianças brasileiras.
Mudanças futuras
A informática foi fundamental para que os especialistas em TRI conseguissem colocar em prática as potencialidades teóricas da metodologia. Hoje, sistemas de computador sofisticados são utilizados para armazenar, classificar e elaborar os testes. A teoria permite, inclusive, que as provas elaboradas com base na TRI se tornem individualizadas, quando adaptadas para computador. É o caso da certificação de proficiência em inglês TOEFL. E esse é o futuro do Enem.
Neto lembra que os objetivos da mudança no modelo do Enem eram tornar os testes mais qualificados, comparáveis ao longo do tempo e, aos poucos, deixar de provocar a operação gigantesca atual. Mais de 4 milhões de estudantes têm de fazer o exame no mesmo dia, o que envolve milhares de pessoas trabalhando na aplicação e segurança dos testes e na correção dos mesmos. Avaliar a qualidade do ensino médio ainda não está nos planos. “O Enem é um exame voluntário e temos de tomar cuidado com isso”, destaca.
Foto: Arte iG / Ilustração: Gabriel Silveira
Inep estuda mudanças no exame
O Inep já estuda como adaptar o Enem para testes computacionais. Desse modo, a avaliação se adaptaria ao nível de conhecimento dos estudantes. A cada acerto de um item fácil, o estudante receberia o próximo com um nível de dificuldade um pouco maior ou, em caso de erro, um mais fácil. Para isso, o sistema precisa de um variado e numeroso banco de itens. “Esse é o futuro. É o jeito mais adequado”, afirma Rubem Klein, pós-doutor em estatística.
Críticas
Para os especialistas, o que falta agora é entender o que significam as notas do Enem. Por enquanto, professores e estudantes não conseguem compreender, a partir das médias, se os conceitos que alcançaram são bons ou ruins. Andrade explica que, em toda avaliação que utiliza a TRI, é preciso criar uma escala de medida, como em um termômetro. “A decisão é arbitrária mesmo, no sentido de que a gente precisa definir um ponto de partida. A partir daí, vamos fazendo as comparações”, diz.
Em 2009, o Inep definiu que o ponto de partida seria a nota 500. Essa foi a média obtida pelos concluintes que realizaram as provas objetivas. Mas não é possível saber se essa pontuação traduz que os estudantes demonstraram pouco ou muito conhecimento. “Agora, uma equipe de especialistas precisa analisar o nível dos itens acertados e errados e ponderar as notas. O Inep ainda está devendo isso”, ressalta Klein, que é consultor da Cesgranrio.
Segundo Andrade, assim como os alunos, os itens que fazem parte do arquivo do Enem ganham notas. Elas representam o quanto de conhecimento a questão exige do candidato para respondê-la. “Por isso podemos comparar provas diferentes e interpretá-las. Realmente, essa é uma demanda ainda não atendida pelo Inep”, diz. O presidente do instituto diz que o órgão está trabalhando nessa interpretação, que é prioridade. Em breve, ela será divulgada.
