No Enem, a nota do aluno é calculada por um conjunto de modelos estatísticos chamado TRI – Teoria de Resposta ao Item.
Por que o Exame usa essa metodologia? Porque ela garante a comparabilidade dos resultados de alunos que responderam a testes diferentes ao longo dos anos, assim, o poder público (Ministério e Secretarias da Educação) e as instituições de ensino têm um diagnóstico se a aprendizagem daqueles que estão terminando o Ensino Médio está crescendo/melhorando ou não.
Como a TRI funciona? Todo o ano, o Inep/MEC convoca profissionais elaboradores de questões para desenvolverem novas atividades para o Enem, sempre seguindo as orientações da Matriz de Referência do Enem, que é aquele documento com as competências e habilidades que são cobradas no exame. NÃO SÃO esses profissionais que definem o nível de dificuldade da questão. Para isso, o Inep/MEC organiza eventos chamados pré-testes, em que ele convida algumas redes de ensino para que os alunos respondam pela primeira vez a essas novas questões.
Analisando essas primeiras respostas, a TRI já faz alguns tipos de análise: primeiro, se a questão está adequada – imagine que por um equívoco o gabarito de uma questão foi configurado errado, ou havia duas respostas corretas, ou nenhuma resposta correta, problemas de estrutura etc., o pré-teste já consegue fazer um bom filtro sobre esses casos e essas questões voltam para ajuste do elaborador/revisor; segundo, considerando apenas as questões que passaram por esse filtro inicial, a TRI é utilizada para determinar 3 diferentes características das questões:
– parâmetro A: índice de discriminação – o quanto uma questão é capaz de separar bem os alunos que têm a habilidade/conhecimento para responde-la dos alunos que NÃO têm essa habilidade/conhecimento. Esse índice, grosso modo, meio que atesta a qualidade do item. Quanto maior o número, é um sinal de que a questão está bem feita e avalia o que se pretende.
– parâmetro C: probabilidade do acerto ao acaso, isto é, a chance de um aluno, que NÃO tem a habilidade/conhecimento para responder a questão, selecionar a alternativa correta (como estamos falando de uma questão de múltipla escolha, essa chance sempre existe). Boas questões são aquelas que têm baixo valor para esse índice.
– parâmetro B: esse sim, representa a dificuldade da questão, porque ele mostra qual o nível “mínimo” de competência que um aluno precisa ter para responder corretamente uma determinada questão. Grosso modo, para ficar fácil de entender, questões com altos índices de acerto são considerados fáceis e questões com baixos índices de acerto, difíceis.
Com a TRI, que analisa o comportamento das respostas de todos os alunos que participaram do evento do pré-teste, o modelo é capaz de atribuir um valor numérico a esse nível de dificuldade e assim dizer, por exemplo, que uma questão X tem nível de dificuldade 467, que é mais fácil que a questão Y que tem nível de dificuldade 599, e em seguida tem a questão Z com nível de dificuldade 844.
A identificação de todos esses valores é o que forma a conhecida ESCALA DO ENEM. Que nada mais é do que uma reta numérica em que os números, que são as dificuldades das questões, indicam posições. Assim, imagine que um aluno tirou a nota 650 em matemática do Enem. Isso significa que a questão de matemática com nível de dificuldade mais alto que ele conseguiu responder (tirando aquelas que o modelo identificou que ele chutou), foi 650. Se por um acaso ele errou uma questão com nível de dificuldade 100 por uma distração, o modelo o beneficia e entende que não é ali que é a nota dele, porque ele acertou vááárias outras questões com nível de dificuldade maior.
[[apenas uma questão técnica: uma vez que uma questão vai a pré-teste e passa pela TRI, tem seus parâmetros A, B e C identificados, aí a questão passa a ser chamada de “item”, por isso a TRI é a Teoria de Resposta ao Item, porque seu objetivo é identificar as características de “itens”]
COMO FUNCIONA O SUA NOTA DO ENEM ( www.suanotadoenem.com.br )
Feito o pré-teste, identificados os parâmetros das questões/itens, aplicado o Enem, tempos depois, o Inep/MEC divulga publicamente bases de dados chamadas MICRODADOS DO ENEM. Nessas bases estão as marcações de respostas de todos os alunos que participaram de determinada edição do Enem e quais foram as notas de cada um (vale ressaltar que eles não divulgam informações pessoais dos alunos, apenas essas informações da prova).
O que fazemos com esses dados? Aplicamos um algoritmo de TRI que desenvolvemos e, depois de vários estudos e testes, conseguimos alcançar um valor muito próximo da nota oficial que os alunos que participaram das edições do Enem de 2013 até 2019 oficialmente tiveram. Dessa maneira, o Sua Nota do Enem tem por trás um “espelho” da ESCALA DO ENEM.
Com isso pronto, convidamos os alunos que estão participando da edição 2020 do Enem a cadastrar na plataforma, gratuitamente, quais foram as suas respostas que eles marcaram no exame. Quando chegamos ao total de 1500 alunos que cadastraram suas respostas, “ligamos” nosso algoritmo de TRI e, uma vez que temos todo o histórico do Exame, conseguimos estimar aqueles parâmetros para as questões da edição de 2020 e, na sequência, estimar a nota que o aluno irá tirar.
O Sua Nota do Enem foi lançado em dezembro de 2019 (portanto, este é o segundo ano que o colocamos no ar). Em 2020, depois que o Inep/MEC divulgou as notas oficiais dos alunos na edição do Enem 2019, entramos em contato com aqueles que cadastraram suas respostas na plataforma e identificamos que a diferença entre a nota que estimamos e a que os alunos efetivamente tiraram no Exame tinham, em média, apenas 17 pontos de diferença (para mais ou para menos). Pensando estatisticamente, ficamos bem próximos.
Folha de Macaíba 