ENEM, entenda alguns questionamentos que surgem anos após anos

Fonte: fatosmatematicos.blogspot.com

No Cerne do ENEM, o Teorema de Bayes

Cerca de 5 milhões de brasileiros fizeram a prova do Exame Nacional do Ensino Médio (ENEM) em outubro. O organizador da prova, Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), mostrou o gabarito poucos dias depois. Suponha que um dos estudantes, hipoteticamente chamado de Isaac Newton, tenha resolvido as questões de matemática que ele sabia, e que, antes de entregar a prova, tenha chutado as respostas que não sabia. Afinal, entre cinco alternativas (a, b, c, d ou e), a chance de acertar uma delas no chute é de 1/5, ou seja. 20%. Com o gabarito oficial em mãos, Isaac Newton descobre que acertou uma das questões no chute. Em janeiro de 2012, quando usar seu CPF para saber a nota individual, aprenderá uma lição: é difícil enganar computadores. Para azar dele, os computadores a serviço do INEP vão soltar um relatório dizendo, mais ou menos, assim: "É muito alta a chance de que nosso amigo Isaac Newton tenha acertado essa questão no chute. Nós, computadores, recomendamos desconsiderar essa questão na nota final do Isaac Newton".

Para organizar o ENEM, técnicos do INEP usam um método estatístico conhecido como TRI (Teoria da Resposta ao Item). É um método usado por médicos, militares, propagandistas, administradores de empresas, esportistas. Quando uma empresa usa o TRI para organizar qualquer tipo de questionário, ela ganha uma pergunta importante: qual é a probabilidade de que uma pessoa tenha acertado a questão X por seu próprio mérito ou por acaso? Se a probabilidade for alta, a empresa atribui o mérito da resposta ao respondente; se a probabilidade for baixa, ela ignora a questão, pois é mais provável que o respondente tenha chutado.

Ao usa o TRI, o governo ganha várias vantagens: ele consegue informação mais precisa de quem sabe exatamente o quê, consegue comparar escolas da zona rural de Manaus com escolas do centro de São Paulo. A TRI, contudo, é menos ótima para quem faz o teste: o estudante, seu professor, seus pais. SeIsaac Newton quisesse saber como a TRI funciona, e por que sua nota é aquela divulgada pelo governo, teria que de estudar estatística avançada. Especialistas no assunto dizem que o Ministério da Educação (MEC) deve continuar usando a TRI nas avaliações oficiais, pois, pressupondo que o MEC esteja fazendo tudo com boa vontade, isso é bom para o Brasil. Mas, a cada rodada do ENEM, falta divulgar informações de um jeito que o estudante, seu professor e seus pais possam compreender e usar.

O Mais Provável

Raquel Cunha Valle, estatística da Fundação Carlos Chagas, diz que podemos usar uma fita métrica para medir a altura de uma pessoa em centímetros, ou usar uma balança para medir seu peso em quilogramas, mas como medimos o que uma pessoa sabe ou ignora? "A resposta da teoria da resposta ao item", dia Raquel, "é criar uma unidade de medida para o conhecimento".

Uma tabela muito simples, mostrada abaixo, pode ajudar leitores como Isaac Newton a entender o que lhes aconteceu. No caso de uma prova como a do ENEM, "C" significa "acertou" e "E" significa "errou".

Neste nosso exemplo, Gauss acertou as cinco questões, provavelmente sabe 100% do que deveria saber. Euler, acertou quatro questões e errou uma,provavelmente sabe 80¢ do que deveria saber. Arquimedes acertou três questões e errou duas, provavelmente sabe 60% do que deveria saber. E assim por diante. A ênfase na palavra provavelmente serve para destacar a natureza estatística da TRI. Da mesma forma, a questão 1, que somente uma pessoa acertou, é difícil demais para 80% dos candidatos. A questão 2, que só duas pessoas responderam corretamente é difícil demais para 60% dos candidatos. E assim por diante.

Agora, imagine o Isaac Newton como sendo a sexta pessoa da tabela acima:

Note que ele também acertou duas questões e errou três, e que, portanto, sua média é igual à média de Einstein. Isaac Newton parece saber 40% do que deveria saber. Mas sua prova tem lógica? Até que ponto uma pessoa consegue acertar uma questão difícil (questão 1) e errar três questões mais fáceis? Não é mais provável que Isaac Newton tenha chutado a resposta da questão 1?

Ao realizar um teste comum, o MEC só consegue descobrir duas coisas: quantas questões a pessoa acertou e quantas errou. Mas, ao realizar um teste com todas as ferramentas estatísticas da TRI, o MEC consegue saber, com maior grau de precisão, o que uma pessoa sabe ou ignora.

Tufi Machado Soares, professor da Universidade Federal de Juiz de Fora (MG) e coordenador de pesquisas do Centro de Políticas Públicas e Avaliação da Educação, explica as principais alavancas de ajuste num modelo estatístico feito com base na TRI: dá para ajustar o grau mínimo de conhecimento para responder a uma questão com 50% de chance, dá para ajustar até que ponto a questão vai discriminar entre quem sabe e quem ignora, e dá para saber a probabilidade de que alguém acerte a questão por acaso (chutando). Essas três alavancas têm nomes técnicos complicados (traço latente do j-ésimo indivíduo) e simbolizados por letras gregas e latinas (θ_j).

Para explicar a mágica da TRI, especialistas como Raquel e Tufi Machado sempre mostram uma curva famosa: curva característica do item:

Na imagem acima, θ representa o que a pessoa sabe, e se θ = 0 significa que a pessoa tem conhecimentos suficientes para acertar uma questão com probabilidade de 50% - ela tem conhecimentos suficientes para, nesta questão, decidir a resposta no cara e coroa. Se ela fizer isso, os computadores do INEP não conseguirão dedurá-la, pois ela acertou outras questões com o mesmo grau de dificuldade. Mas se θ = –5, significa que a pessoa tem conhecimentos suficientes para acertar a questão com probabilidade de 2%. Em outras palavras, significa que, caso ela acerte a questão, é bem provávelque tenha chutado, e os computadores do INEP vão dedurá-la.

Exame por Computador

Especialistas independentes e técnicos do INEP não se cansam de mencionar as vantagens do TRI. Se a prova for bem desenhada, o avaliador pode cancelar uma questão errada sem prejudicar ninguém, pois as probabilidades são calculadas para as questões válidas. Se uma questão estiver escrita de modo a confundir pessoas com conhecimentos avançados, isto ficará claro, pois os computadores vão mostrar um grande número de pessoas com conhecimentos avançados errando a mesma questão, o que é pouco provável. Se uma pessoa se submeter a duas provas diferentes, mas feitas segundo a TRI, é provável que sua nota seja quase a mesma nas duas provas. O MEC pode comparar pessoas de regiões diferentes em anos diferentes. Se alguém obtiver os gabaritos da prova e vendê-los por um bom dinheiro, os computadores do INEP serão capazes de detectar a discrepância estatística.

A TRI só existe porque existem computadores. Sem eles, seria impossível calcular à mão todas as variáveis do modelo estatístico. Na fórmula principal da TRI, cada pessoa é descrita por meio de sete variáveis e quatro constantes. No ENEM, com 5 milhões de pessoas, são 35 milhões de variáveis e 20 milhões de constantes para calcular e comparar umas com as outras. Quando o INEP tiver um banco de dados de itens de tamanho adequado, os estudantes poderão realizar as provas por meio do computador: o estudante acerta uma questão e o computador puxa do banco de dados uma questão um pouco mais difícil; o estudante erra uma questão e o computador puxa uma questão um pouco mais fácil. Com esse método, o MEC conseguirá medir com precisão maior ainda o que o estudante sabe.

Bula Indecifrável

Críticos do ENEM vivem dizendo que o governo esconde os critérios pelos quais forma a nota de cada aluno. Afinal, os critérios são públicos ou são segredo de Estado? Tufi Machado diz que não há segredo algum: se a pessoa for ótima de estatística, se ela tiver conhecimentos profundos sobre a TRI, e se ela for persistente feito um mosquito da dengue, então ela conseguirá ter acesso aos critérios técnicos e talvez até aos dados brutos. "Os critérios até que são bem conhecidos pelos especialistas no assunto", fiz Tufi. Contudo, se a pessoa for um estudante, ou seu professor, ou um de seus pais, aí sim ela está numa enrascada. Até agora, o governo brasileiro não demonstrou interesse em divulgar critérios técnicos e dados brutos com frequência e clareza.

Explicar a TRI é difícil mesmo. Um exemplo: se o estudante tira a nota média do ENEM, ele tira 500, pois o INEP atribui valor 500 à nota média. Contudo, numa escala de 0 a 10, a nota média de uma ano pode ser 6 e de outro ano pode ser 5,5. Nos dois casos, o aluno que tirar a nota média vai tirar 500. Se ele tirar mais de 500, significa apenas que tirou mais que a nota média. Se tirar menos que 500, significa que tirou menos que a nota média. "A TRI é como se fosse um tipo de mágica", diz Raquel Valle, "mas poucos têm acesso ao truque".

Especialistas em modelagem matemática sabem que, quanto mais fielmente o modelo matemático representa a realidade, mais complicado ele é, pois a realidade é bem complicada. A TRI é complicada simplesmente porque ela retrata a realidade de modo melhor. Porém, isso não é desculpa para explicar a TRI com linguagem supertécnica. É possível pensar na TRI como uma bula. Se você escrever a bula com linguagem médica muito técnica, o paciente não vai entender nem mesmo para que serve o remédio.

O Teorema de Bayes

Os criadores da teoria da resposta ao item usaram como ferramenta principal o teorema de Bayes, criado pelo matemático inglês Thomas Bayes (1702 – 1761). O teorema trata de uma questão importante, cotidiana até, mas difícil de entendeer: qual é a probabilidade de que o evento A tenha ocorrido, visto que o evento B acabou de ocorrer? O símbolo para isso é Pr(A | B).

Teorema: Os eventos A₁, A₂, A₃, ..., A_k são eventos mutuamente exclusivos, cuja união é todo o espaço amostral de um experimento. O evento B é um evento com probabilidade diferente de zero (Pr(B) ≠ 0. Sendo assim:

Um exemplo para tornar a fórmula acima mais clara: A₁ representa o evento de jogar uma moeda com duas caras três vezes seguidas, e A­₂ representa o evento de jogar uma moeda comum TRE vezes seguidas. Suponha que você escolhe uma das duas moedas ao acaso e, portanto, Pr(A₁) = 1/2 e Pr(A₂) = 1/2. Seja B o evento de obter três caras seguidas (ou seja, você escolheu uma moeda ao acaso, jogou essa moeda ao ar trÊs vezes e conseguiu três caras seguidas); portanto, Pr(B | A₁) = 1 e Pr(B | A₂) = 1/8. Qual é a probabilidade de que você tenha escolhido a moeda com duas caras (A₁) visto que saíram três caras seguidas? Aplicando a fórmula:

O teorema de Bayes dá a resposta: se você escolheu uma das moedas ao acaso, e obteve três caras seguidas, então a probabilidade de que tenha escolhido a moeda com duas caras é de 88,9%.

Na notação acima, temos que Pr(A) é a probabilidade a priori (antes do experimento) e Pr(A_i | B) é a probabilidade a posteriori (depois do evento).

Alguns exemplos do teorema de Bayes na vida diária:

1) Se um homem bate na própria mulher, qual é a probabilidade de que venha a matá-la? É baixa, visto que a maioria desses homens não mata a mulher. Se uma mulher é encontrada morta a facadas, qual é a probabilidade de que tenha sido assassinada pelo próprio marido, dado que o marido batia nela? É altíssima.

2) Escolha uma pessoa a esmo. Qual a chance de que ela tenha problemas psiquiátricos? É baixa. Qual a chance de que ela acredite que seu chefe lê seus pensamentos? É baixa. Mas se essa pessoa escolhida a esmo acredita que seu chefe lê seus pensamentos, qual é a chance de que tenha problemas psiquiátricos? É altíssima.

3) Segundo dados do INEP, só 11% dos brasileiros terminam o ensino médio sabendo a matemática que deveriam saber. Dada tal informação, o que é mais provável: que o MEC esconda os dados a respeito do método usado no ENEM para, escondendo, melhorar artificialmente os números da educação no Brasil, ou que ninguém no MEC tenha se animado a criar um programa nacional de explicações simples e claras sobre o ENEM?

Referências:

[1] Matéria extraída da Revista Cálculo nº 10, ed. Segmento, 2011