QUE PRINCÍPIOS DEVEM SER CONSIDERADOS NA ELABORAÇÃO DE QUESTÕES E ÍTENS DE AVALIAÇÃO?

Em 2002, Haladyna, Downing e Rodriguez publicaram no periódico Applied Measurement in Education um estudo das diretrizes para elaboração de questões objetivas de múltipla escolha publicadas em livros e artigos especializados na década anterior. No artigo, os autores ainda propõem uma revisão de suas próprias diretrizes publicadas em 1989 na mesma revista científica, propondo uma nova taxonomia. Em que pese o tempo já decorrido da publicação, neste artigo, vou comentar pontos da taxonomia. Penso que estas diretrizes podem lançar luz sobre o trabalho de construção de questões para provas e atividades avaliativas, que ainda são úteis para professores e avaliadores em geral. Para o objetivo deste artigo, não será feita distinção entre questões e ítens.

A taxonomia de diretrizes (2002) é composta de cinco partes:

• Conteúdo

• Formatação

• Estilo

• Construção do enunciado

• Construção das alternativas

Para facilitar a discussão, apresento a discussão de cada conjunto de diretrizes e faço alguns comentários sobre sua relevância. Para conhecer as 31 diretrizes, recomendo que o leitor recorra ao texto original, referenciado acima.

Diretrizes para o conteúdo da avaliação

Este conjunto enfatiza a importância de se avaliar conteúdos ou competências específicas e relevantes. Descarta-se as questões de opinião e incentiva-se a abordagem dos conteúdos apresentados de forma parafraseada para evitar o recurso à simples memorização. Também se menciona a importância de uma linguagem compreensível na apresentação das questões para os examinandos. A implicação deste aspecto é clara: a avaliação é da compreensão e domínio do conteúdo ou competências, e não do enunciado. Não cabe, portanto, supor que a leitura do enunciado já consiste em uma avaliação. Em que pese o fato de que a resolução da questão depende da compreensão dos comandos (enunciado), é do avaliador a responsabilidade de tornar a compreensão desse comando tão clara quanto possível por produzir um texto acessível. Deste modo, o examinando gastará suas energias para compreender e resolver a própria questão, que com frequência vai envolver a leitura de textos, gráficos, infográficos, tabelas e outros materiais de suporte.

A orientação de que apenas um conteúdo ou competência seja cobrado em cada questão se relaciona com o princípio da validade do construto. Construtos são as competências e conteúdos que se pretende avaliar. Eles devem ser claros para o avaliador e nortear a elaboração das questões de tal modo que as respostas permitam tirar conclusões confiáveis sobre os conhecimentos do examinando. Se uma mesma questão aborda um conjunto de conteúdos ou competências pode ser difícil ou até impossível identificar quais são de fato dominadas pelo examinando. Quando as respostas às questões estão erradas, a situação é ainda pior. Se um examinando acerta uma questão que avalia diversas competências ou conteúdos, pode ser possível concluir que ele ou ela domina todos os conteúdos/competências. O erro, porém, não permite concluir se o examinando não domina nenhum conteúdo/competência ou se não domina apenas alguns. Portanto, a falta de especificidade na formulação da questão prejudica a interpretação dos resultados, com consequências ainda piores se o objetivo for o diagnóstico.

Na área de línguas, pode-se relativizar um pouco o princípio da especificidade se as questões forem de natureza integrada (integrated skills). Este tipo de questão muitas vezes exige o domínio de diferentes habilidades como a leitura e a escrita na resolução de uma única atividade. Um exemplo seria uma questão que solicita a produção de um texto com reflexões críticas a partir da leitura de um ou mais textos (a redação do ENEM é o exemplo que logo vem à mente). Nestes casos, a avaliação se concentra nas habilidades integradas. Note-se, contudo, que não é uma ou outra competência que está sendo avaliada e tampouco uma soma delas, mas, sim, o uso dessas competências para se atingir um objetivo. Assim, o construto é composto de outras habilidades e micro-habilidades (ver o artigo A definição de habilidades e micro-habilidades linguísticas na avaliação, neste blog). A especificidade é recuperada e mantida por se adotar uma outra perspectiva sobre o conteúdo ou competências em avaliação.

Diretrizes para a formatação e estilo

As diretrizes para formatação de questões apresentam de maneira sucintas as diversas opções de questões ou ítens, tais como múltipla-escolha, lacunas, verdadeiro ou falso, dentre outras. Sugere-se também a formatação de questões na vertical em vez de na horizontal. Quanto ao estilo, a recomendação é que se faça a revisão gramatical, ortográfica e de outros aspectos. Acrescenta-se ainda a redução da carga de leitura da questão.

Pode parecer trivial, mas o fato é que a formatação e o estilo contribuem em muito para que o examinando concentre seus esforços na resolução das questões, em vez de na superação de problemas da elaboração da prova. Um dos conceitos de avaliação diz respeito justamente à validade da aparência (em tradução livre de face validity), que consiste em uma boa apresentação do material da prova ou atividade avaliativa.

Diretrizes para a construção do enunciado

Clareza, objetividade, linguagem afirmativa. Estas são algumas das qualidades de enunciados bem elaborados, segundo as diretrizes. Acrescente-se aí a importância do enunciado concentrar a ideia principal da questão. Desse modo, se as alternativas tiverem um parte em comum, esta deverá fazer parte do enunciado.

A implicação principal aqui é que ao elaborar enunciados é necessário ter o cuidado dar instruções claras - fáceis de compreender - que não apresentem informação em excesso. Expressões negativas e advérbios devem ser evitados, mas se usados deverão ser grafados em caixa alta. O enunciado bem elaborado evita a repetição de informações nas alternativas.

Diretrizes para a construção das alternativas

Algumas recomendações para a construção de enunciados também se aplicam à elaboração de alternativas. Por exemplo, as alternativas também devem ser redigidas em linguagem afirmativa. Deve-se evitar o uso de advérbios ou expressões que possam sugerir a resposta correta. Se usados, estes recursos precisam ser grafados em caixa alta. Igualmente, devem-se evitar expressões como "todas as acima (ou anteriores)", "nenhuma das alternativas" e similares. Afinal, raramente estas são opções corretas, e, se forem, não permitem ao avaliador descobrir o ponto de dificuldade do examinando. Os autores das diretrizes sugerem ainda o uso de 03 alternativas, pois algumas pesquisas indicam que acima disso, as alternativas passam a não ser funcionais, ou seja que não sejam descartadas pelos examinandos. Eles afirmam, porém, que podem ser usadas mais alternativas se estas forem funcionais.

Ao longo de uma atividade ou prova, a localização da resposta correta deve ser variada. As alternativas precisam ser apresentadas em ordem lógica ou numérica. E é claro: o avaliador precisa se certificar de que exista apenas uma alternativa correta para cada questão.

Além disso, as alternativas não devem se sobrepor, isto é, não devem adentar o conteúdo de outra alternativa, ou englobá-la. Devem ainda ser homogêneas quanto ao conteúdo, e forma gramatical e terem extensão similar. Isto significa que ao elaborar as alternativas, é importante ter o cuidado de não criar uma situação que leve os examinandos a excluir as alternativas como opções de resposta simplesmente por diferenças de tema, estrutura ou extensão. A exclusão precisa se basear no conhecimento e raciocínio dos examinandos. Assim, faz sentido criar alternativas plausíveis, mas incorretas para a situação avaliada. Os autores recomendam, ainda, usar os erros dos estudantes na construção das alternativas. O objetivo não é induzir os estudantes ou examinandos a erros na avaliação, mas permitir diagnosticar e acompanhar o progresso deles.

As diretrizes para elaboração de questões são úteis ao se construir avaliações para qualquer área do conhecimento - incluindo a avaliação de línguas - e nível de ensino. É preciso deixar claro, porém, que estas diretrizes são voltadas para a elaboração de questões objetivas de múltipla escolha. Faltam ainda diretrizes que contemplem outros formatos de questões usados em processos avaliativos.