ENTRE OS TESTES PADRONIZADOS E A AVALIAÇÃO DE SALA DE AULA

O lugar das avaliações institucionais

A importância da avaliação na educação em geral e no ensino de línguas, em particular, está além de contestações. O cerne das discussões é de outra ordem: como conduzir a avaliação, para quais objetivos e por quais instrumentos e métodos.

A história da avaliação ao longo do século XX foi em grande parta a da consolidação dos testes ou exames padronizados. Envoltos em uma áurea de cientificidade, os testes padronizados foram – e continuam sendo – defendidos a partir de um conjunto de premissas que partilham a concepção da insuficiência das avaliações de sala de aula.

Por sua vez, a contrapartida desta história é a contestação desses exames como instrumentos promotores da aprendizagem, adequados para o ambiente de ensino e aprendizagem da sala de aula, com todas as suas particularidades, e o questionamento de sua justiça – apesar da defesa incondicional deste critério por parte dos que atuam no campo dos exames.

Neste artigo, pretendo discutir um caminho alternativo: o das avaliações institucionais. Esta alternativa guarda semelhanças com as duas outras maneiras de avaliar, mas oferece também a vantagem de permitir contornar alguns de seus problemas. Ao propor este caminho, não estou me opondo a nenhuma das outras formas de avaliação. Antes, sustento a importância de se ver a avaliação como um grande projeto composto de complementariedades e ao mesmo tempo ressalto o papel da avaliação institucional como visão distanciada e privilegiada em relação aos outros dois modelos.

O que são as avaliações institucionais

Para os objetivos deste artigo, entende-se por avaliação institucional os projetos de avaliação que são desenvolvidos em uma escola, faculdade, universidade ou qualquer outro contexto educacional similar, mas que não constituem atividades de sala de aula. Neste sentido, podem-se incluir a elaboração de exames ou testes, projetos, simulações, exposições, bem como outras ações ou inovações em avaliação. Assim, avaliação institucional neste contexto é uma forma de avaliação da aprendizagem.

Observe-se que esta definição não se confunde com o conceito de avaliação institucional praticado no campo da educação superior, como resultado das ações das Comissões Próprias de Avaliação (CPAs) e que tem como objeto aspectos relacionados às diversas dimensões das políticas institucionais. Tampouco se confunde com outras formas de avaliação organizacional praticadas em empresas, inclusive aquelas do campo da educação.

As ideias gerais que serão discutidas podem ser aplicadas às diversas áreas do conhecimento. Contudo, meu olhar se concentra especialmente no meu lugar de fala, o campo do ensino, aprendizagem e avaliação de línguas.

Além disso, em que pesem as várias possibilidades de avaliação mencionadas, e a utilidade de alguns princípios básicos para qualquer forma de avaliação, vou tomar como referência a elaboração de exames ou testes. De fato, a proposta de avaliação institucional aqui discutida se alinha com o conceito de local language testing, encontrado em Dimova, Yan e Ginther (2020), em obra de mesmo nome.

Adequação ao contexto

A primeira vantagem da avaliação institucional de línguas (de agora em diante AIL) é a adequação às necessidades e características do contexto de ensino. Este é um aspecto que os grandes testes padronizados não podem contemplar. A adequação pode ser concretizada por meio de projetos de avaliação diagnóstica, desempenho ou proficiência que leve em consideração os pontos fortes e as fragilidades dos estudantes locais, suas preferências, as preferências dos professores e da equipe técnica, bem como características da cultura em que a instituição de ensino está localizada.

Uma avaliação das habilidades linguísticas construída localmente pode facilitar a investigação do progresso dos estudantes, por meio de avaliações comparativas entre os grupos locais, como, por exemplo, as turmas de diferentes turnos ou perfis, ou, até mesmo, os diferentes níveis de ensino. Desse modo, pode-se avaliar se os estudantes de um determinado nível de ensino dominam certas habilidades em comparação com aqueles de um ano anterior. Este tipo de trabalho também não pode ser realizado facilmente por meio de avaliações restritas às salas de aula.

Responsabilização e isenção docente

A ideia de que as avaliações de sala de aula são insuficientes para conhecer até que ponto os estudantes dominam os objetivos de um currículo tem sido levada às últimas consequências em muitos sistemas de ensino por meio do conceito de accountability, ou responsabilização de professores e instituições. Além disso, muitas vezes se considera que falta aos professores a isenção necessária para avaliar objetivamente os estudantes. É óbvio que podem-se analisar estas questões a partir de diversas perspectivas, como, por exemplo, a de que é justamente esta inserção na realidade dos estudantes que dá aos professores certa vantagem na avaliação. Não é este o objetivo da discussão no momento.

Em meio as estas posições, a AIL oferece a oportunidade de se avaliar estudantes e grupos e, assim, acompanhar o trabalho docente em contexto com certo distanciamento. O objetivo nesse caso é promover a aprendizagem dos estudantes e o desenvolvimento profissional dos professores, sem um clima punitivo, que para ser eficaz também exige uma boa condução do projeto de avaliação institucional.

Criticidade em relação às outras formas de avaliar

Uma das principais vantagens de implantar um projeto próprio de AIL está no fato de se desenvolver expertise coletiva em avaliação, com o efeito resultante de aumentar o nível de criticidade entre os docentes para com as demais formas de avaliar. Um projeto coletivo oportuniza a reflexão sobre o funcionamento e os usos dos exames padronizados e o aprimoramento profissional nas estratégias de avaliação de sala de aula. A razão dessa criticidade está na colaboração que um projeto coletivo proporciona, levando naturalmente as partes a contribuir e a reavaliar suas perspectivas e ações. Outra razão é o necessário empenho em estudos e pesquisas, incluindo a familiaridade com a literatura especializada, o que aumenta o nível de conhecimento sobre as práticas instituídas no campo.

O conhecimento e criticidade derivados de tal projeto favorecem o desenvolvimento de habilidades para escolher ou elaborar instrumentos de avaliação. De acordo com os Standards, ou padrões de competência em avaliação para os professores, documento publicado por importantes entidades educacionais dos Estados Unidos, os professores devem ter competência para decidir quais são os instrumentos mais apropriados para avaliar entre aqueles publicados, ou ainda, devem ter a condição de elaborar seus próprios instrumentos. Assim, um projeto de avaliação contribui para o que tem sido chamado de letramento em avaliação.

Construção coletiva de critérios

Avaliações de qualidade são desenvolvidas com base em critérios claros, fundamentados em princípios, na pesquisa, na prática e na literatura técnica. Mas conforme mencionado antes, também é importante que a avaliação seja sensível às necessidades locais. Um projeto de AIL permite que se discutam os critérios mais apropriados para avaliar certas habilidades linguísticas e isto acaba resultando não apenas em melhoria dos instrumentos de avaliação, mas na própria reflexão sobre as práticas de ensino. A oportunidade de aprendizagem por meio de uma comunidade de prática (Wenger, 1999) é de grande valor para que os professores repensem suas próprias práticas de ensino. Isto significa que o professor entra em um processo de autorregulação, por meio da autorreflexão, com efeitos positivos sobre sua atuação profissional. Ao mesmo tempo, os professores não vão se sentir observados por um instrumento externo, já que são eles próprios os protagonistas e participantes do projeto de avaliação. Em vez da vigilância, controle e accountability, promove-se a consciência crítica na relação com os pares. E, além disso, as decisões podem levar em conta as necessidades e talentos desses professores e estudantes em seu contexto particular.

Desenvolvimento de expertise em avaliação

Desenvolver projetos de avaliação de alta qualidade requer uma abordagem técnica, científica e fundamentada. Infelizmente, porém, poucas oportunidades estão disponíveis no Brasil para oportunizar este tipo de experiência de alto nível e altamente técnica. Beverley Baker, professora da Universidade de Ottawa no Canadá, desenvolveu um projeto com professores no Haiti, e constatou que o trabalho coletivo contribui para o desenvolvimento de letramento em avaliação (Baker & Riches, 2017).

A aquisição de expertise em avaliação passa pela experiência em diversas etapas do projeto: concepção, planejamento, elaboração, testagem dos instrumentos, aplicação, correção, devolutiva e feedback. Mas além disso, pode ser necessário lançar mão de outras habilidades, tais como a escrita de documentos, a edição e design dos exames, a familiaridade com tecnologias acessíveis e as estratégias de comunicação com a comunidade escolar ou universitária.

No campo das línguas, as AILs exigem ainda que os professores estudem, pesquisem e discutam sobre as habilidades linguísticas, revisitando referências teóricas da área e desenvolvendo maneiras de avaliar estas habilidades na prática. Em uma avaliação de leitura, por exemplo, será necessário definir claramente quais habilidades serão avaliadas, por meio de quais instrumentos e textos, sempre a partir dos objetivos definidos para aquele instrumento de avaliação. Todo este trabalho coletivo proporciona desenvolvimento profissional e expertise.

Por fim, a condução de um projeto de avaliação é também um trabalho de gestão com a definição de papéis e tarefas. Coordenar este trabalho em equipe para obter bons resultados, preservando um clima amistoso e respeitoso entre os profissionais da instituição estimula o desenvolvimento de habilidades baseadas em valores e contribui para a formação de um senso de pertencimento em um projeto coletivo.

Os riscos da avaliação institucional

Naturalmente, não existem garantias do sucesso de um projeto de AIL. Por isso, é necessário envolver a comunidade de profissionais e elaborar um bom planejamento com o levantamento adequado dos recursos necessários na condução do projeto. Ainda assim, desafios poderão se apresentar ao longo do processo.

A possibilidade do não envolvimento dos professores, a rejeição de estudantes e seus responsáveis a mais uma avaliação e os usos inadequados da avaliação por parte dos gestores da instituição são riscos reais em um projeto dessa natureza. A carga de trabalho dos professores pode ser um fator de alto impacto em sua adesão ao projeto, e mais ainda se houver a percepção de que a AIL visa à vigilância e controle. Assim, a apresentação da proposta precisa ser feita em um clima positivo e, dependendo das condições locais, pode-se considerar formas de retribuição positiva aos professores, financeira ou de outra natureza.

Um outro risco é transformar a avaliação em uma máquina de produção de resultados de composição de notas dos estudantes, sem qualquer relação com o potencial diagnóstico do projeto. Nesse caso, corre-se o risco de subutilizar os resultados, o que seria lamentável já que a seria muito esforço por pouco, até porque há outras maneiras de se produzir resultados para decisões de composição de nota, aprovação e reprovação.

Finalmente, não se pode ignorar o risco de se construir um projeto de baixa qualidade, com pouca fundamentação técnica, ausência de discussão coletiva, saltos às etapas necessárias e decisões apressadas. Neste caso, devo dizer de maneira clara, não valerá à pena o esforço e os resultados serão bem decepcionantes.

Avaliação institucional: planejamento

Com o fim de contribuir para a elaboração de projetos dessa natureza, esboço brevemente algumas questões a considerar na elaboração de um projeto de AIL, também aplicáveis a outras áreas do conhecimento.

Em primeiro lugar, será fundamental que gestores e professores da instituição educacional tenham clareza das razões para implantar um projeto de avaliação. Espero que a discussão desenvolvida aqui tenha sido suficiente para demonstrar que o valor principal está na construção de avaliações favoreçam o processo de ensino e de aprendizagem de estudantes, professores e gestores educacionais.

Em segundo lugar, será importante se certificar de que existam as condições para a condução de tal projeto, tanto no que se refere à disponibilidade das pessoas quanto na oferta de recursos. No que diz respeito à disponibilidade de pessoas, vale à pena dividir tarefas de demonstrar a contribuição deste projeto para todos. Em relação à alocação de recursos, um projeto de avaliação não precisa envolver muitos gastos, e um planejamento cuidadoso pode permitir visualizar de antemão o impacto sobre as finanças da instituição. Com tais definições, é possível considerar a construção de documentos de planejamento do projeto, com a definição de objetivos, conteúdos e habilidades, formato de questões, tempo de resposta, critérios de avaliação e correção. A literatura especializada denomina tal documento de especificações. Uma vez que já exista um planejamento deste tipo, pode-se desenvolver algumas questões, as quais poderão ser aplicadas a um grupo pequeno de estudantes. Os resultados deste teste-piloto deverão permitir revisar as especificações e as questões para fins de melhoria. Em algum momento deste ciclo, os gestores do projeto deverão decidir pela aprovação de um conjunto maior de questões para aplicação entre os estudantes. A partir dos resultados, pode-se investigar tanto o próprio instrumento de avaliação – quanto à sua eficácia – quanto o desempenho dos estudantes com o objetivo de se identificar áreas que exigem melhorias e aspectos positivos que devem continuar a ser explorados para manutenção do que já foi conquistado.

Enfim, ...

Não há dúvida de que um projeto de avaliação pode trazer muitas contribuições para uma instituição de ensino. A experiência de aprendizagem pode ser libertadora para os professores e contribuir para a melhoria do desempenho profissional da equipe. Os estudantes também poderão se beneficiar por ver as ações que a instituição implanta para melhorar a qualidade do ensino. Finalmente, professores e gestores estarão mais preparados para pensarem na avaliação da sala de aula e nos usos dos exames padronizados, com nível de criticidade e competência aumentados, e assumindo uma postura protagonista no processo avaliativo.