Sistema Nacional de Avaliação da Educação Básica

Nome do processo: Sistema Nacional de Avaliação da Educação Básica (Avaliação Nacional da Educação Básica – Aneb)
Sigla: -
Instituição Responsável: MEC/INEP/ Diretoria de Avaliação da Educação Básica (DAEB)
Tema: Educação/Educação Básica
Tipo de Processo: Pesquisa
Situação do Processo: Ativo
Periodicidade: Bienal
Início: 1995
Ocorrência(s):1995, 1999, 2001, 2003, 2005, 2011
Unidade(s) de Investigação: Escolas localizadas nas áreas urbana e rural da rede pública e da rede privada.
Unidade(s) de Análise: Escola, Dependência Administrativa, Brasil, Unidade da Federação e Município.
Técnica de Investigação: Amostragem probabilística

Histórico:
O Sistema Nacional de Avaliação da Educação Básica (Saeb) foi a primeira iniciativa brasileira, em escala nacional, para se conhecer o sistema educacional brasileiro em profundidade. Ele começou a ser desenvolvido no final dos anos 80 e foi aplicado pela primeira vez em 1990.
Em 1995, o Saeb passou por uma reestruturação metodológica que possibilita a comparação dos desempenhos ao longo dos anos. Desde a sua primeira avaliação, fornece dados sobre a qualidade dos sistemas educacionais do Brasil como um todo, das regiões geográficas e das unidades federadas (estados e Distrito Federal).

Objetivo:

O Saeb tem como principais objetivos:

  • Oferecer subsídios à formulação, reformulação e monitoramento de políticas públicas e programas de intervenção ajustados às necessidades diagnosticadas nas áreas e etapas de ensino avaliadas;
  • Identificar os problemas e as diferenças regionais do ensino;
  • Produzir informações sobre os fatores do contexto socioeconômico, cultural e escolar que influenciam o desempenho dos alunos;
  • Proporcionar aos agentes educacionais e à sociedade uma visão clara dos resultados dos processos de ensino e aprendizagem e das condições em que são desenvolvidos e
  • Desenvolver competência técnica e científica na área de avaliação educacional, ativando o intercâmbio entre instituições educacionais de ensino e pesquisa.

As informações obtidas a partir dos levantamentos do Saeb também permitem acompanhar a evolução da qualidade da educação ao longo dos anos, sendo utilizadas principalmente pelo Ministério da Educação e secretarias estaduais e municipais de educação na definição de ações voltadas para a solução dos problemas identificados, assim como, no direcionamento dos seus recursos técnicos e financeiros às áreas prioritárias, visando ao desenvolvimento do Sistema Educacional Brasileiro e à redução das desigualdades nele existentes.

População Alvo:
A seleção das escolas é efetuada de forma aleatória, a partir do cadastro do Censo Educacional do MEC, e em conformidade com o Plano Amostral. Basicamente, a seleção está dividida em duas fases: na primeira, são definidos os estratos de interesse em que as escolas se encontram (municipal, estadual ou particular, interior ou capital, rural ou urbana); e na segunda, as escolas são selecionadas aleatoriamente e de forma independente, dentro desses estratos.
Como a população de alunos matriculados nas escolas brasileiras é muito extensa e diversificada, o Saeb é aplicado a uma amostra representativa deste universo.

Os principais critérios para separação das escolas em estratos têm sido:

  • A série em que o aluno está matriculado e que são as de interesse do Saeb: 4ª e 8ª do Ensino Fundamental e 3ª do Ensino Médio, na modalidade regular;
  • As Unidades da Federação (Estados), pois o Saeb produz resultados para cada um dos 26 Estados e para o DF;
  • Dentro de cada UF as dependências administrativas a que as escolas pertencem: pública (estadual ou municipal) e particular;
  • A localização da escola, isto é, se fica na área metropolitana, na capital ou no interior, se é urbana ou rural;
  • O tamanho da escola, calculado pelo número de turmas que a escola mantém nas séries avaliadas.

Dentro destes estratos, são sorteadas escolas e nelas turmas de alunos que farão os testes. Em cada escola é sorteada no mínimo uma e no máximo duas turmas de uma mesma série a ser avaliada. Vale observar que numa mesma escola podem participar da aplicação turmas de séries e turnos diferentes, desde que tenha turmas e alunos de mais de uma das séries consideradas de interesse do Saeb.

Não são obtidos resultados que reflitam a eficiência de cada escola isoladamente, porque as turmas sorteadas, na maioria das vezes, não são quantitativa nem qualitativamente representativas da realidade daquela escola, mas apenas em conjunto com outras turmas “espelham” o estrato que representam.

Em 1997 foram excluídas da investigação:

  • As escolas federais, por serem em número muito reduzido;
  • As escolas rurais da Região Norte, pela dificuldade de acesso, e
  • As turmas multisseriadas, pela dificuldade de aplicação dos testes.

Estudos realizados em 1999 justificaram a eliminação adicional das escolas rurais de todos os estados, excetuando-se as escolas rurais com alunos na quarta série do Ensino Fundamental nos Estados da Região Nordeste, em Minas Gerais e no Mato Grosso do Sul.

Em 2001, o Inep manteve as mesmas exclusões realizadas nos dois levantamentos anteriores.
Em 2003, o universo investigado foi composto pelos alunos pertencentes a escolas listadas no Censo Escolar de 2002 e que freqüentavam as séries avaliadas naquele ano. Todas as alterações eventualmente ocorridas foram investigadas após a divulgação do Censo Escolar de 2003.
Também para este ciclo, algumas modificações foram realizadas com o objetivo de ampliar a cobertura da população de alunos das séries de interesse. Assim, o universo de referência para a composição da amostra do Saeb 2003 foi definido da seguinte forma:

  • Todos os alunos matriculados, em 2003, nas escolas urbanas constantes no Censo Escolar de 2002, em uma das três séries de interesse (a 4ª e a 8ª séries do ensino fundamental e a 3ª série do ensino médio), exceto os das turmas multisseriadas, de aceleração e da educação de jovens e adultos.
  • Foram incluídos os alunos da 4ª série das escolas rurais com 10 ou mais alunos nesta série e, ainda, os alunos das escolas federais urbanas das três séries avaliadas.
  • As escolas urbanas foram separadas em grupos (estratificadas) segundo três conjuntos de municípios:
    • a) os da região metropolitana sediada na capital do estado (sempre que houver) ou para o município da capital se não houver região metropolitana;
    • b) para o conjunto dos municípios não metropolitanos com população superior a 200.000 habitantes (se houver) e
    • c) para o restante dos municípios.
  • Estes três conjuntos de municípios foram denominados de Região Metropolitana ou Município da Capital, Grandes Cidades Não Metropolitanas e Outras Cidades.
  • Os alunos da 4ª série das escolas rurais foram mantidos em um grupo de análise à parte.

Complementarmente, foi desenhada uma amostra de alunos beneficiários do Programa Bolsa Escola.

Abrangência Geográfica:
Brasil, Grandes Regiões, Unidade da Federação, Município.

Metodologia:
Para alcançar seus objetivos, o Saeb utiliza várias metodologias no intuito de produzir informações sobre o desempenho e o contexto educacional das redes de ensino, sendo as principais: Matrizes de Referência para o Saeb, Testes Padronizados, Questionários de contexto, Teoria de Resposta ao Item (TRI), Amostra e Escalas de Proficiência.

Matrizes de Referência

A realização de uma avaliação de sistema com amplitude nacional, para ser efetiva, exige a construção de uma matriz de referência que dê transparência e legitimidade ao processo de avaliação, informando aos interessados o que será avaliado. As matrizes descrevem o objeto da avaliação, são um referencial curricular mínimo a ser avaliado em cada disciplina e série, informando as competências e habilidades esperadas dos alunos.

Torna-se necessário ressaltar que as matrizes não englobam todo o currículo escolar. É feito um recorte com base no que possa ser aferido por meio do tipo de instrumento de medida utilizado no Saeb e na Prova Brasil e que, ao mesmo tempo, seja representativo do que está contemplado nos currículos vigentes no Brasil.

Assim compreendidas, as matrizes não podem ser confundidas com procedimentos, estratégias de ensino ou orientações metodológicas, nem com conteúdo para o desenvolvimento do trabalho do professor em sala de aula. Estes elementos estão presentes nos guias ou propostas curriculares dos sistemas de ensino.

As matrizes têm por referência os Parâmetros Curriculares Nacionais, mas foram construídas a partir de uma consulta nacional aos currículos propostos pelas Secretarias Estaduais de Educação e por algumas redes municipais. O INEP consultou também professores regentes de redes municipais, estaduais e de escolas privadas, de 4ª e 8ª séries do ensino fundamental e 3ª série do ensino médio e, ainda, examinou os livros didáticos mais utilizados para essas séries.

As matrizes de referência são a base para a elaboração dos itens dos testes do SAEB e da Prova Brasil. Item é a denominação adotada para as questões que compõem a prova. Essa nomenclatura deve-se ao entendimento de que o termo item refere-se a questões que abordam, com preponderância, uma única dimensão do conhecimento.

Cada matriz de referência é estruturada em tópicos ou temas e respectivos descritores que indicam as competências e habilidades de Língua Portuguesa e Matemática a serem avaliadas. O descritor é uma associação entre conteúdos curriculares e operações mentais desenvolvidos pelo aluno, a partir dos quais os itens de prova são elaborados. As respostas dadas pelos alunos a esses itens possibilitam a descrição do nível de desempenho por eles atingido. A partir daí, é dado conhecer o desempenho dos sistemas de ensino.

A preocupação com a articulação interna entre descritores e itens das provas, com vistas à sua coerência e à sua consistência, foi determinada pelo objetivo de avaliar, com mais rigor, o que os alunos realmente sabem e o que lhes falta alcançar a cada etapa conclusiva de nível ou ciclo de escolarização.

Testes Padronizados

O Sistema Nacional de Avaliação da Educação Básica – Saeb utiliza diferentes instrumentos de coleta de dados, sendo um deles os testes que têm por finalidade medir a habilidade de Leitura em Língua Portuguesa e de resolução de problemas em Matemática dos alunos.

Os testes aplicados aos alunos são compostos por itens de múltipla escolha elaborados por professores das séries e disciplinas avaliadas, a partir dos descritores das Matrizes de Referência para o Saeb.

Depois de elaborados, os itens são submetidos:

  • a uma revisão de conteúdo e forma, que compreende uma certificação da qualidade dos aspectos teóricos, pedagógicos e lingüísticos dos itens;
  • à validação empírica, que verifica, por meio de técnicas estatísticas e psicométricas, as características de comportamento dos itens após sua aplicação em campo.

As análises estatísticas permitem estimar:

  • o poder de discriminação do item, ou seja, sua capacidade de diferenciar os alunos que conhecem o conteúdo e já desenvolveram as competências requeridas dos demais;
  • o índice de dificuldade de cada questão, o que permite equilibrar as provas com questões de diferentes graus de dificuldade,
  • a probabilidade de acerto ao acaso, que indica a chance de acerto do item sem o conhecimento e a construção da habilidade requerida (acerto pelo “chute”).

Os testes do Saeb contêm 169 itens para cada uma das séries e disciplinas avaliadas a fim de medir as habilidades previstas nas Matrizes de Referência. Para permitir a aplicação dessa grande quantidade de itens, é utilizado o delineamento denominado “Blocos Incompletos Balanceados” (Balanced Incomplete Block) – BIB.

Esse modelo permite que os 169 itens sejam divididos em subconjuntos menores chamados blocos. Cada bloco é composto por 13 itens, o que faz com que se tenha ao todo 13 blocos.
Estes 13 blocos são organizados em grupos de três diferentes combinações. Cada combinação resulta em um caderno de prova, e todas as combinações em 26 cadernos diferentes.

Esta distribuição assegura que sejam superados fatores intervenientes na resposta aos itens, como o cansaço do aluno ou a falta de tempo para responder às questões que aparecem no fim da prova.

Para garantir a comparabilidade entre os anos, mantêm-se alguns blocos de itens já aplicados em anos anteriores. Já a comparabilidade do desempenho dos alunos entre as três séries avaliadas, é assegurada pela aplicação de blocos da 4ª série do ensino fundamental à 8ª série do ensino fundamental, bem como da 8ª série do ensino fundamental à 3ª série do ensino médio.

    Questionários de Contexto

Durante a realização dos testes do Saeb é aplicado um questionário que coleta informações sobre o contexto social, econômico e cultural dos alunos, e ainda sobre a trajetória de sua escolarização, buscando apresentar indicações do efeito que alguns destes fatores têm sobre o desempenho.

Professores e diretores também são convidados a responder questionários que possibilitam conhecer a formação profissional, práticas pedagógicas, nível socioeconômico e cultural, estilos de liderança e formas de gestão. São coletadas, ainda, informações sobre o clima acadêmico da escola, clima disciplinar, recursos pedagógicos disponíveis, infra-estrutura e recursos humanos. Na mesma ocasião é preenchido, pelo aplicador dos testes, um formulário sobre as condições de infra-estrutura das escolas que participam da avaliação.

A relação entre os fatores de contexto ao desempenho dos alunos é feita utilizando-se modelos de regressão hierárquica, pois, por meio deles é possível analisar os fatores de interesse, controlando outras variáveis, como o nível socioeconômico dos alunos avaliados, que também exercem influência sobre a aprendizagem dos alunos, permitindo que os resultados obtidos apontem o efeito líquido dos fatores analisados.

Vale destacar que no Saeb 2003 foram introduzidas questões sobre algumas características dos alunos beneficiados pelo Programa Bolsa Escola, sobre aspectos relacionados à discriminação racial e social, assim como o perfil dos estudantes trabalhadores.

Em 2003, estes foram revistos e aprimorados, com a perspectiva de capturar com mais precisão os fenômenos educacionais afetados por intervenções de toda ordem. Assim, foram incorporados novos focos de interesse. Algumas variáveis introduzidas nos questionários contextuais permitirão agregar informações que possam aprofundar outros aspectos sobre a população pesquisada e, em certa medida, como tais aspectos interferem ou não na aprendizagem, como por exemplo, dados sobre o trabalho infantil, os beneficiários do Bolsa-Escola, sobre a violência nas escolas e subjetividade do professor. Considera-se que estes são temas atuais e importantes e que estão influenciando de forma decisiva no cotidiano das escolas brasileiras.

Estudar os efeitos do Bolsa-Escola no aprendizado das crianças da 4ª e 8ª séries do Ensino Fundamental, em todo o Brasil, poderá gerar informações importantes para aprimoramento do Programa, potencializando seus efeitos educacionais. Os alunos bolsistas terão seus resultados comparados aos resultados de alunos de mesmo perfil socioeconômico, porém sem bolsa, para gerar dados de avaliação do papel do Programa Bolsa-Escola Federal no desempenho. De forma mais específica, o levantamento permitirá mapear as principais dificuldades enfrentadas pelos bolsistas no desenvolvimento de conhecimentos. A investigação saberá onde e em quê os alunos têm dificuldades. Programas específicos de qualificação de professores poderão ser elaborados e implementados, bem como as políticas do Programa Bolsa-Escola Federal, do ponto de vista educacional, poderão ser geradas e aplicadas com o foco correto.

Considerando ainda os avanços introduzidos no Saeb/2003, vale destacar as mudanças na forma de coleta dos dados de contexto dos alunos do Ensino Fundamental. Os baixos níveis de desempenho em leitura revelados pelo levantamento anterior apontaram para a necessidade de se adotar a aplicação dirigida dos questionários.

    Teoria de resposta ao item

Modelo matemático que permite comparar o desempenho dos alunos em diferentes períodos;

    Amosta

Como a população de alunos matriculados nas escolas brasileiras é muito extensa e diversificada, o Saeb é aplicado a uma amostra representativa deste universo.

No processo de constituição da amostra, as escolas cadastradas no Censo Escolar são separadas em várias subpopulações, chamadas estratos, a fim de que sejam produzidos resultados de desempenho generalizáveis não só para o todo do sistema educacional brasileiro, mas também para grupos específicos de alunos, chamados estratos de interesse.

Desta forma, os principais critérios para separação das escolas em estratos têm sido:

  • a série em que o aluno está matriculado e que são as de interesse do Saeb: 4ª e 8ª do Ensino Fundamental e 3ª do Ensino Médio, na modalidade regular;
  • as Unidades da Federação (Estados), pois o Saeb produz resultados para cada um dos 26 Estados e para o DF;
  • dentro de cada UF as dependências administrativas a que as escolas pertencem: pública (estadual ou municipal) e particular;
  • a localização da escola, isto é, se fica na área metropolitana, na capital ou no interior, se é urbana ou rural;
  • o tamanho da escola, calculado pelo número de turmas que a escola mantém nas séries avaliadas.

Dentro destes estratos, são sorteadas escolas e nelas turmas de alunos que farão os testes.Em cada escola é sorteada no mínimo uma e no máximo duas turmas de uma mesma série a ser avaliada. Vale observar que numa mesma escola podem participar da aplicação turmas de séries e turnos diferentes, desde que tenha turmas e alunos de mais de uma das séries consideradas de interesse do Saeb.

Não são obtidos resultados que reflitam a eficiência de cada escola isoladamente, porque as turmas sorteadas, na maioria das vezes, não são quantitativa nem qualitativamente representativas da realidade daquela escola, mas apenas em conjunto com outras turmas “espelham” o estrato que representam.

Principais Variáveis:

  • Dados da turma:
    • Série
  • Dados da escola:
    • Dependência Administrativa da Escola;
    • Localização da Escola (Urbana ou Rural);
    • Sigla da Unidade da Federação onde a escola se localiza;
    • Nome do Município da Escola;
    • *Obs: É possível obter todas as informações da escola a partir do Censo.

  • Dados da Proficiência:
    • Proficiência em Língua Portuguesa transformada na escala única do SAEB, com média = 250, desvio = 50 (do SAEB/97);
    • Proficiência do aluno em Matemática transformada na escala única do SAEB, com média = 250, desvio = 50 (do SAEB/97)
  • Dados da Prova / Item:
    • Resposta do Aluno;
    • Gabarito;
    • Parâmetros da TRI – Teoria de Resposta ao Item
  • Questionário do aluno:
    • sexo;
    • raça;
    • idade;
    • utensílios que possui em casa;
    • quantidade de pessoas com quem mora na casa e quantos quartos a casa possui;
    • escolaridade dos pais ou responsáveis;
    • participação dos responsáveis nos estudos;
    • se trabalha ou não fora de casa;
    • informação sobre abandono e reprovação
    • violência na escola (questionário do 3º ano do ensino médio)
    • expectativas pessoais de escolaridade e trabalho (questionário de 8ª série do ensino fundamental e 3º ano de ensino médio)
  • Questionário do professor:
    • sexo;
    • raça;
    • idade;
    • escolaridade e participação em curso de formação continuada;
    • salário bruto do professor;
    • há quanto tempo leciona;
    • carga horária semanal;
    • atividades que realiza com os alunos;
    • como foi desenvolvido o projeto pedagógico da escola;
    • percepção do professor a respeito dos motivos que podem explicar as dificuldades de aprendizagem dos alunos;
    • participação do diretor na motivação dos funcionários;
    • problemas que ocorrem com a escola;
    • violência na escola;
    • Opinião do professor a respeito da qualidade dos livros didáticos.
  • Questionário do diretor:
    • sexo;
    • raça;
    • idade;
    • escolaridade e participação em curso de formação continuada;
    • salário bruto e renda familiar bruta;
    • experiência na área de educação e na função de direção;
    • promoveu alguma atividade de formação continuada;
    • composição do conselho escolar;
    • projeto pedagógico da escola;
    • a escola possui programas de redução das taxas de abandono e reprovação e programas de apoio ou reforço de aprendizagem;
    • problemas que ocorrem com a escola;
    • condições para o exercício do cargo na escola;
    • recursos existentes ou não na escola;
    • informações sobre violência na escola.
  • Questionário da escola:
    • adequação dos itens do prédio;
    • estado de conservação da escola;
    • aspectos relacionados à segurança da escola;
    • quantidade de computadores existente;
    • estado de conservação de diversos equipamentos existentes na escola;
    • informações a respeito de utilização da biblioteca;
    • estado de conservação dos livros;

Documentação Operacional:

  • Questionário do aluno: 4ª série de ensino fundamental; 8ª série de ensino fundamental; 3º ano do ensino médio;
  • Questionário do professor;
  • Questionário do diretor;
  • Questionário da escola;

Época da Coleta:
Ocorre no segundo semestre nos meses de Outubro ou Novembro.

Tempo Previsto entre o Início da Coleta e a Liberação dos Dados:
8 meses.

Nível de Divulgação:
Os resultados do Saeb são divulgados para o Brasil, Grandes Regiões e Unidades da Federação.

Formas de Disseminação:

Internet – http://www.inep.gov.br/basica/saeb/default.asp/

Microdados (1995 a 2005) – http://www.inep.gov.br/basica/levantamentos/microdados.asp