ISSN 1982-6621 On-line | ISSN 0102-4698 Impresso (até 2015)

VALIDAÇÃO DE INSTRUMENTO DE AVALIAÇÃO DA ALFABETIZAÇÃO CIENTÍFICA PARA EGRESSOS DO ENSINO MÉDIO NO CONTEXTO DA FÍSICA DO TRÂNSITO

Edição Atual

VALIDAÇÃO DE INSTRUMENTO DE AVALIAÇÃO DA ALFABETIZAÇÃO CIENTÍFICA PARA EGRESSOS DO ENSINO MÉDIO NO CONTEXTO DA FÍSICA DO TRÂNSITO


VALIDATION OF SCIENTIFIC LITERACY ASSESSMENT INSTRUMENT FOR HIGH SCHOOL GRADUATES IN TRAFFIC APPLIED PHYSICS CONTEXT


Patrick Alves Vizzotto
Universidade Federal do Rio Grande do Sul, Porto Alegre, RS, Brasil.
Luiz Fernando Mackedanz
Universidade Federal do Rio Grande do Sul, Porto Alegre, RS, Brasil.

Clique aqui para baixar o artigo


RESUMO:

Apresentamos o procedimento de validação de um instrumento para verificação de aspectos da Alfabetização Científica para egressos do Ensino Médio. O questionário dividiu-se em questões sobre conceitos da física aplicada em situações do trânsito e sobre características do perfil das aulas de Física assistidas pelos egressos durante o Ensino Médio. Contando inicialmente com 64 itens, os mesmos foram avaliados quanto ao seu conteúdo por professores da área e posteriormente, através de testes estatísticos, estimou-se os quantitativos de validação e confiabilidade. Ao final, 19 itens foram removidos e obteve-se um instrumento considerado válido e fidedigno com 25 itens sobre física no trânsito e 20 itens sobre o perfil do Ensino de Física, com fins de utilização para avaliação da alfabetização científica.

Palavras-chave: Física aplicada ao trânsito; Ensino de Física; Retenção do conhecimento.


ABSTRACT:

We present the validation procedure of an instrument to verify aspects of Scientific Literacy for High School graduates. The questionnaire was divided into questions about concepts of applied Physics in traffic situations and on the profile characters of the physics classes attended by the graduates during High School. Initially, it counts 64 items, that were assessed for their content by teachers in the area and later, through statistical tests, the quantitative results for validation and reliability were estimated. Finally, we remove 19 items and a valid and reliable instrument was obtained with 25 items on traffic applied Physics and 20 items on the Physics Education profile, for use in scientific literacy assessment.

Keywords: Traffic Applied Physics; Physics Teaching; Knowledge retention


INTRODUÇÃO

O que os egressos recordam das aulas do Ensino Médio? Quanto do conhecimento escolar conseguirá ser utilizado por ex-alunos a fim de auxiliá-los em suas leituras de mundo? Este conhecimento possibilita compreender a dinâmica do cotidiano, para que assim exista maior possibilidade de que suas decisões sejam críticas e responsáveis? Tais questionamentos surgem ao comparar os objetivos presentes nos documentos das Políticas Públicas de Educação com a realidade escolar que se observa comumente na atualidade.

É inegável que a sociedade atual tem seu cotidiano permeado pela ciência e tecnologia, e sua imersão neste meio vem crescendo exponencialmente, pois muitos dos aparatos tecnológicos utilizados hoje não eram conhecidos ou acessíveis à maioria da população, nas gerações anteriores. Ainda assim, este crescimento exponencial nos sinaliza que a sociedade do futuro poderá desfrutar dos benefícios proporcionados pela ciência e tecnologia (além dos problemas que estes avanços podem vir a causar).

Seja agora ou no futuro, é imprescindível que a escola seja um dos meios de construção de uma Alfabetização Científica, a fim de que os cidadãos possam compreender a dinâmica do mundo e atuar de forma responsável e crítica dentro desta realidade. Defendemos que um indivíduo alfabetizado cientificamente é aquele que domina os conhecimentos básicos sobre ciência e consegue utilizá-los para compreender fenômenos cotidianos, artefatos tecnológicos e atuar na sociedade.

Os referidos questionamentos e anseios fazem parte do ideário da Alfabetização Científica (AULER; DELIZOICOV, 2001). Neste sentido, entendemos que é desejado a um indivíduo alfabetizado cientificamente possuir habilidades e competências necessárias para ser um cidadão preparado para a vida dentro dos diversos setores da sociedade, tanto no trabalho, na família, na manipulação de um instrumento eletrônico, quanto, por exemplo, no ato de atestar o destino dos recursos investidos pelo estado na sua própria população. Na visão de Santos e Mortimer (2001), isto pode resultar na tomada de decisões para ação social responsável por parte da população.

Com o desejo de mensurar o nível de Alfabetização Científica de alunos e de egressos da escola, foram debatidos dentro da área da educação científica, critérios para efetuar avaliações, e assim, instrumentos de investigação foram elaborados (AAAS, 1989MILLER, 1983LAUGKSCH; SPARGO, 1996).

Estudos dentro da área da psicologia, como os realizados no século XIX por Ebbinghaus, também já questionavam sobre o grau de retenção dos conhecimentos. Em especial, há investigações envolvendo conhecimentos escolares, com destaque para os estudos de Pinto (198919912001), sendo possível notar uma curva de esquecimento para certas aprendizagens induzidas nas pesquisas.

O presente artigo descreve o processo de construção e validação de um questionário que tem por objetivo avaliar o desempenho de egressos do Ensino Médio no uso de seus conhecimentos para a interpretação de situações Físicas presentes em um cotidiano específico: o trânsito. Juntamente com tal avaliação, buscamos também descrever o perfil das aulas de Física cursadas por este egresso, a fim de analisar se há correlação entre este perfil e sua proficiência na interpretação de situações de Física no trânsito.

Este trabalho visa colaborar com a literatura da área por apresentar uma forma quantitativa de avaliar a proficiência em Física de egressos da escola tendo como base o uso de seus conhecimentos para interpretar o cotidiano, com o foco não na memorização de conceitos e procedimentos matemáticos, mas sim através de uma análise do nível das competências e habilidades adquiridas para julgar situações científicas aplicadas no cotidiano.

Tal questionário tem como público-alvo egressos do Ensino Médio nas seguintes categorias: ingressantes em cursos técnicos e graduação; alunos de centros de formação de condutores; motoristas profissionais e instrutores da área do trânsito. O procedimento de validação do instrumento se utilizou de técnicas de estatística, como análises de dificuldade e discriminalidade dos itens, teste de consistência interna e análise fatorial exploratória, obtendo um questionário final, fidedigno e válido com 25 questões de Física aplicada ao trânsito e 20 questões sobre o perfil de ensino de Física.

O artigo inicia abordando o conceito de Alfabetização Científica e as produções relacionadas com o recorte escolhido para este trabalho; em um segundo momento justifica-se a escolha do tema “trânsito” como situação cotidiana utilizada no questionário; posteriormente, descreve-se o processo de construção e os métodos de validação do mesmo; e nas últimas duas seções apresentam-se os resultados do teste piloto, as respectivas discussões e considerações finais.

ALFABETIZAÇÃO CIENTÍFICA E A RETENÇÃO DO CONHECIMENTO DE EGRESSOS DO ENSINO MÉDIO

Neste artigo, baseados na concepção de Sasseron e Carvalho (2011), adotamos o entendimento de que um cidadão alfabetizado cientificamente é aquele que domina os conhecimentos básicos sobre ciência e consegue utilizá-los para compreender fenômenos cotidianos, artefatos tecnológicos e atuar na sociedade de forma crítica e responsável. Consoante com Auler e Delizoicov (2001), acreditamos que os conteúdos abordados dentro das disciplinas de Ciências da Natureza são considerados como meios para se compreender assuntos cotidianos socialmente proeminentes.

A aptidão de um alfabetizado cientificamente pode possibilitar que o indivíduo adquira uma postura de criticidade ao interpretar políticas científicas, o que permitiria assegurar a vigilância de ações voltadas para a participação democrática nas decisões tomadas e investimentos realizados pelo estado (SANTOS; MORTIMER, 2000ANGOTTI; AUTH, 2001).

A expressão “Alfabetização Científica” possui diversas vertentes de interpretações. De modo geral, o termo é utilizado como sinônimo de “entendimento público da ciência”. Para Vidor et. al. (2009), esta definição relaciona-se com o que os indivíduos deveriam saber sobre ciência e tecnologia, embora diferentes autores incluam noções que envolvem comportamentos individuais, como hábitos intelectuais e habilidades mentais que permitam utilizar conhecimentos científicos para resolver problemas e tomar decisões em situações do seu cotidiano.

O termo foi originalmente utilizado por Paul Hurd (HURD, 1958), e desde então a literatura apresenta uma quantidade expressiva de publicações na área, como Miller (1983); Fourez (1994); Jenkins (1994); Laugksch e Spargo, (1996); Laugksch (2000)Hurd (1998)Gil-Pérez e Vilches-Peña (2001)Lorenzetti (2000); Auler e Delizoicov (2001); Chassot (20002003); Nascimento-Schulze et. al. (2006)Vidor et. al. (2009); Camargo et. al. (2011); Sasseron e Carvalho (2011), nas quais se podem perceber concepções ligeiramente diferenciadas sobre o significado do conceito. Assim:

Pode-se perceber que no cerne das discussões de autores que usam um termo ou outro, estão as mesmas preocupações com o ensino de Ciências, ou seja, motivos que guiam o planejamento desse ensino para a construção de benefícios práticos para as pessoas, sociedade e meio ambiente (SASSERON; CARVALHO, 2011, p. 60).

Nascimento-Schulze et. al. (2006), por sua vez, afirmam que essas diferenças são adotadas também em função de propósitos distintos para os quais o conceito é utilizado. Porém, as autoras ressaltam que embora haja diferenças no significado do conceito, nota-se também um fio condutor que norteia a estrutura de compreensão e uso do termo: “é uma meta desejável para todos os cidadãos, mensurável e avaliável, útil para a vida cotidiana e ligada fortemente ao contexto social” (p. 26). Como alicerce para a definição por nós adotada, utilizamos o conceito postulado por Paulo Freire, quando afirma que:

A alfabetização é mais do que o simples domínio psicológico e mecânico das técnicas de escrever e de ler. É o domínio dessas técnicas, em termos conscientes. É entender o que se lê e escrever o que se entende. É comunicar-se graficamente. É uma incorporação. Implica, não uma memorização visual e mecânica de sentenças, de palavras, de sílabas, desgarradas de um universo existencial – coisas mortas ou semimortas – mas numa atitude de criação e recriação, implica numa autoformação de que possa resultar uma postura interferente do homem sobre seu contexto. (FREIRE, 2000, p. 118).

Sendo assim, alguém alfabetizado cientificamente possuirá competências para compreender a dinâmica do mundo no qual está inserido. Isto inclui entender a natureza da ciência e como ela se desenvolve; os conceitos científicos aplicados em fenômenos cotidianos; e também entender a influência da ciência e tecnologia na sociedade e meio ambiente.

A elaboração de um questionário para medir o nível de Alfabetização Científica de egressos da escola, teve como impulso o trabalho de Miller (1983), o qual concebeu que o ato de ser alfabetizado cientificamente é um fenômeno que pode ser atestado verificando o domínio do indivíduo em três dimensões: O entendimento da natureza da ciência; O entendimento de conteúdos científicos; e o entendimento sobre o impacto da ciência e tecnologia sobre a sociedade.

Com base nessas definições, a Associação Americana para o Avanço da Ciência – AAAS iniciou na década de 1980 o Projeto 2061, que tinha por meta colaborar para a Alfabetização Científica, Matemática e Tecnológica dos cidadãos estadunidenses, tendo como ação concreta a publicação do Science for All Americans (SFAA). Este periódico enumerou noções que os alunos deveriam ter ao concluir a educação básica, o que incluía tanto conhecimentos, quanto habilidades mentais relacionadas às disciplinas de ciências e matemática (AAAS, 1989).

A necessidade de se elaborar meios de mensurar Alfabetização Científica veio da própria imposição das agências de incentivo destes projetos, a fim de verificar a eficácia dos investimentos realizados (NASCIMENTO-SCHULZE; CAMARGO; WACHELKE, 2006VIDOR et al., 2011), porém, assentimos que o fato de medir de forma quantitativa um constructo como a aprendizagem ou o uso da mesma, seja um tópico considerado complexo e possa gerar discordância entre teóricos de diferentes área.

A fim de avaliar o efeito destas iniciativas nos estudantes concluintes da educação básica, Laugksch e Spargo (1996) criaram e validaram um instrumento com este propósito, testando as características mínimas que um egresso do nível escolar básico deveria possuir para ser considerado alfabetizado cientificamente. Tal questionário foi chamado de Test of Basic Scientific Literacy – TBSL e o seu procedimento de validação entrevistou mais de 4000 egressos do ensino médio da África do Sul. No Brasil, este instrumento foi traduzido por Nascimento-Schulze (2006) e chama-se Teste de Alfabetização Científica Básica – TACB. Composto por 110 itens dicotômicos (verdadeiro ou falso), é dividido em três subtestes que avaliam as diferentes dimensões da Alfabetização Científica postuladas por Miller (1986).

Contudo, os próprios elaboradores afirmam que ele possui certas limitações, pois avalia apenas o aspecto básico da Alfabetização Científica, isto é, estima-se apenas o conhecimento de conceitos interdisciplinares, pois os itens não testam a habilidade de o indivíduo aplicar seus conhecimentos em situações de resolução de problemas e tomada de decisões:

O TBSL, portanto, está testando apenas aspectos fundamentais ou básicos da alfabetização científica, como o conhecimento de conceitos interdisciplinares; aplicações da ciência e a capacidade de aplicar conhecimentos para tomada de decisão e resolução de problemas não estão sendo testados aqui. (LAUGKSCH; SPARGO, 1996, p. 335)1 (Tradução nossa).

O questionário elaborado e validado neste artigo visa apresentar uma opção para preencher esta lacuna para a área da Física, aprofundando o ato de avaliar a Alfabetização Científica de egressos do Ensino Médio, ao possibilitar que o entrevistado utilize seus conhecimentos para interpretar situações cotidianas em um contexto particular no qual a Física encontra-se aplicada: o trânsito. Além disso, acredita-se ser relevante investigar o quanto a realidade escolar pode ou não influenciar na habilidade do egresso de interpretar tais situações.

Embora um cidadão possa adquirir conhecimentos nos diversos ambientes em que ele possa frequentar, é inegável o papel relevante da escola como um espaço formal de Alfabetização Científica. Entende-se ainda, que os objetivos norteadores do sistema educacional brasileiro, por meio dos documentos oficiais (BRASIL, 199620002017), buscam alcançar, ao final da educação básica, entre as diversas habilidades e competências, um nível mínimo de Alfabetização Científica, mesmo que tais finalidades não sejam explicitamente referenciadas em nenhum destes documentos.

Tendo como base o objetivo escolar de formar um cidadão crítico, questiona-se o quanto os conhecimentos escolares conseguem efetivamente ser utilizados para realizar uma leitura crítica de mundo e por consequência, aumentar a chance de que decisões de maior responsabilidade e criticidade sejam tomadas pela população. Quanto dos conteúdos ensinados na escola são retidos na estrutura cognitiva dos alunos, por quanto tempo e qual o grau de retenção do conhecimento escolar os egressos apresentam?

Tais questionamentos já foram objeto de estudo de autores como Thorndyke (1977); Tulving (1983); Pinto (198919912001); e Ebbinghaus (2013), em que tais trabalhos se centravam na observação da quantidade de informações memorizadas em função do tempo. O presente trabalho visa contribuir na mensuração do nível de Alfabetização Científica sob uma perspectiva diferente do que a literatura da área até então produziu: a possibilidade de o entrevistado utilizar o seu conhecimento para analisar se situações cotidianas são corretas ou incorretas do ponto de vista da Física.

Acredita-se que há possibilidade de que esses conhecimentos sejam utilizados em situações reais da vida, nas quais sejam exigidas tomadas de decisão, motivo pelo qual se justifica a necessidade de avaliar egressos, a fim de conduzir pesquisas que busquem perceber o quanto o conhecimento escolar é retido e consegue ser utilizado em análises cotidianas.

Considerando as subdivisões propostas por Miller (1983) para explicar o fenômeno da Alfabetização Científica, salienta-se que este trabalho tem como foco propor um teste que mensure a proficiência em Física de modo específico a um dos pilares supracitados, o “Conhecimento do conteúdo da Ciência”. Entendemos que os demais eixos propostos por Miller (1983), além de serem interdisciplinares, são contemplados de forma satisfatória no TBSL.

É importante, ainda, elucidar o porquê de se ter escolhido a temática “trânsito” como situação cotidiana do questionário. Segundo Ambev (2017), no ano de 2017 houve 39.333 óbitos em acidentes de trânsito em todo o Brasil. Isso equivale a uma queda hipotética de avião por dia, matando 107 pessoas em cada evento, apenas no país, durante um ano. O que seria considerada uma inquestionável tragédia na aviação, pode passar despercebido ou então é naturalizado dentro do trânsito, pois neste caso os óbitos acontecem de forma não concentrada.

Com base nisso, e sabendo que a maioria dos acidentes de trânsito acontece por falhas humanas, decorrentes na maioria das vezes, segundo Negrini-Neto e Kleinubing (2012), da falta de educação para o trânsito, é evidente a relevância da escola no desenvolvimento de um nível de criticidade do indivíduo, que possa resultar em atitudes conscientes das relações de causa e efeito que toda ação pode desencadear

Dentro do ensino de Física é notável as diversas situações em que conceitos científicos podem ser relacionados com o trânsito (CHAGAS, 2014URRUTH; STEFFANI; SILVEIRA, 2015VIZZOTTO; MACKEDANZ, 2017), motivo pelo qual acredita-se que este recorte de temática seja relevante para atestar os níveis de compreensão e análise dos egressos dentro da área da Física. Sobretudo, defende-se que o ensino de Física pode colaborar para a formação de um futuro motorista e pedestre consciente.

ELABORAÇÃO E MÉTODOS DE VALIDAÇÃO DO QUESTIONÁRIO

Nesta seção, apresentamos e discutimos nosso procedimento de construção do instrumento de pesquisa, buscando atender os aspectos discutidos na seção anterior do texto. Para tal, apresentaremos em forma de itens sequenciais, obedecendo a uma organização temporal do processo.

CONSTRUÇÃO DO QUESTIONÁRIO

O instrumento criado possui duas partes, cada uma com um objetivo específico: na primeira, é apresentar itens com situações de Física aplicada ao trânsito, os quais podem estar corretos ou incorretos do ponto de vista da Física, oportunizando com que o entrevistado possa concordar ou discordar da afirmação contida em cada questão. Na segunda, é coletar informações sobre características do ensino da Física durante o Ensino Médio.

Para suprir esta segunda meta, adotou-se como base a Teoria da Aprendizagem Significativa (AUSUBEL, 2003), ao elaborar uma escala com capacidade de diferenciar, com base na percepção do entrevistado, características de aulas que pudessem potencializar ou desfavorecer tal aquisição de conhecimentos.

A escolha desta teoria está embasada no entendimento de que uma aprendizagem significativa dos conteúdos de Física (e de todas as áreas) pode colaborar para a Alfabetização Científica do indivíduo, sendo então importante observar se a realidade escolar dos egressos possuía características mínimas para que tal processo acontecesse.

Os itens de Física aplicada ao trânsito foram elaborados com base nos fenômenos discutidos na apostila utilizada pelos centros de formação de condutores do estado do Rio Grande do Sul (OLMA, 2016), assim como nos conceitos físicos comumente abordados nas subáreas da Física escolar.

Tais itens possuem o formato dicotômico (verdadeiro ou falso) como opção de resposta, sendo possível o entrevistado marcar um ponto de interrogação se este não souber o que responder, a fim de que esta estratégia possa inibir a escolha aleatória de alguma das duas alternativas. Itens respondidos com o ponto de interrogação são considerados como errados. Tal estratégia também foi aplicada por Laugksch e Spargo (1996) aos respondentes do TBSL, sendo repetida aqui por considerarmos uma tática que pode ser efetiva na redução do número de “chutes”.

Por sua vez, os itens sobre o perfil do ensino de Física tiveram como base a literatura da área (AUSUBEL, 2003TAVARES, 2004MOREIRA, 2006DARROZ et. al., 2015), estando dispostos em uma escala Likert com cinco alternativas de resposta: concordo plenamente; concordo; nem concordo nem discordo; discordo; discordo totalmente.

A criação dos itens do instrumento obedeceu aos critérios definidos por Pasquali (1998). Cada uma das subdivisões do instrumento gera um escore para cada entrevistado., representando um valor dentro de uma escala que represente o perfil do seu Ensino de Física.

Em princípio foram criados 62 itens de Física aplicada ao trânsito e 40 itens sobre perfil de ensino de Física. Dos itens de Física no trânsito, 32 são corretos e 30 incorretos. Dos itens sobre perfil de ensino de Física, 20 descrevem características de aulas que podem gerar uma aprendizagem significativa e outros 20 com características de aulas que podem inibir tal aprendizado.

VALIDADE DE CONTEÚDO

Antes da aplicação do teste piloto, buscou-se verificar a validade de conteúdo dos itens. Para este particular, eles foram enviados para 18 professores doutores da área de ensino de Física, que trataremos aqui como pareceristas, os quais puderam analisar a clareza, linguagem, relevância, adequação semântica e a coerência das questões. Tal avaliação obteve retorno de 10 docentes, número que tanto para Alexandre e Coluci (2011) quanto para Pasquali (2017) é perfeitamente aceitável para este procedimento de avaliação inicial.

Esta avaliação aconteceu por meio de uma planilha eletrônica, em que o item poderia ser considerado como: Não relevante ou não representativo; Item necessita de grande revisão para ser representativo; Item necessita de pequena revisão para ser representativo; e Item relevante ou representativo. Esta classificação teve como objetivo calcular o Índice de Validade de Conteúdo – IVC, proposto por Alexandre e Coluci (2011). Para as autoras, o IVC:

Mede a proporção ou porcentagem de juízes que estão em concordância sobre determinados aspectos do instrumento e de seus itens. Permite inicialmente analisar cada item individualmente e depois o instrumento como um todo. Este método emprega uma escala tipo Likert com pontuação de um a quatro, a fim de avaliar a relevância/representatividade de cada item. (ALEXANDRE; COLUCI, 2011, p. 3065).

Para cada alternativa supracitada, atribuiu-se uma nota de 1 a 4, respectivamente. Após o retorno dos pareceristas, realizou-se a contagem de quantos avaliadores consideraram com a nota 4 (Item relevante ou representativo) cada um dos itens. Esta soma foi então dividida pelo número de avaliadores e assim chegou-se ao referido índice.

Portanto, a fórmula para avaliá-los individualmente consistiu em:

IVC=NrNtIVC=NrNt

onde “Nr” e “Nt” significam o número de respostas “notas 4” e o número total de avaliadores, respectivamente. Este índice gerou um número de 0 a 1 para cada item. Fizeram parte do teste piloto apenas os que geraram um valor igual ou superior a 0,9.

Após a seleção dos itens considerados representativos, realizou-se correções sugeridas pelos avaliadores, a fim de ajustar aspectos de escrita em itens os quais havia tal necessidade.

Do total de 62 itens de Física aplicada ao trânsito, fez parte do teste piloto 38, sendo 20 itens com situações corretas e 18 incorretas. Dos 40 itens referentes ao perfil de ensino de Física, por sua vez, 26 fizeram parte do teste piloto, sendo 14 itens de características que favorecem a aprendizagem significativa e 12 com características que podem inibir tal aprendizado.

VALIDADE E CONFIABILIDADE DOS ITENS

Como o formato de resposta dos itens de Física no trânsito é diferente dos itens que descrevem o perfil de ensino de Física, os procedimentos de aferição da validade e confiabilidade foram realizados de forma separada. Após a aplicação do teste piloto, os questionários foram tabelados em uma planilha eletrônica e posteriormente testados no software estatístico Statistical Package for the Social Sciences – SPSS, versão 23 para Windows.

Entende-se que “um instrumento é válido na extensão em que mede aquilo que se propõe medir. Por exemplo, um instrumento válido para medir a capacidade de leitura deve medir realmente esta característica e não outras, como por exemplo, conhecimento prévio” (MARTINS, 2006, p. 5). Já a confiabilidade é atestada se as medidas são semelhantes quando aplicadas para um mesmo indivíduo em tempos diferentes. Segundo Moreira e Rosa (2007) uma medida confiável produzirá resultados iguais em sucessivas aplicações para um mesmo sujeito.

Segundo Figueiredo et. al. (2008), existem diversas maneiras de se mensurar a confiabilidade (também chamada de fidedignidade), porém se reconhece a dificuldade de reproduzir as mesmas condições de aplicação para dois momentos distintos em testes educacionais. Sendo assim, para Moreira e Rosa (2007), uma das maneiras de calcular o quanto um instrumento é confiável é determinar sua consistência interna. Esta indica se todas as subpartes dele medem a mesma característica. Segundo Souza et. al. (2017) a maioria dos pesquisadores afere a consistência interna de um questionário por meio do coeficiente Alfa de Cronbach. Este índice demonstra o grau de variância entre os itens de uma escala. Dessa forma, “quanto menor a soma da variância dos itens, mais consistente é considerado o instrumento” (p. 651). Este cálculo gera um coeficiente entre 0 e 1, sendo que valores próximos de 1 significam maior consistência interna.

Porém, para instrumentos com respostas dicotômicas (certo e errado, sim ou não, etc.), como no caso dos itens de Física no trânsito, é indicado utilizar o teste de Kuder-Richardson (PASQUALI, 2017). Este teste tem a mesma função que o teste de Cronbach,2 porém é específico para analisar a consistência interna deste tipo de instrumento.

ÍNDICES DE DIFICULDADE E DISCRIMINAÇÃO

Ainda para as questões de Física no trânsito, serão analisados os índices de dificuldade e discriminação dos itens. O índice de dificuldade calcula a proporção de acertos, ou seja, a razão entre a quantidade de entrevistados que responderam corretamente o item e a quantidade total de respondentes. Tal coeficiente possui valor entre 0 e 1, em que 0 significaria que ninguém acertou o item e 1, que todos acertaram o mesmo. Espera-se que a maioria dos itens sejam de nível mediano, o que segundo Vilarinho (2015) seriam caracterizados por índices de dificuldade entre 0,3 e 0,7.

O índice de discriminação tem por objetivo medir a capacidade de o item diferenciar os respondentes com maior habilidade daqueles de menor habilidade. Segundo Vilarinho (2015), este cálculo considera a quantidade de acertos de 27% dos participantes com melhor desempenho individual e compara com o escore dos 27% que obtiveram as menores pontuações de acerto individual. Esta medida, segundo Vilarinho (2015), “corresponde à diferença entre o percentual de acerto do primeiro grupo e do segundo grupo. Quanto maior foi essa diferença, maior será a discriminação do item. Espera-se que em uma avaliação educacional, que o poder de discriminação do item seja superior a 0,40” (p. 27).

fórmula para o cálculo deste índice consiste em:

Dc=(NsNiN)Dc=Ns-NiN

onde “N” é a quantidade correspondente aos 27% da amostra; “Ns” corresponde ao número de acertos do grupo superior; e “Ni” o número de acertos do grupo inferior.

Se os dois grupos apresentarem o mesmo número de acertos para um determinado item, o índice será nulo, não discriminando os dois grupos. O contrário ocorre se o índice for 1, significando que o grupo de entrevistados com melhor desempenho acertou as questões que o grupo de menor desempenho errou. Por outro lado, valores negativos significam que o grupo com menor desempenho acertou mais tal item do que o grupo oposto (MOREIRA; ROSA, 2007).

Rabelo (2013) considera que um coeficiente de discriminação menor do que 0,20 avalia o item como deficiente, que deve ser rejeitado; entre 0,20 e 0,30, considera um item marginal, sujeito a reelaboração; entre 0,30 e ,040, item bom, mas sujeito a aprimoramento; e para valores maiores que 0,40, avalia o item como bom. Estas medidas auxiliarão na análise de quais itens de Física no trânsito devem ser retirados ou reformulados para compor o questionário final, antes do cálculo da sua consistência interna.

ANÁLISE FATORIAL EXPLORATÓRIA

Em questionários respondidos dentro de escalas Likert, usa-se a análise fatorial exploratória a fim de observar com maiores detalhes os fatores latentes que possam englobar as variáveis mensuradas no teste.

Para Scoares et. al. (2009), o objetivo deste tipo de análise é descrever um número de variáveis iniciais a partir de um número menor de variáveis hipotéticas. Ou seja, consiste em uma análise multivariada na qual se utiliza ao mesmo tempo, todas as variáveis para a interpretação teórica do conjunto de dados. Isto permite verificar quantos fatores do objeto o instrumento mede realmente. Para os autores: “utilizar a análise fatorial permite também com que se saiba o grau de associação entre cada fator a cada variável, assim como o quanto o conjunto de fatores explica a variabilidade geral dos dados originais” (p. 911).

De acordo com Pasquali (2017) a análise fatorial determina, para cada questão, uma carga fatorial na qual indica a covariância entre esta e o fator, sendo que quanto mais próximo de 100% for a covariância, de maior validade poderá ser considerada a questão. Ainda de acordo com o autor, a análise fatorial:

Consiste em verificar se uma série de itens pode ser reduzida idealmente a uma única dimensão ou variável, que ela chama de fator, com o qual todas as variáveis da série estão relacionadas. Sendo este o caso então se conclui que os itens são unidimensionais, isto é, estão medindo a mesma coisa, que é o que o princípio da unidimensionalidade procura. A relação que cada item tem com o fator é expressa através da covariância ou da correlação; esta relação se chama de carga fatorial. Itens da série que têm alta carga no fator são itens unidimensionais, pois medem o mesmo fator, enquanto itens com carga perto de 0 são itens estranhos e, por isso devem ser descartados, porque não estão medindo a mesma coisa que os demais; estes itens pecam contra a unidimensionalidade e, portanto, não podem ser analisados juntamente com os outros (PASQUALI, 2017, p.116).

Antes de realizar o procedimento da análise fatorial é necessário verificar se os dados coletados são adequados para serem analisados através deste método. Para isso, efetua-se a medida de outros dois coeficientes: o Kaiser-Meyer-Olkin – KMO e o teste de esfericidade de Bartlett.

Segundo Scoares et al. (2009), o coeficiente KMO atesta a adequação da amostra para se realizar uma análise fatorial. O teste indica a proporção de variância que há em comum nas questões analisadas. Este coeficiente também apresenta valor entre 0 e 1, e quando próximos de 1 indicam uma adequação satisfatória ao modelo de análise fatorial. No entanto, se o coeficiente apresentar valores menores de 0,6 não se indica a aplicação deste método para o conjunto de dados apresentados.

Por fim, o segundo teste de adequação dos dados é o de esfericidade de Bartlett. Este mede o nível de significação da análise, ou seja, verifica se todas as correlações dentro da matriz de correlações são significativas. Sua medida de significância deve estar abaixo de 0,05.

RESULTADOS DO TESTE PILOTO

O teste piloto foi aplicado para 214 egressos do Ensino Médio durante o primeiro semestre de 2018. Os espaços nos quais serviram de captação deste público foram: um Centro de Formação de Condutores, uma Universidade Federal e um Instituto Federal, ambos localizados em cidades do interior do Rio Grande do Sul. É importante salientar que os alunos das instituições regulares de ensino ainda não haviam recebido instruções formais dentro das mesmas, pois a coleta de dados foi realizada logo no começo do semestre, como atividade inicial das disciplinas. Logo, acredita-se que os conhecimentos utilizados para responder as questões, foram adquiridos na Educação Básica ou em outros espaços, sejam formais ou não-formais.

A aplicação consistiu em explicar os objetivos da investigação, inclusive a não obrigatoriedade de participação, ou seja, em todo o momento do teste, eles poderiam desistir ou solicitar que seus dados não fossem utilizados. O teste, que era anônimo, coletou algumas informações a fim de produzir uma descrição dos indivíduos que estavam o respondendo. Não foi estipulado um tempo máximo para a conclusão do teste, porém observou-se que o tempo médio para o seu preenchimento foi de 15 minutos.

Dos 214 entrevistados, 104 eram do sexo feminino (48,6%) e 110 do sexo masculino (51,4%). Deste total, 134 deles (62,6%) não possuíam a Carteira Nacional de Habilitação – CNH. Quase metade (43,4%) apresentaram idades entre 18 e 20 anos, fato totalmente compreensível devido aos ambientes nos quais as entrevistas foram aplicadas, pois nesta idade, geralmente, coincide o ingresso ao Ensino Superior ou Técnico e a busca pela primeira habilitação.

Notou-se que embora a maioria da amostra seja de jovens, houve também uma quantidade atípica de entrevistados com mais de 40 anos. Acredita-se que este fato pode auxiliar na heterogeneidade de respostas do questionário, contribuindo para a sua confiabilidade.

Quanto ao tipo de escola em que os egressos concluíram o Ensino Médio, temos 162 (75,7%) advindos de escola pública estadual, 27 (12,6%), de escola pública federal, 21 (9,8%) de escolas particulares. Os 4 respondentes restantes (1,9%) concluíram o Ensino Médio através da prova do ENEM.

Conforme as informações sobre suas idades poderiam sugerir, a maioria dos participantes concluiu o Ensino Médio nos últimos 4 anos anteriores à aplicação do instrumento. Ainda assim, se observou um total de 7 participantes, os quais, haviam completado os estudos antes mesmo da publicação da Lei de Diretrizes e Bases da Educação – LDB (BRASIL, 1996). Do total de entrevistados, apenas 32 deles (15%) possuíam graduação completa, sendo então, o restante do grupo, 182 (85%), indivíduos apenas com o Ensino Médio.

De forma geral, tais dados foram úteis para produzir uma breve caracterização dos participantes da validação, e mostraram um grupo heterogêneo, porém jovem e que majoritariamente concluiu seus estudos básicos recentemente. Isso nos permite inferir que os conteúdos escolares ainda são recentes em suas estruturas cognitivas, e as respostas aos questionários nos permite verificar o quanto estes são retidos por eles.

ANÁLISES DOS ITENS DE FÍSICA APLICADA AO TRÂNSITO

Na sequência, apresentamos os resultados derivados das análises de validação do questionário de Física aplicada ao trânsito. Primeiramente, serão expostos dados descritivos, como a frequência de acertos por questão e também por número de acertos. Em seguida, conforme referido anteriormente, apresentamos o Índice de Dificuldade para cada item, sendo seguido do Índice de Discriminação dos mesmos, e por fim os resultados do teste de Kuder-Richardson, que calcula a consistência interna do questionário.

O questionário sobre Física aplicada ao trânsito consiste de 38 itens, com respostas em formato dicotômico, em que os respondentes analisaram as sentenças e as julgaram, concordando ou discordando das mesmas. A seguir, o quadro 1 apresenta, para todas as questões, a quantidade de acertos que cada uma recebeu.

Fonte: autoria própria.

QUADRO 1 Quantidade de acertos por questão 

Este somatório serviu de base para se calcular o índice de dificuldade que cada item adquiriu. Itens em que grande parte dos participantes acertaram, são considerados como mais fáceis, ao contrário dos que a maioria errou. De modo a complementar a apresentação dos dados, o gráfico abaixo apresenta a frequência de acertos por respondente.

Fonte: autoria própria.

GRÁFICO 1 Frequência de acertos individual 

Neste gráfico, nota-se que a quantidade de acertos mais comum foi a de 22, na qual 23 pessoas (10,7%) obtiveram esta quantidade, sendo seguida por 23 e 20, cada uma obtida por uma parcela de 22 pessoas (10,3% do grupo total). Nenhum dos 214 participantes errou todas as questões, pois a quantidade mínima de acertos foi de 9 itens, escore adquirido por apenas 5 entrevistados, compondo 2,3% do total. Por sua vez, apenas uma pessoa acertou 37 das 38 questões.

ÍNDICE DE DIFICULDADE DO ITEM

A validação estatística iniciou mensurando o grau de dificuldade dos itens. Subdivididos em fáceis, médios e difíceis, espera-se que a maioria possua um índice médio de dificuldade, pois um questionário majoritariamente fácil ou difícil não auxilia nos propósitos do teste. O quadro a seguir apresenta quantitativos desta medida.

Fonte: autoria própria.

QUADRO 2 Índice de dificuldade do item 

Os itens são considerados de dificuldade média quando o índice possui valores de 0,3 até 0,7, sendo que os menores de 0,3 são considerados como difíceis e os maiores de 0,7, considerados como fáceis. Conforme apresenta a tabela, 10 itens foram considerados fáceis; 2 difíceis; e 26 de dificuldade mediana. Segundo Pasquali (2017), o fato de o questionário possuir também itens fáceis ou difíceis não significa que isto seja critério de exclusão dos mesmos, desde que a maioria sejam itens de dificuldade média. Desta forma, considerando apenas este critério, nenhum dos itens foi considerado impróprio para a validação do instrumento.

ÍNDICE DE DISCRIMINAÇÃO DO ITEM

Este índice é fundamental para atestar se o item diferencia os indivíduos que acertaram mais daqueles que acertaram menos. Para tal, foi observado os 58 indivíduos (27%) que obtiveram melhor desempenho no teste, versus os outros 58 (27%) que, por sua vez, tiveram o menor desempenho entre todos. Retomando, se o índice apresenta um valor próximo de 0, significa que os dois grupos acertaram o item igualmente. Ao contrário, se o índice for próximo de 1, entende-se que os indivíduos de melhor desempenho acertaram as questões que o grupo de menor desempenho não obteve sucesso. Itens que apresentarem valores negativos devem ser excluídos, pois significa que o grupo de menor desempenho acertou mais do que o grupo oposto.

Fonte: autoria própria.

QUADRO 3 Índice de discriminação dos itens 

Conforme observado no quadro, 10 dos 38 itens foram considerados não discriminatórios, pois o valor do índice foi menor do que 0,2, sendo então, sugerida a remoção dos mesmos. Assim, destacamos a importância de se utilizar mais de um índice de aferição na análise de qualidade de um instrumento de pesquisas quantitativas no ensino, pois de modo complementar, o que um índice pode não indicar, conforme observado na seção anterior, outra mensuração, por sua vez, pode apontar itens impróprios. Sendo assim, os itens 3, 12, 14, 18, 20, 23, 25, 27, 31 e 33 serão removidos do instrumento que irá compor o questionário final.

TESTE DE KUDER-RICHARDSON PARA CONSISTÊNCIA INTERNA

A fim de concluir os testes de validação do questionário de Física aplicada ao trânsito, é fundamental mensurar a sua consistência interna. Este procedimento foi realizado por meio do software estatístico Statistical Package for the Social Sciences – SPSS, versão 23 para Windows. O teste de Kuder-Richadson tem o mesmo procedimento metodológico que o coeficiente Alfa de Cronbach, porém este último não é recomendado para quando as respostas são de natureza dicotômica. Como neste questionário as respostas foram tabeladas como certas ou erradas, justifica-se o fato da escolha de um teste em detrimento do outro.

Primeiramente, é importante salientar que para assegurar a veracidade dos dados calculados, apresentaremos os quadros gerados pelo próprio software, o que justifica ocasionalmente a sua formatação própria e a linguagem dos mesmos em inglês.

Em um primeiro momento, o teste foi realizado com os 38 itens, obtendo um valor de coeficiente de 0,701. A maior consistência interna está associada ao índice próximo de 1, e espera-se obter valores além do mínimo recomendado. O limite para este valor mínimo difere de autor para autor, mas há consenso de que valores menores que 0,6 ou 0,7 não são satisfatórios, sendo nesse caso, necessário analisar quais itens poderiam ser removidos, a fim de buscar o aumento no seu valor. O valor de 0,701 já é um coeficiente satisfatório, porém, na seção anterior, observou-se que 10 itens estavam colaborando para a não discriminação do teste como um todo. Sendo assim, através da análise da correlação entre os itens e o teste como um todo, buscamos observar se por meio desta metodologia, aqueles itens, anteriormente sugeridos como impróprios, também aqui receberiam a recomendação de remoção.

Para isso, analisou-se a “correlação de item total”, índice gerado pelo software ao executar o teste de Kuder Richardson, conforme pode ser analisado pelo quadro a seguir;

Fonte: autoria própria.

QUADRO 4 Correlação de item total para os 38 itens. 

É interessante ressaltar que este teste também destacou os mesmos 10 itens como de baixa correlação para o questionário como um todo (valores menores do que 0,1). Ou seja, eles não se relacionam de forma significativa com o instrumento de medida, alguns até mesmo se relacionam de modo negativo. Estes fatores corroboram para a remoção destes 10 itens. Ainda de forma qualitativa, a fim de reduzir o questionário final para 25 itens, optou-se por remover outros 3 (itens 9, 21 e 28) que também apresentaram uma correlação não satisfatória para o instrumento (correlações menores que 0,13).

Ao final deste procedimento de remoção, realizou-se novamente o cálculo do coeficiente de consistência interna, no qual observa-se que de 0,701, seu valor aumentou para 0,803, demonstrando que a decisão por remover tais itens foi acertada, pois elevou o índice, classificado como aceitável, para muito bom, segundo Hair et al. (2006). O quadro a seguir apresenta uma comparação dos resultados anterior e posterior ao tratamento de redução realizado:

Fonte: autoria própria.

QUADRO 5 Estatísticas de confiabilidade 

Sendo assim, o procedimento de análise atesta que os 25 itens de Física aplicada ao trânsito constituem-se em um instrumento estatisticamente consistente, em que seus componentes possuem poder de discriminação entre os respondentes de maior e menor desempenho, sendo apropriado para utilizar em uma coleta de dados que tenha por objetivo diferenciar grupos opostos de desempenho.

ANALISES DAS QUESTÕES SOBRE O PERFIL DO ENSINO DE FÍSICA

As questões que tinham por objetivo caracterizar o perfil do Ensino de Física no qual os egressos estudaram, foram analisadas por meio de uma análise fatorial exploratória. Este tipo de análise tem por objetivo validar o construto como um todo, além de buscar reduzir todas as variáveis do instrumento a fatores que as agrupem em um conjunto de correlações em comum.

Para obter êxito nas análises por meio desta metodologia, é necessário que os dados obedeçam a alguns requisitos. O primeiro deles é que a quantidade de amostras seja maior do que 50 (HAIR et al., 2006), sendo ideal que este número extrapole 100 casos para assegurar a significância dos resultados. Para esta análise, o número superou o mínimo orientado, apresentando 214 amostras. Outro fator importante para determinar o número mínimo necessário de respondentes é a relação com o número de questões do instrumento. Recomenda-se 5 respondentes para cada questão do instrumento. Sendo assim, como o questionário de Física no trânsito possuiu 38 questões, necessitaria de um número mínimo de 190 pessoas para analisá-lo. Portando, para o questionário de perfil escolar, com 26 questões, o número de 214 respondentes supera os valores mínimos necessários.

Inicialmente foi calculado o Alfa de Cronbach para verificar a consistência interna inicial. O valor obtido para o instrumento com as 26 questões foi de 0,770, demonstrando um valor aceitável, porém com possibilidade de melhorar. Para isto, foi analisado a correlação dos itens com o questionário como um todo, a fim de verificar quais questões estavam mais correlacionadas com as outras e quais não estavam colaborando para a confiabilidade do instrumento. No quadro a seguir, nota-se que 6 itens estavam com um valor de correlação pequeno (<0,10), uma vez que eles poderiam atrapalhar a análise fatorial, é recomendada a remoção dos mesmos.

Fonte: autoria própria.

QUADRO 7 Correlação de item total 

Após a remoção destes itens, procedeu-se com a análise fatorial, analisando primeiramente as correlações entre todos os itens. A maior parte delas superou o valor de 0,30, escore mínimo esperado para o software estimar fatores que relacionem as variáveis do instrumento.

O passo seguinte, foi realizar os testes de adequação da amostra à análise fatorial. Para isto, realizou-se os testes Kaiser-Meyer-Olkin – KMO e o Teste de esfericidade de Bartlett – BTS. O valor do KMO da amostra foi de 0,854, sendo este valor superior ao mínimo esperado de 0,60 para considerar a amostra adequada para esta metodologia (HAIR et al., 2006). Da mesma maneira, o teste BTS foi estatisticamente significante, pois seu p-valor foi <0,0000. Considerando a adequação, seguiu-se com a análise, a fim de decidir o número de fatores que seriam extraídos.

O método utilizado para a extração dos componentes foi a Análise de Componentes Principais, na qual gerou 6 fatores que juntos explicam 62% da variância total do instrumento. Segundo o critério de Kaiser, é sugerido considerar os componentes que apresentem autovalores maiores do que 1, porém, uma segunda análise pode ser realizada, através do Gráfico de Escarpa, também conhecido como Gráfico “Scree Plot”, a fim de confirmar a escolha. Este gráfico é um diagrama que apresenta os autovalores e os número de fatores por ordem de extração. Segundo Hair et al. (2006) o critério de análise deste gráfico deve considerar reter as componentes que estão acima do ponto de inflexão.

Fonte: autoria própria.

GRÁFICO 2 Gráfico de Escarpa para os autovalores das componentes 

Com base na observação deste gráfico, pode-se notar que após a segunda componente, as demais apresentam inclinações semelhantes, sendo possível interpretar, que as duas primeiras poderiam abranger o agrupamento de todos os itens do questionário (FIGUEIREDO FILHO; SILVA JUNIOR, 2010).

A seguir, apresenta-se a análise das comunalidades, que demonstra a proporção da variância que é explicada para cada item, a partir dos componentes extraídos. Comumente, aceita-se para cada item, comunalidades iguais ou de valor superior a 0,5. Para exemplificar a relevância das comunalidades, ao observar a questão 1, observa-se que ela possui um valor de 0,666, isto significa que as componentes extraídas explicam 66,66% da sua variância. Diante desta análise, notou-se que nenhuma variável necessita ser removida, pois nenhuma delas apresenta valor abaixo de 0,50, conforme se pode observar no quadro a seguir:

Fonte: autoria própria.

QUADRO 8 Comunalidades 

Após este procedimento, analisou-se as cargas fatoriais de cada variável em relação aos componentes extraídos. Esta análise demonstrou que as componentes 1 e 2, abarcavam a maioria dos itens do instrumento, fazendo com que os outros 4 componentes permanecessem agrupando poucas questões. Sendo assim, realizou-se uma análise qualitativa dos mesmos, a fim de realocá-los nas duas primeiras componentes. Esta decisão, juntamente com a exclusão dos 6 itens, foi certeira, pois a consistência interna que inicialmente era de 0,770, aumentou para 0,864, compondo um instrumento reduzido para 20 itens no total. Finalizada esta etapa, a seguinte, consistiu em uma análise substancial das componentes e seus itens, com o objetivo de definir aspectos semelhantes entre eles.

A primeira componente foi denominada de “Características que podem favorecer a Aprendizagem Significativa nas aulas de Física”. Nela, encontram-se os itens que salientam ações didáticas, metodológicas e avaliativas que, na perspectiva de Ausubel (2003), poderiam auxiliar no processo de aprendizagem. Esta componente agrupou um total de 14 itens.

A segunda componente abarcou os itens que enunciavam características que poderiam desfavorecer a aprendizagem significativa nas aulas de Física. Por sua vez, aspectos metodológicos, avaliativos e também de relacionamento com os professores, compuseram este grupo. A maioria dos itens eliminados pelo processo de análise fatorial eram deste agrupamento, motivo pelo qual essa componente foi finalizada com apenas 6 itens no total. Não obstante, o valor de consistência interna da mesma foi considerado satisfatório, conforme apresentado na sequência. Para analisar os itens do quadro a seguir, o questionário está disponível em anexo no final do manuscrito.

Fonte: autoria própria.

QUADRO 9 Itens das componentes e consistência interna para cada agrupamento. 

Dessa forma, através da análise fatorial, pode-se finalizar o instrumento sobre o perfil do Ensino de Física com 20 itens, com confiabilidade para diferenciar características opostas agrupadas em ambos os grupos. A consistência interna do instrumento final atesta um nível dentro do esperado para considerá-lo válido e fidedigno.

DISCUSSÕES DOS RESULTADOS

Para o questionário de Física aplicada ao trânsito, a quantidade mínima de acertos que um entrevistado deveria apresentar para se considerar um bom desempenho é de 60%. Este valor mínimo advém do critério adotado por Laugksch e Spargo (1996), que também consideraram esta porcentagem no TBSL. Ou seja, para o questionário de Física aplicada ao trânsito, que possuía 38 questões, o valor mínimo de acertos deveria ser de pelo menos 23 questões.

Conforme discutido na seção de análise dos itens deste questionário, nenhum dos entrevistados errou todas as questões, pois o valor mínimo computado foi de 9 acertos. Por outro lado, apenas 47,2% do total acertou quantidades acima do valor mínimo estipulado.

Embora esta quantidade represente quase metade dos 214 entrevistados, não pode ser considerada satisfatória, pois a outra metade não teve condições de obter o mínimo de acertos esperado. Uma vez que todos eram egressos do Ensino Médio, se esperaria maiores níveis de desempenho. Estes resultados vão ao encontro dos testes até então já realizados para medir Alfabetização Científica na literatura internacional e nacional (LAUGKSCH; SPARGO, 1996NASCIMENTO-SCHULZE, 2006VIDOR et al., 2009CAMARGO et al., 2011; e RIVAS, 2015).

Sobre as questões que foram excluídas do instrumento, as mesmas apresentaram frequências de acertos que as caracterizaram como não discriminatórias, ou seja, ambos os grupos, de maior e menor desempenho no teste, acertaram-nas de forma praticamente semelhante. Das 13 questões sobre física no trânsito que foram removidas, 11 foram consideradas de dificuldade média e apenas duas (questões 14 e 23) consideradas como difíceis. Sendo assim, a remoção destes itens auxiliará na capacidade de o questionário diferenciar quem apresenta um desempenho satisfatório ou não.

A recomendação de que em caso de dúvida em alguma questão, ao invés de escolher uma alternativa aleatória, fosse escrito um ponto de interrogação na mesma, pareceu adequada, pois não raras vezes alguma alternativa era localizada com este caractere assinalado. Isto pode significar que este método pode colaborar para que não aumente a variância não explicada pela consistência interna do questionário.

Para as respostas referentes à Componente 1, foi atribuída uma pontuação de 5 para quem respondeu “concordo plenamente” decrescendo até a pontuação de 1 para que assinalou “discordo plenamente”. Para a Componente 2, o procedimento se deu ao contrário, uma vez que suas alternativas apresentavam aspectos opostos às do grupo anterior. Por sua vez, foi atribuído um valor de 5 para quem assinalou “discordo totalmente”, diminuindo até 1 para quem respondeu “concordo totalmente”.

Sendo assim, após somar as pontuações atribuídas a cada item, participantes que obtiveram maior escore, representam aqueles que assistiram, segundo a sua percepção, aulas de Física com características de aulas que poderiam favorecer uma Aprendizagem Significativa. Por outro lado, indivíduos com escores baixos, representam alunos que frequentaram aulas de cunho tradicional, mantendo-se passivos e que atualmente não conseguem notar a relação da Física com seus cotidianos.

Considerando os 26 itens e que o máximo de pontos por item poderia ser 5, o escore máximo que um participante poderia apresentar é de 130 pontos e o mínimo, 26. Ográficoa seguir, auxilia na visualização deste padrã0.

Fonte: autoria própria.

GRÁFICO 4 Frequência do perfil de Ensino de Física 

A média de pontuação foi de 73 pontos, com desvio padrão de 12. O escore máximo obtido foi de 99, o qual apenas 1 participante o alcançou. A pontuação mínima, por sua vez foi de 43 pontos. Estes quantitativos demonstram que 37,9% dos entrevistados obtiveram um escore de perfil de Ensino de Física maior do que 60% do escore total (78 pontos). Dessa maneira, pode-se caracterizar que a maioria dos entrevistados assistiu a aulas com características que poderiam desfavorecer a aprendizagem significativa. Dos 214 participantes, 23,8% não pontuou sequer a metade do escore máximo possível (130 pontos). Esta realidade corrobora com Darroz et al.(2015), que demonstraram que mesmo que os professores possuam consciência das ações metodológicas que possam vir a promover uma aprendizagem significativa, a prática pedagógica da maioria deles está relacionada a concepções tradicionais de ensino, sendo a consideração dos conhecimentos prévios dos estudantes, assim como o processo avaliativo, barreiras que dificultam trabalhar a partir de outra perspectiva.

Estes dados podem ser considerados como uma demonstração da realidade escolar relatada por egressos do Ensino Médio, e estas conclusões podem estar relacionadas às estatísticas de desempenho discutidas anteriormente. Para verificar tal hipótese com um intervalo maior de confiança, faz-se necessário um maior número de participantes, a fim de aumentar a heterogeneidade da amostra.

Ao observar tais diferenciações de caracterização, juntamente com os resultados estatísticos já apresentados, pode-se afirmar que este instrumento também possuiu desempenho satisfatório na tarefa de investigar o perfil das aulas de Física nas quais os egressos assistiram durante a maioria dos anos do seu Ensino Médio.

CONSIDERAÇÕES

Este manuscrito teve por objetivo apresentar o procedimento de validação de um questionário de Física para egressos do Ensino Médio. Para efeitos de conclusão, considerou-se o instrumento com validade satisfatória, na qual a metodologia sugeriu a remoção de alguns dos itens do instrumento original, compondo ao fim, um questionário de Física no trânsito com 25 questões e um questionário de perfil do Ensino de Física com 20 questões.

Esta proposta de instrumento consiste em uma sugestão de como podem ser criadas formas de questionar os indivíduos condicionando-os a utilizarem não somente seus conhecimentos memorizados para relacionar fenômenos da física com a sua conceituação ou nomenclatura, mas sim, estimulá-los a emitir um julgamento, com base em todo o conhecimento adquirido durante suas vidas, analisando a coerência científica de situações presentes dentro de seus cotidianos.

Acredita-se que essa dinâmica de mensuração do conhecimento deve ser estimulada, não somente em situações do trânsito, mas em outros contextos, desde que sejam significativos dentro da realidade do grupo abordado. Da mesma forma, acredita-se que outras áreas como a Química, Biologia e Matemática também poderiam se beneficiar desta abordagem, pois assim como a Física, tratam de explicar conhecimentos que na maioria das vezes são herméticos para o entendimento do público em geral, e compreendê-los é uma necessidade para o desenvolvimento da criticidade que se espera de um cidadão no uso pleno de suas faculdades.

As limitações observadas neste trabalho de validação são as sugestões para estudos futuros: aumentar a quantidade amostral e a heterogeneidade do grupo, a fim de que possa ser aplicado métodos de estatística para investigar padrões presentes nos dados. Com este trabalho foi possível notar que ainda é desafiador mensurar fatores que não são passiveis de medir diretamente, como Alfabetização Científica, por exemplo, porém, de forma indireta, inferências podem ser realizadas, a fim de que padrões possam ser observados e deduções inferidas.

REFERÊNCIAS

ALEXANDRE, N. M. C.; COLUCI, M. Z. O. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciência & Saúde Coletiva, v. 16, n 7, p. 3061-3068, 2011. [ Links ]

AMBEV. Retrato da Segurança viária. 2017Disponível em: <Disponível em: https://www.ambev.com.br/conteudo/uploads/2017/09/Retrato-da-Seguran%C3%A7a-Vi%C3%A1ria_Ambev_2017pdf >. Acesso em: jun. 2018. [ Links ]

AMERICAN ASSOCIATION FOR THE ADVANCEMENT OF SCIENCE (AAAS): Science for All Americans. Washington: AAAS, 1989. [ Links ]

ANGOTTI, J. A. P.; AUTH, M. A. Ciência e tecnologia: implicações sociais e o papel da educação. Ciência & Educação, v. 7, n. 1, p. 15-27, 2001. [ Links ]

AULER, D.; DELIZOICOV, D. Alfabetização científico-tecnológica para quê?. Ensaio Pesquisa em Educação em Ciências, v. 3, n. 2, p. 122-134, 2001. [ Links ]

AUSUBEL, D. P. Aquisição e retenção de conhecimentos: uma perspectiva cognitiva. Lisboa: Plátano, v. 1, 2003. [ Links ]

BRASIL. Lei de diretrizes e bases da educação nacional. Brasília: MEC, 1996. [ Links ]

BRASIL. PCN do Ensino Médio: Parâmetros Curriculares Nacionais. Ciências da Natureza. Matemática e suas Tecnologias, Ministério da Educação, Secretaria de Educação Básica, 2000. [ Links ]

BRASIL. Base Nacional Comum Curricular – BNCC. 2017. Disponível em: <Disponível em: http://basenacionalcomum.mec.gov.br/images/BNCC_20dez_site.pdf >. Acesso em:jun. 2018. [ Links ]

CAMARGO, A. N. B. de; PILAR, F. D.; RIBEIRO, M. E. M.; FANTINEL, M.; RAMOS, M. G. Alfabetização Científica: A evolução ao Longo da formação de Licenciandos Ingressantes, Concluintes e de Professores de Química. Momento – Diálogos em Educação, v.20, n.2, p. 19-29, 2011. [ Links ]

CHAGAS, C. A Física no ensino médio através do estudo de fenômenos físicos em um automóvel. 2014. Dissertação (Mestrado em Ensino de Ciências e Matemática). Universidade Federal do Ceará, Fortaleza. [ Links ]

CHASSOT, A. Alfabetização Científica – Questões e desafios para a educação. Ijuí, Editora da Unijuí, ed. 1, 2000. [ Links ]

CHASSOT, A. Alfabetização científica: uma possibilidade para a inclusão social. Revista Brasileira de Educação, n. 22, p. 89-100, 2003. [ Links ]

DARROZ, L. M.; ROSA, C. W. da; GHIGGI, C. M. Método tradicional x aprendizagem significativa: investigação na ação dos professores de Física. Aprendizagem Significativa em Revista, v. 5, n. 1, p. 70-85, 2015. [ Links ]

EBBINGHAUS, H. Memory: A contribution to experimental psychology. Annals of neurosciences, v. 20, n. 4, p. 155, 2013. [ Links ]

FIGUEIREDO, Vera L. M. de; MATOS, V. L. D. de; PASQUALI, L.; FREIRE, A. P. Propriedades psicométricas dos itens do teste WISC-III. Psicologia em estudo. v.13, n.3, p. 585-592. 2008. [ Links ]

FIGUEIREDO FILHO, D. B.; SILVA JÚNIOR, J. A. da. Visão além do alcance: uma introdução à análise fatorial. Opinião pública, v. 16, n. 1, p. 160-185, 2010. [ Links ]

FOUREZ, G. Alphabétisation Scientifique et Technique – Essai sur les finalités de l’enseignement des sciences, Bruxelas: DeBoeck – Wesmael, 1994. [ Links ]

FREIRE, P. Educação como prática da liberdade. 24. ed. Rio de Janeiro: Paz e Terra, 2000. [ Links ]

GIL-PÉREZ, D.; VILCHES-PEÑA, A. Una Alfabetización Científica para el siglo XXI: Obstáculos y propuestas de Actuación. Investigación em la Escuela, v. 43, n.1, p. 27-37, 2001. [ Links ]

HAIR JÚNIOR, J.; BLACK, W.; BABIN, B.; ANDERSON, R.; TATHAM, R. Multivariate Data Analysis. 6ª ed.Upper Saddle River, NJ: Pearson Prentice Hall, 2006. [ Links ]

HURD, P. D. Science literacy: Its meaning for American schools. EducationalLeadership, v. 16, p. 13-16, 1958; [ Links ]

HURD, P. D. Scientific Literacy: New Minds for a Changing World, Science Education, v. 82, n. 3, p. 407-416, 1998. [ Links ]

JENKINS, E. Scientific literacy. In: HUSEN, T.; POSTLETHWAITE, T. N. (org.). The international encyclopaedia of education. Oxford: Pergamon Press, 1994, v. 9. p. 5345. [ Links ]

LAUGKSCH, R.; SPARGO, P. Construction of a paper-and-pencil Test of Basic Scientific Literacy based on selected literacy goals recommended by the American Association for the Advancement of Science. Public Understanding of Science, v. 5, n. 1, p. 331-359, 1996. [ Links ]

LAUGKSCH, R. Scientifc Literacy: A Conceptual Overview, Science Education, v. 84, n. 1, p. 71-94, 2000. [ Links ]

LORENZETTI, L. Alfabetização científica no contexto das séries iniciais. 2000. Dissertação de mestrado. Programa de Pós-Graduação em Educação. Universidade Federal de Santa Catarina. [ Links ]

MARTINS, G. de A. Sobre confiabillidade e validade. Revista Brasileira de Gestão de Negócios, v. 8, n. 20, 2006. [ Links ]

MILLER, J. Scientific literacy: a conceptual and empirical review. Daedalus, v. 112, n.2, p. 29-48, 1983. [ Links ]

MOREIRA, M. A. A teoria da aprendizagem significativa e sua implementação em sala de aula. Brasília: Editora Universidade de Brasília, 2006. [ Links ]

MOREIRA, M. A.; ROSA, P. R. da S. Uma introdução à pesquisa quantitativa em Ensino. Porto Alegre: Ed. dos Autores, 2007. [ Links ]

NASCIMENTO-SCHULZE, C. M. Um estudo sobre Alfabetização Científica com jovens catarinenses. Psicologia: teoria e prática, v. 8, n. 1, p. 95-117, 2006. [ Links ]

NEGRINI NETO, O.; KLEINUBING, R. Dinâmica dos acidentes de trânsito: análises, reconstrução e prevenção. Campinas: Editora Millennium, 2012. [ Links ]

OLMA, M. Consciência sobre rodas: Habilitação do condutor. 20ª ed. Porto Alegre – RS: Águia, 2016. [ Links ]

PINTO, A. Princípios de elaboração de escalas psicológicas. Revista Psiquiátrica Clínica, v. 5, n. 25, p. 206-213, 1998. [ Links ]

PINTO, A. Psicometria: teoria dos testes na psicologia e na educação. Petrópolis: Editora Vozes, 2017. [ Links ]

PINTO, A. A retenção à longo prazo do conhecimento escolar. Revista Portuguesa de Pedagogia. XXIII, 283-295, 1989. [ Links ]

PINTO, A.; OLIVEIRA, T. O que é que os alunos recordam das aulas que leccionámos? Revista Portuguesa de Pedagogia, XXV, 87-102, 1991. [ Links ]

PINTO, A. da C. Memória, cognição e educação: Implicações mútuas. Educação, cognição e desenvolvimento: Textos de psicologia educacional para a formação de professores, 2001. [ Links ]

RABELO, M. L. Avaliação Educacional: Fundamentos, Metodologia e Aplicações no Contexto Brasileiro. Rio de Janeiro. SBM, 2013. [ Links ]

RIVAS, M. I. E. Avaliação do nível de Alfabetização Científica de estudantes de biologia. Trabalho de conclusão de curso. Graduação em biologia. Universidade Federal do Rio Grande do Sul – UFRGS, 2015; [ Links ]

SANTOS, W. L. P.; MORTIMER, E. F. Uma análise de pressupostos teóricos da abordagem CTS (Ciência-Tecnologia-Sociedade) no contexto da educação brasileira. Ensaio Pesquisa em educação em ciências, v. 2, n. 2, 2000. [ Links ]

SANTOS, W. L. P.; MORTIMER, E. F. Tomada de Decisão para Ação Social Responsável no Ensino de Ciências, Ciência & Educação, vol. 7, n.1, p. 95-111, 2001. [ Links ]

SASSERON, L. H.; CARVALHO, A. M. P. Alfabetização Científica: uma revisão bibliográfica. Investigações em Ensino de Ciências, v.16, n.1, p. 59-77, 2011. [ Links ]

SCOARIS, R. C. de O.; PEREIRA, A. M. T. B.; SANTIN FILHO, O. Elaboração e validação de um instrumento de avaliação de atitudes frente ao uso de história da ciência no ensino de ciências. Revista Eletrónica de Enseñanza de las Ciencias, v. 8, n. 3, p. 901-922, 2009. [ Links ]

SOUZA, A. C. de; ALEXANDRE, N. M. C.; GUIRARDELLO, E. de B. Propriedades psicométricas na avaliação de instrumentos: avaliação da confiabilidade e da validade. Epidemiologia e Serviços de Saúde, v. 26, p. 649-659, 2017. [ Links ]

TAVARES, R. Aprendizagem significativa. Revista conceitos, v. 55, n. 10, 2004. [ Links ]

THORNDYKE, P. Cognitive structures in comprehension and memory of narrative discourse, Cognitive psychology, v. 9, n. 1, p. 77-100, 1977. [ Links ]

TULVING, E. Elements of episodic memory. New York, Oxford University Press, 1983. [ Links ]

URRUTH, H. G.; STEFFANI, M.; SILVEIRA, F. L. Física e segurança no trânsito: um curso de Física e educação para o trânsito para jovens e adultos. Revista Polyphonía, v. 26, n. 2, p. 313-321, 2015. [ Links ]

VIDOR, C. de B.; COSTA, S. S. C. da; SILVA, A. M. M. da; RAMOS, M. G. Avaliação do nível de Alfabetização Científica de professores da educação básica. In: VIIEncontro Nacional de Pesquisadores em Ensino de Ciências, 2009. Anais do VI ENPEC. Florianópolis: ABRAPEC, 2009. Disponível em:Disponível em:http://www.foco.fae.ufmg.br/viienpec/index.php/enpec/viienpec/paper/view/1047 . Acesso em: fev. 2018. [ Links ]

VILARINHO, A. P. L. Uma proposta de análise de desempenho dos estudantes e de valorização da primeira fase da OBMEP. Dissertação (Mestrado Profissional em Matemática). Universidade de Brasília, Brasília, 2015 [ Links ]

VIZZOTTO, P. A.; MACKEDANZ, L. F. A compreensão da Física aplicada ao trânsito na perspectiva de egressos do ensino médio, alunos de cursos de primeira habilitação. Revista Brasileira de Ensino de Física, São Paulo , v. 39, n. 3, e3404, 2017. [ Links ]

1The TBSL is thus testing only fundamental, or basic, aspects of scientific literacy, as knowledge of interdisciplinar concepts, applications of Science, and the ability to apply knowledge for decision making and problem solving are not being tested here.

2No SPSS o teste de Kuder-Richardson é realizado através do mesmo procedimento em que se calcula o Alfa de Cronbach, pois o software compreende o teste de consistência interna para itens dicotômicos como um caso particular do teste Alfa de Cronbach, que calcula a consistência interna para demais formatos de dados.

ANEXO: QUESTIONÁRIO FINAL VALIDADO

Idade: _______. Sexo: ( ) Masculino ( ) Feminino.

Possui carteira de motorista: ( ) Sim ( ) Não

Ano de Conclusão do Ensino Médio: _______.

Tipo de escola em que concluiu o Ensino Médio:

( ) Particular; ( ) Pública Estadual; ( ) Pública Federal; ( ) ENEM.

Nível escolar: ( ) Ensino Médio; ( ) Graduação; ( ) Pós-Graduação.

As perguntas estão na forma de afirmações. Leia cuidadosamente cada frase e com base nos seus conhecimentos, assinale cada um dos itens a seguir com a letra “C” quando concordar com a afirmação ou com a letra “D” quando discordar da mesma. Se você realmente não souber a resposta, assinale com um ponto de interrogação “?”.

Sobre as aulas de Física que você teve durante o Ensino Médio, assinale cada afirmativa com um X na opção que representar a sua opinião. Marque a opção “CP” quando Concordar plenamente; “C” quando Concordar; “N” quando Não concordar, nem discordar; “D” quando Discordar; e “DP” quando Discordar plenamente.

Obrigado pela sua contribuição. 

Recebido: 10 de Junho de 2018; Aceito: 14 de Agosto de 2018

Contato: Patrick Alves Vizzotto, Programa de Pós-graduação em Educação em Ciências, Departamento de Bioquímica, Rua Ramiro Barcelos, 2600, Bairro Rio Branco, Porto Alegre|RS|Brasil CEP 90.035-003

*

Mestre em Educação em Ciências pela Universidade Federal do Rio Grande – FURG. Doutorando no Programa de Pós-graduação em Educação em Ciências – UFRGS. Grupo de Pesquisa em Inovações no Ensino de Ciências/FURG. E-mail:patrick.vizzotto@ufrgs.br

**

Doutor em Ciências pela Universidade Federal do Rio Grande do Sul – UFRGS. Professor do Programa de Pós-graduação em Educação em Ciências – UFRGS. Grupo de Pesquisa em Inovações no Ensino de Ciências/FURG. E-mail:<luismackedanz@furg.br>.

Recebido em: | Publicado em: