Helena Prieto’s Blog

Just another WordPress.com weblog

MICO:Análise da tese 2- Observações e apontamentos da equipa Leonardo Da Vince ( 2ª parte) Janeiro 24, 2011

Filed under: MICO — helenaprieto @ 10:38 pm
Tags: , , ,

Porquê fazer um questionário-piloto?

Um inquérito de boa qualidade conta com uma fase piloto para o questionário e metodologia a fim de identificar problemas relacionados com a clareza da redacção da pergunta, a facilidade de resposta, a extensão do questionário, problemas encontrados pelos entrevistadores, etc.
Um número limitado de pessoas (normalmente de 10 a 30) é seleccionado para ser a “amostra da amostra” e para testar o questionário antes da sua utilização.

O conteúdo do questionário-piloto

  • Compreensão dos termos usados: caso algumas frases devam ser explicadas, o avaliador deve refazê-las
  • Complexidade das perguntas: devem ser divididas? Perguntas repetitivas ou investigatórias devem ser incluídas no questionário?
  • Sequência de perguntas: provocam reacções negativas (tais como surpresa, desconfiança, tédio, respostas evasivas, recusa, etc.)?
  • Redacção da pergunta: levam às respostas esperadas?
  • A extensão do questionário: o questionário é entediante, irritante?
  • O fluxo do questionário: os textos introdutórios e de transição são suficientes e eficientes?

 

resumo do tópico em discussão a partir de um livro  MACHADO, Lurdes Marcelino et all ( 2007) , pesquisa em Educação: Passo a Passo

 

“Validação do Questionário

Realizou-se em primeiro lugar uma análise factorial exploratória (AFE) com o objectivo de identificar a estrutura factorial do questionário e descrever e sintetizar os dados agrupando os itens correlacionados entre si. Para a análise estatística foram usados o índice Kaiser-Meyer- Olkin e o teste de esfericidade de Bartlett para a confirmação da factoriabilidade da matriz de correlações. Consideraram- se os itens que apresentassem coeficientes de correlação superiores a 0,40. Para a análise das componentes principais foram escolhidos os factores que obtiveram valores de eingenvalues superiores a 1. A extracção dos factores principais foi efectuada após rotação Varimax e critério de Kaiser.

Posteriormente foi aplicada uma análise factorial confirmatória (AFC) que visa aceitar ou rejeitar um modelo previamente estabelecido. A AFC foi realizada segundo o  estudo original de Sherbourne e Stewart22 que concorda com os resultados obtidos na AFE neste estudo, e que define quatro dimensões: emocional/informacional, material, interacção social positiva e afectivo. Na AFC foi usado o método da máxima verosimilhança. Como índices de ajustamento do modelo foram escolhidos os índices da χ2 dividida pelos graus de liberdade (gl) e os índices RMSEA (Root Mean Square Error of Approximation), GFI (Goodness of Fit Index), AGFI (Adjusted Goodness of Fit Index), NFI (Normed Fit Index), NNFI (No-normed Fit Index) e o CFI (Comparative Fit Index). Valores de GFI, AGFI, CFI, NFI e NNFI iguais ou superiores a 0,90, indicam um ajustamento adequado e iguais ou superiores a 0,95 indicam um ajustamento excelente. O RMSEA indica adequado nível de ajustamento se inferior a 0,08 e excelente se inferior a 0,05.

Para verificar o número de factores existentes no questionário, calculou-se a raiz quadrada do produto da fiabilidade das escalas (teoricamente a máxima correlação entre duas medições). Posteriormente foi calculado o coeficiente de correlação de Pearson entre as diferentes subescalas. Se o resultado desde último é inferior o primeiro indica que as subescalas são diferenciáveis e define a existência de uma única variância em cada subescala de apoio social 30.”

Mas gostávamos de saber se, além dessa selecção das 10 a 30 pessoas, a dissertação que estamos a analisar devia referir mais elementos, no que respeita à validação do questionário. Por exemplo, uma reflexão sobre a consistência das questões, como as hipóteses de trabalho estão associadas aos itens, que indicações foram dadas aos sujeitos. Ou será que a validação do questionário não é o local do relatório certo para clarificar isso? 

Num estudo, a teoria deve estar aliada à prática e a fundamentação dos procedimentos tem de ser muito bem feitinha para dar solidez e qualidade ao trabalho desenvolvido. Fundamentar e descrever alguns passos intermédios na concepção do inquérito tendo em conta a literatura e os procedimentos preconizados faz parte do trabalho investigação e tem de ser relatado no texto. Por exemplo na selecção/ hierarquização do tipo de perguntas do inquérito também há procedimentos ater em conta. A autora não os refere.

Encontrei num livro no google um excerto ( algures pela pág 66) que interessante que descreve os procedimentos:

Planeamento do instrumento de pesquisa e criação da versão preliminar

1-Rever os requisitos (necessidades) de informação do problema de pesquisa;

2- Desenvolver e atribuir propriedades ás questões que abordam os requisitos de informação

3- definir as palavras especificas que serão utilizadas e definir o tipo de cada questão;

4-selecionar as questões e estruturar o questionário;

5 – avaliar o questionar preliminar gerado. – submeter à critica dos especialistas; fazer um teste piloto para medir o tempo necessário à realização do inquérito e observar as reacções do inquiridos.

6- validar o inquérito através da sua aplicação a um pequeno grupo

7- Reformular

Tipos de perguntas num questionário:

Fechada

Aberta

Semiaberta

Binária ( sim/não)

Encadeada

Ordem de preferência

Escala de diferencial semântico

Escala de Likert

Organização das perguntas

As primeiras perguntas do inquérito devem ser fáceis e leves e as últimas de carácter mais pessoal.

 

 

 

  • O questionário usado foi objecto de validação prévia?

Relativamente  à validação prévia do questionário, de acordo com o ponto 5 do capítulo III, verifica-se que o mesmo foi validado. A autora faz uma breve síntese do processo, no entanto, não explica a razão pela qual as questões foram reformuladas e acrescentada mais uma. Também não refere de que questionário se tratava, se o dos alunos ou o dos professores.

Todas as informações resultantes desta validação, tais como ” As dificuldades, dúvidas e sugestões dos intervenientes permitiram corrigir aspectos de forma e conteúdo” (Neto, 2006) não foram referidas.

No capítulo sobre os questionários  em e- Reserch Methods, Strategies and Issues, Terry Andresen e Heather Kanuka referem que o questionário deve ser validado por peritos porque a construção de bons inquéritos  requer competências que um e- investigador nem sempre tem.

 Nesta tese, observamos que a  autora elaborou ela própria os questionários para a sua investigação, tendo bastante cuidado na construção das perguntas direccionadas de forma clara e objectiva para  os objectivos da sua investigação seguindo-se uma fase de validação que obedece aos requisitos de validação de um inquérito:

1-Utilização de um inquérito piloto ( a primeira versão do inquérito) que é testado com um pequeno grupo que a investigadora avalie e reformule os aspectos que devem ser reformulados.

2- Observação da reacção deste grupo 

3- identificação de aspectos a reformular

4- reformulação e construção da versão final.

Estes passos estão de acordo com os procedimentos previstos para a validação do inquérito.

Relativamente à validação do questionário utilizado na dissertação que estamos a analisar, não sabemos se foram tomados mais procedimentos (pré-campo), por exemplo, se foi colocado à apreciação de pares para comentarem a sua qualidade. Aquilo que percebemos é que, já na fase de inquérito, a investigadora pede aos sujeitos que avaliem o questionário, o que resulta na reformulação de algumas perguntas. Mas será a decisão mais correcta numa investigação científica? Por outro lado, a autora não tinha de explicar claramente no relatório as suas razões de escolha?

Gostava de esclarecer que não estou a põr em causa a tipologia, clareza, precisão e pertinência das questões, pois o questionário está adequado aos objectivos propostos.

Talvez o que seja preciso discutir-se seja a sua fiabilidade. Ou seja, validar um questionário será colocar à consideração dos sujeitos que vão respondê-lo, para averiguar se precisa de ser alterado? Por outro lado, essa validação é corroborada pela amostra deste estudo, por exemplo, o n.º dos inquiridos foi suficiente (20 alunos e 10 professores)?

Para perceber melhor esta questão, gostava que reflectíssemos juntos o seguinte excerto retirado do livro Research Methods in Education, de Cohen e all., e sugiro que leiam sobretudo as pp. 95-99.

“For quantitative data, a precise sample number can be calculated according to the level of accuracy and the level of probability that the researcher requires in her work. She can then report in her study the rationale and the basis of her research decision (Blalock, 1979).

By way of example, suppose a teacher/researcher wishes to sample opinions among 1,000 secondary

positive appraisal on the 10-point scale. How many of the 1,000 students does she need to sample in order to gain an accurate (i.e. reliable) assessment of what the whole school (n=1,000) thinks of the extra-curricular event?”

No sentido de ser comparada com outra dissertação, veja-se o excerto abaixo retirado de Questionário Medical Outcomes Study Social Support Survey (MOS-SSS), pág. 528, disponível em http://www.actamedicaportuguesa.com/pdf/2007-20/6/525-534.pdf.

  • Na explicitação da metodologia usada há indicações sobre o modo de tratamento dos dados obtidos com a aplicação do questionário?
  • No capítulo 3 são apresentadas indicações breves sobre o modo do tratamento de dados obtidos com a aplicação do questionário:
  • – Levantamento de dados tendo por referência os objectivos pré-definidos;
  • – Utilização do excel para análise estatística e representação desses dados;
  • – Apresentação dos dados em percentagem.
  • Não há mais indicações de metodologias ou procedimentos que expliquem as inferências e as conclusões que são a seguir apresentadas. Muitas delas são a aplicação de conhecimentos gerais , mas não a partir dos dados recolhidos através do inquérito, pois estes dados não permitem extrapolar e inferir certos aspectos que aparecem aqui como afirmações factuais:
  • ex:
  • A maior parte (dos pais), reconheçamo-lo, também não possui competências que lhe permitam caracterizar a relação dos seus educandos com a Rede ou ajudá-los na tarefa de navegação.
  • Na minha opinião, além de um esclarecimento sobre os dados mencionados na metodologia serem diferentes dos que são efectivamente interpretados, faz falta conhecermos se houve ou não combinação de metodologias para codificação ou identificação dos dados, que técnica foi utilizada para a sua classificação ou organização numa base de dados, como foi feita a sua exploração e manuseamento, que aspectos foram postos em evidência ou são seleccionados intencionalmente e porquê, como foram tratados os dados convergentes e divergentes, etc. (Denzin, 1984; Patton, 1990).
  • a autora refere um questionário utilizado pelos alunos, que é uma ficha de aferição de conhecimentos (Anexo C). Porém, não refere nessa parte da dissertação nada sobre o(s) questionário(s) do inquérito objecto do seu estudo (Anexo A), mediante o título “Os Jovens e a Internet” e “O professor e a Internet”.
  • Quanto à ficha de aferição, temos conhecimento da sua estrutura e como se processou, mas nada sabemos que tratamento deu a investigadora sobre os dados obtidos. Se o seu objectivo era avaliar a relação dos alunos com a Internet, enquanto realizam uma actividade escolar, o questionário indicado no tópico “metodologia” não corresponde. Trata-se de um questionário sobre a pesquisa feita a um escritor Português com recurso à Internet.
  • existe no Cap. III o tópico 7, intitulado “Tratamento e análise de dados” (pág. 67). Pelo que percebi, os dados interpretados pela autora e que são explicados nas páginas seguintes, foram obtidos pelo questionário “Os jovens e a Internet” e “O professor e a Internet”. E o que lemos é uma apresentação e interpretação desses dados.

 

 

 

Em resposta às questões

1) a validação foi feita com o objectivo de verificar se haveria alterações a fazer; então: foi feito um primeiro questionário – o que se alterou com base nesta 1ª testagem? E porquê?

O processo de validação que a autora da tese utiliza baseia-se na elaboração de um primeiro questionário que é dado a preencher por um pequeno grupo de alunos professores , mas a autora não especifica que questionário é dado a cada grupo ( qual é dado aos alunos e qual é dado aos professores) Seria também importante que fosse incluída a primeira versão dos dois questionários? Ou a autora poderia ser mais específica quanto às alterações que fez. Outro aspecto refere-se à selecção do tipo de perguntas. A autora só indica que são perguntas fechadas, mas dentro desta categoria geral poderia ter especificado as diversas opções utilizadas e os seus objectivos.

Quanto a este aspecto encontrei alguma informação relacionada com os tipos de perguntas  para os questionários ( desculpem a azelhice , mas perdi a referência completa)

Tipos de perguntas num questionário:

  • Fechada
  • Aberta
  • Semiaberta
  • Binária ( sim/não)
  • Encadeada
  • Ordem de preferência
  • Escala de diferencial semântico
  • Escala de Likert

Organização das perguntas

As primeiras perguntas do inquérito devem ser fáceis e leves e as últimas de carácter mais pessoal.

Como indicações de alterações, é como o Manuel faz notar, temos apenas uma informação bastante genérica que não nos diz muito.


2) há uma outra validação dos instrumentos – aferir a validade do conteúdo – regra geral para ver se o questionário vai ou não “medir” o que se pretende. Também regra geral, recorre-se para isso a um painel de peritos. Fez-se isso?

A menos que os colegas a quem a autora da tese pediu para serem ” as cobaias ” do teste pilote sejam peritos no tema investigado, não vem referido este aspecto. A autora considera o inquérito como validado com base no ” teste piloto” , isto é  após ter dado o inquérito a preencher por um pequeno grupo de professores e alunos, faz algumas alterações de forma e conteúdo para clarificar o sentido das questões e ficou por ai.


3) mais adiante, numa segunda parte, indica-se que foi feita observação
directa- a quantos sujeitos? de que turmas? essa observação foi feita com uma grelha de observação?

Na segunda fase do estudo , capítulo IV, a autora pretende observar directamente os alunos ” em acção” para

“analisar a relação dos alunos com a Internet no que diz respeito às tarefas de

pesquisa de informação, relacionada com os conteúdos leccionados “

em Língua Portuguesa.

Embora explique os dois momentos em que tal sucedeu, refere dois grupos que observou e descreve as condições – um em situação mais livre, durante os intervalos, e outro em situação de sala de aula interagindo com o computador  com o objectivo de resolver uma determinada tarefa de aprendizagem , na caracterização, não faz distinção quanto ao número de alunos que observou em cada um dos grupos. Apenas temos a indicação de que são 58 alunos do 8 ano.

Quanto a instrumentos específicos de  registo das observações realizadas, temos apenas um ficha de controlo das aprendizagens dos alunos que vem em anexo. Há a indicação de uma ficha de registo de observação, mas que não é operacionalizada:

“…comportamentos observados e avaliados numa escala de 1 (mau) a 5 (muito bom), de

acordo com os seguintes critérios:

À-vontade com as interfaces (rato, teclado, menus…);

Capacidade de orientação no website;

Espírito de entreajuda.

 

Como observar tudo isto de forma a conseguir dados objectivos para os objectivos da tese? Que comportamentos identificar para chegar à conclusão , por exemplo da capacidade de orientação no website?

Neste aspecto de concretizar as observações há grandes lacunas.

Uma coisa é observar a interacção dos alunos com a internet para os usos gerais que este fazem que são mais de carácter lúdico – jogos, música, interacção com os amigos, outra coisa é a sua utilização específica para uma tarefa de aprendizagem. As microcompetências que estão envolvidas não são as mesmas.

Então como observar essas microcompetências?

Numa primeira abordagem de observação aos grupos no intervalo , penso que a autora usou o método de avaliação não participante e mas a abordagem mais adequada a um estudo exploratório seria a não estruturada. Observar os comportamentos dos alunos sem partir de pressupostos ( ou preconceitos)  e com base nessa informação procurar distinguir micro competências. Depois , penso que o passo lógico seria observar se essas microcompetências se podiam adaptar ao objectivo da autora – observar com os alunos agem pesquisar, organizam a informação e aprendem através dos sites ( suporte da informação).

 Webgrafia que achei interessante:

Um site a explicar a forma pratica de se fazer um guião  e procedimentos a ter na entrevista

link: http://www.managementhelp.org/evaluatn/intrview.htm#anchor566521

 

Um artigo a explicar as estrutura das entrevistas:

http://www.ils.unc.edu/~yanz/Unstructured%20interview.pdf

um site a explicar o focus group

link: http://managementhelp.org/evaluatn/focusgrp.htm

um artigo a falar dos erros dos entrevistadores ( 50 anos de idade mas conteúdo actual, vale a pena ler com atenção)

http://www.eric.ed.gov/PDFS/ED044931.pdf