Construção, Adaptação e Desenvolvimento de Medidas no Brasil: Paradigma Emergente em Psicometria e Avaliação Psicológica

Resumen

O livro “Manual de desenvolvimento de instrumentos psicológicos” foi organizado por Bruno Damásio e Juliane Borsa em 2017.  A obra se apresenta como um marco da literatura brasileira sobre Avaliação Psicológica e Psicometria por reunir contribuições de autores experientes e emergentes nesse campo, cujas elaborações abrangem de forma inovadora os aspectos teóricos, empíricos e analíticos relativos à proposição de instrumentos psicológicos.

A obra é dividida em três seções “Introdução ao desenvolvimento e à validação de testes psicológicos”, “Construção de instrumentos psicológicos para diferentes usos e contextos” e “Análises estatísticas aplicadas à construção de instrumentos psicológicos”. Essas seções visam, respectivamente 1) introduzir o leitor aos princípios teóricos e empíricos fundamentais que baseiam a elaboração dos testes; 2) apresentar um panorama de aplicação dos instrumentos em diferentes espaços e perspectivas de atuação e, por fim, 3) instrumentalizar os psicólogos para aplicar instrumental analítico na elaboração de testes psicológicos.

Na primeira seção, o capítulo inicial desenvolvido por Borsa e Seize apresenta de forma intuitiva um passo-a-passo sobre a construção e adaptação cultural de testes psicológicos. Após a exposição das etapas relativas a esses processos, as autoras sintetizam as vantagens e desvantagens de construir ou adaptar testes, habilitando os leitores a avaliar criticamente as decisões metodológicas envolvendo a proposição de medidas no contexto nacional.

No segundo capítulo, Carvalho e Ambiel elucidam as etapas relativas à construção de testes psicológicos, abrangendo desde os motivos que fundamentam a proposição dos testes até as etapas fundamentais a serem seguidas para a elaboração de um instrumento. Um ponto forte desse capítulo é a conexão entre os elementos conceituais e a aplicação de forma ilustrativa que os autores fazem ao trazer exemplos de construção de instrumentos por meio de pesquisas desenvolvidas previamente.

Por meio do terceiro capítulo Muniz e Freitas versam sobre as diferenças entre padronização e normatização, possibilitando ao leitor distinguir entre os conceitos. As autoras também tratam sobre aspectos essenciais relativos à elaboração de procedimentos de aplicação e correção padronizados, bem como destacam a importância de interpretar os resultados dos testes dentro dos limites propostos pela normatização.

O quarto capítulo conta com as elaborações de Ambiel e Carvalho sobre evidências de validade baseadas na estrutura interna. Os autores apresentam a investigação desse tipo de validade como uma das primeiras etapas do desenvolvimento de testes e as implicações resultantes dessas evidências na validação de teorias psicológicas. Também discorrem sobre a ineficácia do alfa de Cronbach como indicador de dimensionalidade e sugerem as análises de componente principais, análises fatoriais e análises de Rasch como técnicas para investigar a estrutura interna das medidas.

O quinto capítulo foi elaborado por Freitas e Damásio. Esse capítulo apresenta formas de buscar evidências de validade nas relações com medidas externas partindo das diretrizes propostas nos Standards da AERA (American Educational Research Association), APA (American Psychological Association) e NCME (National Council on Measurement in Education). Os autores ressaltam as limitações de testar validade convergente por técnicas de correlação e indicam como verificar evidências de validade com medidas externas por meio de Modelagem por Equações Estruturais e Multitraço-Multimétodo.

O sexto capítulo encerra a primeira seção e foi desenvolvido por Bueno, Amorim e Albuquerque, tendo como tema central o SATEPSI (Sistema de Avaliação de Testes Psicológicos).  Esse capítulo abrange desde o surgimento do SATEPSI, o qual foi elaborado num contexto com graves problemas éticos e deficiências na área de Avaliação Psicológica no Brasil, até o momento atual do Sistema. Os autores elencam algumas limitações do formato atual do SATEPSI e propõem uma agenda de pesquisa e prática para aprimorá-lo, a qual também perpassa por melhores condições de formação ética e técnico-científica em Avaliação Psicológica.

A segunda seção inicia-se pelo sétimo capítulo proposto por Salum-Júnior, DeSousa e Hoffman abrangendo um panorama sobre escalas de uso clínico. Os autores defendem o argumento que os transtornos mentais são compreendidos de forma mais adequada por uma perspectiva dimensional, mas a maior parte das medidas limitam-se ao aspecto categórico e sintomático.  Eles também distinguem sintomas e funcionalidade, bem como sintetizam uma série de instrumentos, suas aplicações e limitações no contexto clínico.

No oitavo capítulo Sacco trata sobre medidas implícitas e os dilemas relacionados a esse tipo de avaliação. As principais técnicas apresentadas pela autora foram o IAT (Teste de Associação Implícita) e EP (Priming Avaliativo). Essas técnicas são descritas como baseadas no tempo de reação, as quais demandam por maior controle e padronização dos procedimentos empregados. A autora também salienta o maior poder preditivo de comportamentos espontâneos das medidas implícitas, quando comparadas ao autorrelato, pela menor possibilidade de controle dos participantes. No entanto, ela destaca que há a necessidade de aprimoramento teórico conceitual sobre a definição e procedimentos relativos às medidas implícitas para otimizar as condições de avaliação por meio de instrumentais pautados nessa forma de avaliação.

A questão dos instrumentos informatizados e testagem adaptativa computadorizada é tema do nono capítulo elaborado por Koich-Miguel. Nesse capítulo o autor demonstra os fundamentos da testagem informatizada por meio da criação de bancos de dados, seleção de itens, critérios de interrupção e análise dos parâmetros psicométricos. Ele também destaca a rapidez, facilidade de coleta de dados e praticidade de alterar o instrumento como vantagens desse tipo de aplicação. Por outro lado, são reconhecidas as limitações relativas aos custos de programação e ausência de regulamentações sobre o tema e dificuldade de observação do participante durante o processo de resposta.

No décimo capítulo Salles e Rodrigues tratam sobre a especificidade da construção dos instrumentos neuropsicológicos, a qual deve incluir elaborações advindas da Psicometria, Neuropsicolinguística, Psicologia Experimental e Processamento Funcional Cerebral. Eles discutem a importância de incluir no processo de avaliação neuropsicológica, além de testes padronizados, tarefas ecológicas, entrevistas, questionários e observação comportamental, a fim de maximizar a validade ecológica do procedimento. Esse capítulo encerra a segunda seção.

A terceira seção é introduzida pelo décimo primeiro capítulo de Damásio e Dutra sobre aplicação de análise fatorial exploratória pelo programa Factor. De forma prática os autores habilitam os leitores a realizar a análise fatorial exploratória por meio do Factor e interpretar as saídas da análise. Incluem-se entre os tópicos de interpretação abrangidos no capítulo as tabelas de cargas fatoriais e índices de ajuste, as quais possibilitam avaliar a fidedignidade, simplicidade e replicabilidade da estrutura fatorial identificada.

No décimo segundo capítulo Golino apresenta a técnica de Exploratory Graph Analysis (EGA) para verificar o número de dimensões. O autor instrui sobre os conceitos fundamentais da EGA e aplicação dessa análise por meio do pacote EGA disponível para utilização em R. Na perspectiva teórico-conceitual, o capítulo também trata sobre a análise fatorial exploratória e a importância de se compreender as diferenças existentes nas técnicas e critérios empregados para retenção fatorial.

Uma introdução à análise fatorial confirmatória (AFC) é explicitada no décimo terceiro capítulo de Franco, Valentini e Iglesias. Os autores indicam que os modelos de medida desenvolvidos por meio da análise fatorial pressupõem que a variável latente é a causa dos comportamentos observados. Também orientam sobre o uso de estimadores ADF (Asymptotically Distribution-Free) e WLSMV (Weighted Least Squares Means and Variance Adjusted) para estimação de parâmetros em AFC para itens categóricos e ML para dados intervalares com distribuição intervalar.  De forma pragmática, os autores abordaram como analisar AFC no R por meio do pacote Lavaan e, na perspectiva Bayesiana, pelo blavaan.

O décimo quarto capítulo desenvolvido por Campos e Marôco versa sobre aplicações de Modelagem de Equações Estruturais para gerar evidências de validação em instrumentos psicológicos. Os autores delineiam formas de testar a estrutura fatorial e evidências de validade convergente, discriminante, critério, concorrente e divergente utilizando o software SPSS Amos. Outro aspecto prático abordado no capítulo é o cálculo dos indicadores de Confiabilidade Composta e Variância Extraída Média pelo Microsoft Excel.

A análise de invariância é introduzida por Valentini, Franco e Iglesias no décimo quinto capítulo. Os autores indicam o uso dessa análise para identificar a influência de variáveis externas na parametrização dos itens, de forma a simplificar a comparação de escores entre diferentes sujeitos.  Por meio de modelagem estatística no software Mplus os autores propõem as etapas para implementar análise de variância em análises fatoriais multigrupos e modelagem MIMIC (Multiple Indicators Multiple Causes), abrangendo, inclusive, o uso de reamostragens (Bootstrapping).

Salienta-se que o décimo quarto e decimo quinto capítulo são os únicos que fazem aplicações por meio de softwares pagos, os quais requerem licenciamento para uso. Contudo, pelos tópicos listados nesses capítulos terem a aplicação abordada em outras partes do Manual por alternativas freeware, as propostas por meio de softwares shareware acabam se mostrando complementares às análises realizadas por meio de instrumental gratuito elencadas em outros momentos da obra.

O décimo sexto capítulo elaborado por Golino trata sobre uma introdução à aplicação de TRI (Teoria de Resposta ao Item) no R para dados dicotômicos. No aspecto prático, o pacote mIRT é empregado no R para analisar os modelos Rasch, 1p, 2p, 3p e 4-pl. O autor também discute aspectos teóricos sobre esses modelos e apresenta algumas considerações sobre a análise de curvas características dos itens e índices de ajuste infit e outfit. A aplicação do modelo 4-pl se apresenta com o um diferencial do capítulo, dado o ineditismo deste modelo e forma de análise no cenário brasileiro.

A terceira seção e a obra é encerrada com a apresentação da análise taxométrica no décimo sétimo capítulo por Hauck-Filho, Costa e Cordeiro. De forma semelhante ao anterior, esse capítulo também é marcado pela inovação, considerando-se a inexistência de proposta instrucional acessível na literatura brasileira sobre a análise taxométrica. Alinhado às discussões teórico-empíricas existentes na literatura internacional sobre a questão da representação dos fenômenos psicológicos em dimensões ou categorias, o capítulo demonstra como implementar esse tipo de análise por meio do pacote RTaxometrics no R e discute as implicações que os resultados da análise taxométrica propõem sobre a compreensão da natureza dos fenômenos psicológicos.

Ao se considerar o conjunto da obra, um elemento chave merece ser destacado pela presença unânime em todas as seções do Manual. Há um comprometimento dos autores em alinhar as apresentações teóricas e práticas aos padrões de excelência internacionais definidos por meio do The Standards for Educational and Psychological Testing. Esses padrões representam o esforço conjunto de uma rede internacional de associados das instituições AERA (American Educational Research Association), APA (American Psychological Association) e NCME (National Council on Measurement in Education), o que demonstra a atualização da obra frente ao cenário internacional.

Cabe ainda destacar outro ponto forte do “Manual de desenvolvimento de instrumentos psicológicos”, que é a utilização predominante de técnicas de simulação e aplicações baseadas em dados concretos por meio de software livre (open source). Essa opção dos autores sinaliza um aprimoramento das elaborações da área no contexto brasileiro em dois aspectos.  O primeiro refere-se à superação das “regras de polegar” (decisões metodológicas baseadas em propostas arbitrárias e/ou intuitivas sem fundamento empírico e erroneamente difundidas por gerações anteriores de pesquisadores no Brasil) em favor de alternativas analíticas baseadas em evidências empíricas. O segundo é a democratização das elaborações da área, as quais se tornam mais acessíveis por terem sido apresentadas de forma predominante por meio de softwares livres pautados em redes colaborativas, como é o caso das aplicações propostas por meio da linguagem de programação R.  

Ademais, no que tange à genealogia da área de Psicometria e Avaliação Psicológica brasileira, essa obra marca um paradigma emergente que convida os pesquisadores e profissionais a revisitarem os princípios, fazeres e implicações do campo. Em suma, representa os ideais e práticas de uma nova geração de pesquisadores.  Também é visível ao longo de toda a obra o comprometimento dessa nova geração com o aprimoramento da área em busca de padrões de avaliação e instrumentação para a ciência psicológica compatível as exigências contextuais atuais. A velocidade de produção, acesso e análise das informações presentes são mais ágeis e sofisticadas que aquelas existentes nos primórdios da área no Brasil.

Isso torna imprescindível que as elaborações presentes no “Manual de desenvolvimento de instrumentos psicológicos” se tornem a tônica para os desenvolvimentos teóricos, práticos e formação de pessoal qualificado para atuar neste campo. Afinal, somente com uma nova mentalidade, pautada no desenvolvimento científico das práticas avaliativas por meio de evidências, é que as produções nacionais estarão aptas a responder aos novos problemas que se apresentam à área em condições satisfatórias. Nesse sentido, a obra analisada ao longo desta resenha apresenta-se como um marco teórico e empírico que representa a emergência dessa nova mentalidade e, provavelmente, direcionará em que sentido caminhará o desenvolvimento da Psicometria e Avaliação Psicológica no Brasil ao longo dos próximos anos.

Referências

Damásio, B. F., & Borsa, J. C. (Orgs.). (2017). Manual de desenvolvimento de instrumentos psicológicos. São Paulo: Vetor.