Acessibilidade / Reportar erro

Adaptação e validação de instrumentos psicológicos entre culturas: algumas considerações

Adaptación y validación de instrumentos psicológicos entre culturas: algunas consideraciones

Resumos

A adaptação de instrumentos psicológicos é um processo complexo que requer elevado rigor metodológico. Por não haver consenso na literatura sobre suas etapas, o presente artigo discute alguns aspectos essenciais concernentes à adaptação transcultural de instrumentos psicológicos e propõe diretrizes aos pesquisadores sobre os diferentes passos desse processo. São apresentadas, também, algumas considerações referentes à validação do instrumento adaptado. Nesta etapa, são discutidos os aspectos referentes à estrutura fatorial do instrumento, a qual requer avaliação por meio de procedimentos estatísticos, como análises fatoriais exploratórias e confirmatórias, sendo fornecidas algumas diretrizes gerais para a validação de instrumentos psicológicos em diferentes culturas.

tradução; adaptação; testes psicológicos; psicometria


La adaptación de instrumentos psicológicos es un proceso complejo que requiere bastante rigor metodológico. Ya que no hay consenso sobre sus etapas, el presente artículo discute algunos aspectos esenciales sobre la adaptación transcultural de instrumentos psicológicos y propone directrices a los investigadores sobre los diferentes pasos de este proceso. Son presentadas, también, algunas consideraciones referentes a la validación del instrumento adaptado. En esta etapa, son discutidos aspectos referentes a la estructura factorial del instrumentos, la cual debe ser evaluada mediante procedimientos estadísticos como el análisis factorial exploratorio y confirmatorio. Además, se incluyen algunas directrices para la validación de instrumentos psicológicos en culturas diversas.

traducción; adaptación; testes psicológicos; psicometría


The adaptation of psychological instruments is a complex process that requires a high methodological rigor. Because there is no consensus in the literature about its steps, this article discuss some essential aspects regarding the cross-cultural adaptation of psychological instruments and proposes guidelines to the researchers about the different steps of this process. Some considerations regarding the validation of the adapted instrument are also presented. In this stage, we discuss some aspects regarding the factorial structure of the instrument, which might be evaluated through statistical procedures, such as exploratory and confirmatory factor analysis. More than that, the authors provide some guidelines to the validation of psychological instruments in different cultures.

translating; adaptation; psychological testing; psychometrics


ARTIGO

Adaptação e validação de instrumentos psicológicos entre culturas: algumas considerações1 1 Apoio: Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq).

Cross-cultural adaptation and validation of psychological instruments: some considerations

Adaptación y validación de instrumentos psicológicos entre culturas: algunas consideraciones

Juliane Callegaro Borsa; Bruno Figueiredo Damásio; Denise Ruschel Bandeira

Universidade Federal do Rio Grande do Sul, Porto Alegre-RS, Brasil

Endereço para correspondência Endereço para correspondência: Juliane Callegaro Borsa. Universidade Federal do Rio Grande do Sul. Rua Ramiro Barcelos, 2600, sala 120. CEP 90.035-003. Porto Alegre-RS, Brasil. E-mail: juliborsa@gmail.com

RESUMO

A adaptação de instrumentos psicológicos é um processo complexo que requer elevado rigor metodológico. Por não haver consenso na literatura sobre suas etapas, o presente artigo discute alguns aspectos essenciais concernentes à adaptação transcultural de instrumentos psicológicos e propõe diretrizes aos pesquisadores sobre os diferentes passos desse processo. São apresentadas, também, algumas considerações referentes à validação do instrumento adaptado. Nesta etapa, são discutidos os aspectos referentes à estrutura fatorial do instrumento, a qual requer avaliação por meio de procedimentos estatísticos, como análises fatoriais exploratórias e confirmatórias, sendo fornecidas algumas diretrizes gerais para a validação de instrumentos psicológicos em diferentes culturas.

Palavras-chave: tradução, adaptação, testes psicológicos, psicometria

ABSTRACT

The adaptation of psychological instruments is a complex process that requires a high methodological rigor. Because there is no consensus in the literature about its steps, this article discuss some essential aspects regarding the cross-cultural adaptation of psychological instruments and proposes guidelines to the researchers about the different steps of this process. Some considerations regarding the validation of the adapted instrument are also presented. In this stage, we discuss some aspects regarding the factorial structure of the instrument, which might be evaluated through statistical procedures, such as exploratory and confirmatory factor analysis. More than that, the authors provide some guidelines to the validation of psychological instruments in different cultures.

Keywords: translating, adaptation, psychological testing, psychometrics

RESUMEN

La adaptación de instrumentos psicológicos es un proceso complejo que requiere bastante rigor metodológico. Ya que no hay consenso sobre sus etapas, el presente artículo discute algunos aspectos esenciales sobre la adaptación transcultural de instrumentos psicológicos y propone directrices a los investigadores sobre los diferentes pasos de este proceso. Son presentadas, también, algunas consideraciones referentes a la validación del instrumento adaptado. En esta etapa, son discutidos aspectos referentes a la estructura factorial del instrumentos, la cual debe ser evaluada mediante procedimientos estadísticos como el análisis factorial exploratorio y confirmatorio. Además, se incluyen algunas directrices para la validación de instrumentos psicológicos en culturas diversas.

Palabras clave: traducción, adaptación, testes psicológicos, psicometría

A adaptação de instrumentos psicológicos é uma tarefa complexa, que exige planejamento e rigor quanto à manutenção do seu conteúdo, das suas características psicométricas e da sua validade para a população a quem se destina (Cassepp-Borges, Balbinotti, & Teodoro, 2010). Nesse processo, é necessário comprovar tanto as evidências acerca da equivalência semântica dos itens quanto as evidências psicométricas da nova versão do instrumento (International Test Commission [ITC], 2010). Não menos importante, a adaptação engloba a adequação cultural, ou seja, o preparo deste para seu uso em outro contexto (Beaton, Bombardier, Guillemin, & Ferraz, 2000; Hambleton, 2005; Sireci, Yang, Harter, & Ehrlich, 2006).

Desde 1992, a International Test Commission (ITC) vem trabalhando com o objetivo de propor diretrizes para a tradução e a adaptação de instrumentos psicológicos entre culturas (ITC, 2010). Os termos "adaptação" e "tradução" são distintos, e tem-se preferido o uso do primeiro, uma vez que compreende todos os processos concernentes à adequação cultural do instrumento, para além da mera tradução (Hambleton, 2005).

A tradução é, apenas, o primeiro passo do processo de adaptação. Ao se adaptar um instrumento, deverão ser considerados os aspectos culturais, idiomáticos, linguísticos e contextuais concernentes à sua tradução (Hambleton, 2005). Uma vez adaptado o instrumento, é possível realizar estudos entre diferentes populações, comparando características de indivíduos inseridos em diferentes contextos culturais. Nesse sentido, pesquisas sobre adaptação de instrumentos têm recebido grande ênfase devido à possibilidade de comparação de resultados, por meio de estudos realizados em amostras distintas (Gjersing, Caplehorn, & Clausen, 2010; Hambleton, 2005).

O processo de adaptação de um instrumento já existente, em detrimento da elaboração de um novo instrumento, específico para a população-alvo, possui vantagens consideráveis. Ao adaptar um instrumento, o pesquisador é capaz de comparar dados obtidos em diferentes amostras, de diferentes contextos, permitindo uma maior equidade na avaliação, uma vez que se trata de uma mesma medida, que avalia o construto a partir de uma mesma perspectiva teórica e metodológica. Entende-se que a utilização de instrumentos adaptados permite uma maior capacidade de generalização e permite, também, a investigação de diferenças entre uma crescente população diversificada (Hambleton, 2005; Vivas, 1999).

O presente artigo discute alguns aspectos essenciais concernentes à adaptação transcultural de instrumentos psicológicos e propõe diretrizes aos pesquisadores sobre os diferentes passos desse processo. Os tópicos serão apresentados, de acordo com a proposta dos autores para a realização do processo de adaptação. Em geral, a literatura aponta que a adaptação de um instrumento deve ser constituída por cinco etapas essenciais: (1) tradução do instrumento do idioma de origem para o idioma-alvo, (2) realização da síntese das versões traduzidas, (3) análise da versão sintetizada por juízes experts, (4) tradução reversa para o idioma de origem (back translation), e (5) estudo-piloto (Hambleton, 2005; Sireci et al., 2006). No entanto, entende-se que, nessas etapas, não estão incluídos alguns aspectos importantes para o processo de adequação da nova versão de um instrumento, como, por exemplo, a avaliação conceitual dos itens pela população-alvo e a discussão com o autor do instrumento original quanto a ajustes e modificações propostas na nova versão do instrumento.

Assim, os autores do presente artigo apresentarão sua proposta para a adaptação de instrumentos a partir de seis etapas: (1) tradução do instrumento do idioma de origem para o idioma-alvo, (2) síntese das versões traduzidas, (3) avaliação da síntese por juízes experts, (4) avaliação do instrumento pelo público-alvo, (5) tradução reversa, e (6) estudo-piloto. Será discutida, também, uma sétima etapa que comumente não está incluída no processo de adaptação de instrumentos, mas que julgamos importante para confirmar se, de fato, o instrumento mantém-se estável em sua estrutura quando comparado ao original. Trata-se da avaliação da estrutura fatorial do instrumento, a qual é realizada a partir de procedimentos estatísticos como análises fatoriais exploratórias e confirmatórias. Também serão discutidos os procedimentos referentes à validação de instrumentos para estudos transculturais, em que o instrumento é testado em diferentes culturas, a fim de verificar a invariância de sua estrutura e de seus parâmetros quando aplicado em diferentes grupos e contextos culturais.

Etapas do Processo de Tradução e Adaptação de Instrumentos

A Tradução do Instrumento para o Novo Idioma

O primeiro aspecto importante a ser considerado, ao se adaptar um instrumento, é a sua tradução do idioma de origem para o idioma-alvo, isto é, aquele em que a nova versão será utilizada. Tal processo é complexo, exigindo uma série de cuidados a fim de se obter uma versão final adequada para o novo contexto, mas também congruente com a versão original.

A literatura na área salienta a necessidade de evitar a tradução literal dos itens (Hambleton, 1994, 2005), porque, muitas vezes, resulta em frases incompreensíveis ou, pelo menos, não coerentes com a fluência do idioma-alvo. Portanto, uma tradução adequada requer um tratamento equilibrado de considerações linguísticas, culturais, contextuais e científicas sobre o construto avaliado (Tanzer, 2005).

O consenso de investigação nessa área sugere que tradutores bilíngues independentes devam ser convocados para adaptar os itens ao novo idioma (Beaton et al., 2000; Gudmundsson, 2009; Hambleton, 2005; ITC, 2010). Se antes entendia-se que apenas um tradutor era suficiente para a realização do processo de tradução, hoje é sugerida a presença de, ao menos, dois tradutores bilíngues para a realização deste processo, minimizando o risco de vieses linguísticos, psicológicos, culturais e de compreensão teórica e prática (Cassepp-Borges et al., 2010).

Muitas sugestões nessa área se concentram na qualidade dos tradutores. Por exemplo, Hambleton (1994, 2005) afirma que os tradutores devem ser plenamente proficientes em ambos os idiomas de interesse e estarem familiarizados com as culturas associadas à linguagem dos diferentes grupos. Beaton et al. (2000), mais enfaticamente, defendem a necessidade de que os tradutores devem ser fluentes no idioma de origem do instrumento e nativos no idioma-alvo. Tal característica permite que o processo de tradução considere as nuances do idioma para o qual o instrumento se destina, possibilitando uma maior adequação cultural do processo de adaptação.

Para alguns autores, é esperado que os tradutores possuam uma compreensão do construto a ser avaliado e que tenham habilidade e familiaridade com a escrita de artigos científicos (Cassepp-Borges et al., 2010; Hambleton, 1994, 2005; ITC, 2010). Já para Beaton et al. (2000), um dos tradutores deve apresentar familiaridade com o construto avaliado, enquanto um segundo tradutor não deve estar ciente dos objetivos da tradução. A adaptação oriunda do primeiro tradutor tenderia a fornecer maior semelhança científica do instrumento, proporcionando, possivelmente, maior equivalência a partir de uma perspectiva psicométrica. Já a adaptação oriunda do segundo tradutor apresentaria menor probabilidade de desvios em termo de significado dos itens. Por estar menos influenciado pelo objetivo acadêmico da tradução, o segundo tradutor tenderia a oferecer uma versão que melhor reflita a linguagem utilizada pela população-alvo.

Síntese das Versões Traduzidas

Após o processo de tradução do instrumento da língua original para o idioma-alvo, o pesquisador deve possuir, pelo menos, duas versões do instrumento traduzido. Nesta fase, inicia-se o processo de síntese das versões. Sintetizar as versões de um instrumento refere-se a comparar as diferentes traduções e avaliar as suas discrepâncias semânticas, idiomáticas, conceituais, linguísticas e contextuais, com o objetivo de se chegar a uma versão única. Nesse processo, é comum encontrar duas possíveis fontes de complicações: (1) traduções complexas que possam dificultar a compreensão da população a quem se destina o instrumento ou (2) traduções demasiadamente simplistas que subestimam o conteúdo do item. Escolhas inapropriadas são identificadas e resolvidas mediante uma discussão entre os juízes (experts na área a que o instrumento se propõe a avaliar), juntamente com os pesquisadores responsáveis pela adaptação do instrumento.

A avaliação das diferentes traduções de um instrumento deve ser feita para cada item em particular. Ao longo desse processo, o comitê (juízes e autores) deve avaliar a equivalência entre as versões traduzidas e o instrumento original em quatro diferentes áreas, a saber: (1) equivalência semântica - objetiva avaliar se as palavras apresentam o mesmo significado, se o item apresenta mais de um significado e se existem erros gramaticais na tradução; (2) equivalência idiomática - refere-se a avaliar se os itens de difícil tradução do instrumento original foram adaptados por uma expressão equivalente que não tenha mudado o significado cultural do item; (3) equivalência experiencial - refere-se a observar se determinado item de um instrumento é aplicável na nova cultura e, em caso negativo, substituir por algum item equivalente; (4) equivalência conceitual - busca avaliar se determinado termo ou expressão, mesmo que traduzido adequadamente, avalia o mesmo aspecto em diferentes culturas. Caso as versões traduzidas sejam falhas em um ou mais de um desses aspectos, o comitê pode propor uma nova tradução que seja mais adequada às características do instrumento e à realidade em que o mesmo será utilizado. Nessas ocasiões, a participação dos pesquisadores responsáveis pela pesquisa é fundamental, visto que devem possuir conhecimento suficiente sobre o construto que o instrumento avalia, podendo dirimir dúvidas teóricas sobre os itens e auxiliar na decisão sobre as melhores expressões a serem utilizadas.

A escolha de qual versão utilizar deve ser obtida por meio de consenso entre os juízes e, em momento algum, por imposição (Gjersing et al., 2010). Quando houver possibilidade, um observador externo deve ser solicitado a transcrever todo o processo de síntese, especialmente, no que se refere à escolha dos itens a serem utilizados (Beaton et al., 2000). Esse procedimento fornecerá ao pesquisador um panorama qualitativo sobre o processo. Ao final desta etapa, o pesquisador passa a conter uma única versão do instrumento, podendo esta ser composta por itens traduzidos por apenas um ou por mais de um tradutor (Gudmundsson, 2009).

Avaliação da Síntese por Experts

Após a síntese da versão traduzida, o pesquisador deve contar, ainda, com o auxílio de um comitê de experts na área da avaliação psicológica, ou, se possível, com conhecimento específico acerca do construto avaliado pelo instrumento, que avaliará aspectos ainda não contemplados, tais como a estrutura, o layout, as instruções do instrumento e a abrangência e adequação das expressões contidas nos itens. Aqui, os experts irão considerar, por exemplo, se os termos ou as expressões podem ser generalizados para diferentes contextos e populações (isto é, diferentes regiões de um mesmo país) e se as expressões são adequadas para aquele público a que o instrumento se destina. Aspectos da diagramação do instrumento também serão analisados, uma vez que estes são tão imprescindíveis quanto os aspectos linguísticos dos itens, principalmente em se tratando de instrumentos para uso com populações específicas, tais como crianças e idosos. Também são analisadas a clareza do rapport, a adequação do tipo e do tamanho da fonte utilizada, a disposição das informações no instrumento, entre outros aspectos.

Um exemplo refere-se ao estudo de adaptação de uma escala de coping religioso-espiritual, realizado por Panzini e Bandeira (2005). Esse instrumento avalia como os indivíduos utilizam sua fé para lidar com o estresse. Durante o processo de adaptação, entendeu-se como necessário submeter o instrumento a um grupo de experts no tema "coping religioso-espiritual", ou seja, líderes religiosos. Como no Brasil o número de religiões é maior que o do país de origem do instrumento, foi importante entrevistar líderes de diferentes instituições religiosas. Uma das importantes contribuições realizadas por esses juízes foi verificar em que medida os termos propostos estavam adequados e se poderiam ser generalizados para as mais diversas religiões.

A tradução, a síntese e a avaliação da versão são os primeiros passos do processo de adaptação de um instrumento para uma nova cultura. Após a conclusão dessas etapas, a primeira versão do instrumento estará pronta para uma próxima etapa, a qual consideramos essencial: a avaliação do instrumento pelo público-alvo.

Avaliação pelo Público-Alvo

Esta etapa do processo tem por objetivo verificar se os itens, as instruções e a escala de resposta são compreensíveis para o público-alvo. Em outras palavras, esse procedimento visa a investigar se as instruções são claras, se os termos presentes nos itens estão adequados, se as expressões correspondem àquelas utilizadas pelo grupo, entre outros aspectos. Os sujeitos a participarem desta etapa podem variar de acordo com as características dos respondentes a que o instrumento se destina. Por exemplo, se estamos falando de um instrumento de autorrelato, destinado a avaliar os comportamentos agressivos de crianças, é necessário que o instrumento seja apresentado a um grupo de crianças para que estas possam confirmar o quão claros são os itens, ou o quanto as expressões são representativas do vocabulário comumente utilizado pelo grupo. Nesse sentido, entendemos como essencial que esse instrumento possa ser avaliado por crianças com diferentes idades (dentro da faixa etária a que o instrumento se destina), bem como residentes em diferentes localidades e regiões (já que, uma vez validado, o instrumento poderá ser aplicado em diferentes populações, de diferentes regiões do país).

É importante salientar que durante o processo de avaliação pela população-alvo, ainda não é realizado nenhum procedimento estatístico, mas sim a avaliação da adequação dos itens e da estrutura do instrumento como um todo (se os termos são claros, se estão de acordo com a realidade, se estão bem redigidos, etc.). Em casos da não compreensão de algum item, por exemplo, é sugerido que o respondente forneça sinônimos que melhor exemplifiquem o vocabulário do grupo a quem o instrumento se destina. Nesta etapa, pode ser solicitado que as questões sejam lidas em voz alta pelo respondente e que o mesmo realize uma breve explicação sobre o significado de cada um dos itens. Também pode ser realizada uma aplicação para que os respondentes preencham o instrumento e, posteriormente, realizem uma discussão acerca da compreensão de cada item, propondo modificações, se caso for. A etapa da avaliação pelo público-alvo pode ser conduzida uma ou mais vezes, dependendo da necessidade e da complexidade do instrumento a ser adaptado.

Tradução Reversa - Back-translation

A tradução reversa é também sugerida como uma verificação de controle de qualidade adicional (Sireci et al., 2006). De acordo com nosso entendimento, esse procedimento deve suceder todos os procedimentos de ajuste semântico e idiomático, uma vez que o instrumento, nesta etapa, deverá estar "pronto" para avaliação final do autor do instrumento original. A tradução reversa refere-se a traduzir a versão sintetizada e revisada do instrumento para o idioma de origem. Seu objetivo é avaliar em que medida a versão traduzida está refletindo o conteúdo do item, conforme propõe a versão original.

Segundo Beaton et al. (2000), a realização da tradução reversa deve ser realizada por, pelo menos, outros dois tradutores que não aqueles que realizaram a primeira tradução. Diversos autores têm sido cautelosos sobre a utilização da tradução reversa (Gudmundsson, 2009; Hambleton, 1993; Van de Vijver & Leung, 1997). Para esses autores, o processo de tradução reversa pode incorrer na ênfase dos aspectos gramaticais em detrimento dos aspectos contextuais. Além disso, afirmam que a tradução reversa desconsidera o que até então vem sendo preconizado: que, ao adaptar um instrumento, diversos aspectos, sejam eles culturais, idiomáticos, linguísticos e contextuais, precisam ser considerados. Entretanto, é importante considerar que o objetivo da tradução reversa não deve ser a obtenção de uma equivalência literal entre as versões traduzidas e a versão original. Ao invés disso, o processo da tradução reversa deve ser utilizado como uma ferramenta para identificar palavras que não ficaram claras no idioma-alvo, buscando encontrar inconsistências ou erros conceituais na versão final, quando comparada à versão original (Beaton et al., 2000). A tradução reversa também pode ser utilizada como uma ferramenta prática para que o pesquisador que está adaptando o instrumento possa se comunicar com o autor do instrumento original. Quando o autor tem acesso à versão retrotraduzida (back-translated) do instrumento, pode afirmar se os itens têm, em sua essência, a mesma ideia conceitual que os itens originais.

Um exemplo que ilustra a utilidade da comunicação entre os autores, após o processo da tradução-reversa, refere-se ao procedimento de adaptação do Inventory of Personality Organization, realizado por Oliveira e Bandeira (2011). Nesse processo houve discordância quanto a um determinado item, em inglês: I am a hero worshiper even if I am later found wrong in my judgment, especificamente no termo hero worshiper, uma vez que a expressão equivalente (adorador de heróis) não apresenta um sentido claro no português brasileiro. O item foi traduzido para o português como "Eu idolatro algumas pessoas, mesmo que depois eu me dê conta de que estava enganado", sendo retraduzido para o inglês como: I idolize some people, even after I realizing that I was wrong about them. A tradução reversa, contudo, gerou discordância com o autor do instrumento original. Em função desse impasse, ocorreram diversas trocas de e-mails entre os autores, a fim de discutir o real significado da expressão original hero worshiper. O autor do instrumento original entendeu que o termo se referia a um mecanismo de idealização. Foi-lhe explicado, então, que a tradução literal em português não seria adequada, e que o termo "idolatrar" teria a mesma conotação de "idealização". Também se argumentou que a expressão "Eu idolatro algumas pessoas" foi inspirada na versão argentina do instrumento, a qual já havia sido aprovada pelo próprio autor.

Como pode se perceber, a retrotradução não pressupõe que o item necessita se manter literalmente igual ao original mas, sim, manter uma equivalência conceitual. Para isso, é importante que os autores estejam cientes da possibilidade dessas aproximações, considerando o significado do item no contexto cultural no qual este será apresentado.

Estudo-Piloto

Antes de afirmar que um novo instrumento está pronto para aplicação, deve ser realizado, incondicionalmente, o estudo-piloto. O estudo-piloto refere-se a uma aplicação prévia do instrumento em uma pequena amostra que reflita as características da amostra/população-alvo (Gudmundsson, 2009). Mais uma vez, nesse processo, deve-se avaliar a adequação dos itens em relação ao seu significado e à sua dificuldade de compreensão, bem como as instruções para a administração do teste. Após as modificações sugeridas no primeiro estudo-piloto, sugere-se realizar um segundo estudo-piloto (ou quantos forem necessários), para avaliar se o instrumento está, finalmente, pronto para ser utilizado.

Com o objetivo de evitar quaisquer tipos de vieses, as sugestões de modificação que surjam durante o procedimento do(s) estudo(s)-piloto devem ser realizadas com o auxílio do comitê de experts, e nunca apenas pelo pesquisador que foi a campo. Como se pode observar, o processo de adaptação de um instrumento para uma nova cultura consiste em diferentes etapas que, conforme sugerem distintos autores (Beaton et al., 2000; Gjersing et al., 2010; Hambleton, 2005), são fundamentais para a adequada realização do processo.

A Figura 1 apresenta um esquema metodológico proposto pelos autores para a tradução e a adaptação de instrumentos psicológicos para diferentes culturas.


Em algumas situações, pode haver mudanças nos passos propostos, tanto entre eles quanto dentro deles. Por exemplo, podemos ter a inserção de pequenos estudos-piloto antes da tradução reversa, a realização de grupos focais, ou mesmo a não avaliação do instrumento pelo público-alvo. Por vezes, alguns instrumentos são muito simples, de fácil entendimento, não sendo necessária a avaliação pelo público-alvo. O mesmo ocorre quando são instrumentos cujos itens são não verbais, ou seja, que não solicitam leitura para sua realização, sendo que nesse caso a preocupação detém-se apenas na tradução das instruções de aplicação, as quais não precisam atender a todos os passos propostos neste artigo.

Aspectos de Validação do Instrumento Adaptado

Os processos de adaptação descritos têm por objetivo produzir instrumentos que sejam equivalentes em diferentes culturas. Para alguns autores (Herdman, Fox-Rushby, & Badia, 1997; Hui & Triandis, 1985), a equivalência conceitual e idiomática é o primeiro aspecto a ser alcançado através do processo de adaptação. Entretanto, ainda que os métodos qualitativos sejam imprescindíveis para assegurar a adequação do processo de adaptação, eles não fornecem qualquer informação sobre as propriedades psicométricas do novo instrumento (Eremenco, Cella, & Arnold, 2005). Nesse sentido, complementarmente às etapas de adaptação do instrumento, devem ser realizadas análises estatísticas para avaliar em que medida o instrumento pode, de fato, ser considerado válido para o contexto ao qual foi adaptado. Adaptar e validar um instrumento são, portanto, passos distintos, porém complementares. Em geral, as revistas científicas exigem que as publicações nessa área explicitem tanto os procedimentos de adaptação quanto os de validação.

Os passos exigidos em um processo de validação de um instrumento psicológico são diversos (Urbina, 2007), não existindo na literatura consenso sobre quais e quantas evidências de validade o instrumento deve possuir para ser considerado válido. Sugerimos que quanto mais evidências o instrumento fornecer, melhor, visto que isso tende a aumentar a confiabilidade da medida. Complementando, entendemos, assim como Urbina (2007), que essas evidências devem ser também avaliadas por outros pesquisadores que não apenas os autores do instrumento, incrementando ainda mais sua validade.

A etapa de busca por evidência de validade de um instrumento pode ser subdividida em duas grandes áreas, a primeira referindo-se à validação do instrumento para o novo contexto, e a segunda referindo-se à validação do instrumento para estudos transculturais (envolvendo diferentes versões do mesmo instrumento). Para os objetivos deste artigo, discutiremos esses aspectos separadamente.

Evidências de Validade do Instrumento para o Novo Contexto

O primeiro passo para a validação de um instrumento refere-se à avaliação de sua estrutura fatorial. Em geral, os instrumentos são construídos para mensurar construtos que, mesmo sendo latentes (isto é, não observáveis), devem apresentar uma estrutura relativamente organizada. O burnout, por exemplo, é uma síndrome de cunho ocupacional composta por três dimensões distintas: exaustão emocional, despersonalização e baixa realização no trabalho.

O Maslach Burnout Inventory (MBI) (Maslach & Jackson, 1981), considerado o instrumento mais utilizado para sua mensuração, avalia essas três características por meio de três fatores distintos. Em estudos de validação do MBI para uso em novos contextos, espera-se encontrar uma estrutura relativamente similar à proposta original. Caso contrário, o instrumento estará apresentando discrepâncias que afetam a compreensão sobre o próprio construto que está sendo avaliado.

Possíveis alterações que aconteçam ao longo dos estudos de validação devem ser discutidas à luz de aspectos quantitativos e qualitativos, com vistas a compreender as possíveis razões que levaram à alteração na estrutura fatorial do instrumento. É importante salientar que, em geral, certas mudanças são esperadas devido a características amostrais, principalmente em instrumentos complexos, que apresentam um número elevado de itens e de fatores.

Técnicas de análises fatoriais exploratórias (AFEs) e análises fatoriais confirmatórias (AFCs) devem ser utilizadas para auxiliar o pesquisador na escolha da estrutura que seja mais plausível para a amostra. Tanto as AFEs quanto as AFCs têm por objetivo agrupar uma grande quantidade de variáveis observadas a um número reduzido de fatores (dimensões latentes) que explicam o conjunto de variáveis observadas (Brown, 2006). Para maior detalhamento desses procedimentos, pesquisadores interessados podem buscar textos-referência que visam a auxiliar na condução de AFEs (Costello & Osborne, 2005; Damásio, no prelo) e de AFCs (Brown, 2006).

Conforme explicitado anteriormente, avaliar a estrutura fatorial do instrumento refere-se apenas a um aspecto de um estudo de validação. Diversas outras evidências de validade devem ser realizadas, tais como a avaliação da validade de conteúdo e de critério do instrumento, realizadas a partir da comparação dos seus resultados com aqueles obtidos através de outras medidas equivalentes. Análises de consistência interna interitens, avaliação da precisão (confiabilidade e fidedignidade), bem como avaliação da consistência da medida em tempos distintos (estabilidade temporal), são formas de buscar evidências de validade para o instrumento adaptado. Esses procedimentos são realizados após a avaliação da estrutura fatorial do instrumento e devido ao espaço deste artigo não serão apresentados. Para maior aprofundamento nessa temática, sugere-se a leitura de Urbina (2007). Nessa obra, a autora apresenta capítulos específicos que tratam sobre a fidedignidade e sobre a validade de instrumentos psicológicos.

Validação de Instrumentos para Estudos Transculturais

Outro aspecto referente à validação de instrumentos psicológicos refere-se à adequação da medida para uso em estudos transculturais. Nessa perspectiva, alguns autores utilizam o conceito de equivalência referindo-se não apenas aos aspectos qualitativos do instrumento adaptado, mas também à mensuração não enviesada entre o instrumento adaptado e a sua fonte original, de maneira que quaisquer resultados obtidos a partir de estudos transculturais reflitam tão somente a diferença (ou semelhança) real entre os grupos, não sendo produto de falhas de adaptação (Eremenco et al., 2005).

Apesar de as AFEs e AFCs serem um conjunto de técnicas amplamente utilizadas na avaliação da validade de construto de instrumentos adaptados, quando o objetivo é realizar estudos transculturais, comparando diversos grupos entre si, é importante que o pesquisador avalie a compatibilidade da medida nos diversos grupos simultaneamente (Hambleton & Patsula, 1998; Reise, Widaman, & Pugh, 1993; Sireci, 2005). Com base nessas análises comparativas, o pesquisador pode assegurar que a medida avalia o mesmo construto de maneira similar nas diferentes populações, ou seja, assegura o pressuposto de invariância de medida (Reise et al., 1993). Dentre várias formas de avaliar a invariância de medida, a análise fatorial confirmatória multigrupo (AFCMG), o funcionamento diferencial do item (em inglês, differential item functioning, DIF), proposto pela Teoria de Resposta ao Item (TRI), e o escalonamento multidimensional (EMD) podem ser valiosos recursos (Milfont & Fischer, 2010; Sireci, 2005).

Na AFCMG, a estrutura fatorial do instrumento é estipulada a priori, e o pesquisador avalia, simultaneamente, a equivalência dos parâmetros estruturais nos diversos grupos de interesse (Brown, 2006). Dentre vários aspectos, pode-se observar: (1) a equivalência da estrutura do instrumento (isto é, se o mesmo número de fatores e os mesmos itens por fator se mantêm equivalentes para os diferentes grupos); (2) a equivalência das cargas fatoriais dos itens (isto é, se o peso ou a importância dos itens no fator são semelhantes para os diferentes grupos); (3) a similaridade da covariância da(s) variável(is) latente(s) (isto é, se os itens explicam o mesmo nível de variabilidade do construto para os diferentes grupos, e/ou se a covariância entre os fatores do instrumento são semelhantes para os diferentes grupos); e (4) a equivalência dos resíduos das variáveis observáveis (isto é, se os erros de medida são similares para os diferentes grupos) (Brown, 2006; Byrne, 2010).

A avaliação da equivalência da estrutura e dos parâmetros do teste, através da AFCMG, responde algumas questões relevantes, como, por exemplo: a estrutura fatorial de determinado instrumento é igual entre os grupos (mesmos itens avaliando o mesmo construto)? Os itens que compõem determinado fator apresentam a mesma importância nos diferentes subgrupos ou apresentam diferenças que impossibilitam a comparação das diferentes amostras? O instrumento apresenta itens que são enviesados para um subgrupo em particular?

O uso da AFCMG tem crescido de maneira exponencial nos estudos internacionais. Isso porque a técnica permite uma avaliação da invariância tanto da estrutura do instrumento quanto dos diversos parâmetros do teste. Pesquisadores interessados em melhor compreender a AFCMG podem remeter-se a Brown (2006) e a Byrne (2010).

A TRI, por sua vez, com o auxílio das técnicas de funcionamento diferencial do item (em inglês, differential item functioning, DIF) permite, assim como a AFCMG, a avaliação de similaridade dos itens de determinado instrumento para diferentes grupos (Sireci, 2005). Nos termos da TRI, um item de um teste apresenta DIF quando a função de resposta ao item (FRI) é diferente para sujeitos de diferentes grupos que apresentam o mesmo nível da variável latente (Andrade, Laros, & Gouveia, 2010). Se os sujeitos apresentam o mesmo nível na variável latente (por exemplo, mesmo nível de fobia social), mas apresentam FRI diferentes (diferentes probabilidades de respostas e, consequentemente, diferentes escores no item), é possível que este item esteja enviesado, apresentando funcionamento diferencial. Em situações que ocorrem DIF, duas estratégias podem ser adotadas. A primeira delas refere-se a eliminar os itens que apresentam DIF para que os grupos sejam comparáveis entre si. Nesses casos, o instrumento passa a ser um instrumento diferente do instrumento original, visto que alguns itens deixam de ser utilizados. A segunda proposta é a equiparação dos escores dos sujeitos mantendo os itens que apresentaram DIF (Eremenco et al., 2005). Nesses casos, os itens que apresentam DIF são considerados de maneira diferenciada para os grupos, com vistas a manter a equivalência entre os escores.

As técnicas de DIF propostas pela TRI são particularmente úteis para avaliar vieses de itens específicos, não sendo proveitosas para avaliação da equivalência de estruturas fatoriais (Kankaraš & Moors, 2010). Outro aspecto a considerar é que a maioria dos modelos da TRI avaliam, exclusivamente, medidas unidimensionais (isto é, instrumentos que contêm um único fator). Em caso de instrumentos multidimensionais, em geral, são conduzidas análises de DIF para as dimensões em separado, visto que para cada dimensão, os sujeitos apresentarão níveis específicos de traço latente (Millsap, 2010). Diversos textos-base podem ser consultados para maior compreensão das técnicas de DIF, conforme proposto pela TRI. Por exemplo, em Pasquali (2007), o autor apresenta capítulos específicos (capítulos 7 e 8) sobre a temática. Um exemplo prático do uso de técnicas de DIF para avaliar vieses de pesquisa em estudos transculturais pode ser encontrado em Peterson et al. (2003).

Por fim, o EMD refere-se a um conjunto de técnicas estatísticas que também possibilita a comparação de diferentes grupos simultaneamente. Diferentemente da AFCMG, o EMD apresenta a vantagem de que a estrutura fatorial do instrumento não precisa ser estipulada a priori. O pesquisador pode computar diferentes configurações, escolher a configuração de interesse (por exemplo, a configuração que melhor representa a estrutura teórica do instrumento) e avaliar se a estrutura apresenta adequação para os diferentes grupos (Arciniega, González, Soares, Ciulli, & Giannini, 2009). Outra característica importante do EMD é que, assim como na TRI, não é necessário um modelo linear para derivar a estrutura subjacente dos dados (Sireci, 2005).

A validade do pressuposto de invariância fatorial entre grupos é crucial para uma série de conclusões no desenvolvimento e adaptação de instrumentos psicométricos, bem como na comparação de grupos em estudos transculturais. A não ser que seja rigorosamente testada, os pesquisadores não podem afirmar que a estrutura e os parâmetros de determinado instrumento são semelhantes para as diferentes populações. Se as medidas do instrumento não são comparáveis entre os diferentes grupos, quaisquer diferenças encontradas em termos de diferença de escores dos grupos ou padrões de correlações com variáveis externas são, provavelmente, erros de mensuração e não refletem a real diferença entre os grupos (Tanzer, 2005).

Considerações Finais

Na Psicologia, cresce o interesse por estudos transculturais, o que, por sua vez, vem exigindo um maior rigor e preocupação quanto à qualidade e à adequação das medidas adaptadas e validadas para uso em diferentes contextos (ITC, 2010). Embora se reconheça a importância da adaptação de instrumentos para outras culturas, pesquisadores têm salientado que grande parte das pesquisas nesse campo tem sido considerada inválida devido à inadequação dos procedimentos de tradução e adaptação dos instrumentos (Hambleton, 2005). Muitas vezes, as adaptações dos instrumentos psicológicos baseiam-se na mera tradução dos itens para o novo idioma. Em geral, essas traduções são realizadas pelos próprios pesquisadores e contam com o processo de tradução reversa, no qual é analisado apenas o grau de equivalência semântica entre a versão adaptada e a versão original (Cassepp-Borges et al., 2010; Hambleton, 2005; Reichenheim & Moraes, 2003).

Não há consenso sobre como adaptar um instrumento para uso em outro contexto cultural. Tal procedimento vai depender das características do instrumento, dos contextos de sua aplicação (tanto da versão original como da sua adaptação) e da população a quem se destina. No entanto, é consenso que o processo de adaptação vai além da mera tradução, a qual não garante a validade de construto, tampouco a confiabilidade da medida.

O processo de adaptação de instrumentos deve considerar a pertinência dos conceitos e domínios apreendidos pelo instrumento original na nova cultura, bem como considerar a adequação de cada item do instrumento original em termos da capacidade de representar tais conceitos e domínios na nova população-alvo. Além disso, no processo deve-se considerar a equivalência semântica, linguística e contextual entre os itens originais e traduzidos, bem como a análise das propriedades psicométricas do instrumento original e de sua nova versão (ITC, 2010). Nossa experiência em seguir os passos propostos neste estudo tem gerado possibilidades mais fidedignas de avaliação de diversos construtos, em diferentes contextos, evitando desperdício de tempo, dinheiro e material. Instrumentos mal adaptados podem apresentar problemas quando outros estudos são conduzidos com os mesmos, gerando dados incoerentes ou pouco fidedignos. Em geral, é tardiamente, no momento da coleta e da posterior análise dos dados, que o pesquisador percebe os erros ocorridos durante o processo de tradução, adaptação e validação de um instrumento.

Especialmente em estudos transculturais, a utilização de instrumentos que foram meramente traduzidos não garante resultados confiáveis. Isso porque a mera tradução não oferece parâmetros para avaliar se os resultados obtidos referem-se a diferenças ou similaridades entre as diferentes amostras, ou se são oriundos de erros de tradução (Maneesriwongul & Dixon, 2004).

Durante as últimas décadas, estudos transculturais têm atraído especial atenção dos pesquisadores, sobretudo no campo da saúde mental. Estes estudos permitem, a partir da aplicação de um mesmo instrumento de medida, comparações entre diferentes indivíduos inseridos em diferentes contextos culturais. Os estudos transculturais permitem não apenas verificar diferenças entre indivíduos e culturas, como também compreender as semelhanças e características comuns entre os mesmos. Para isso, é necessário que existam instrumentos adequadamente adaptados, que possam proporcionar equivalência da medida, independentemente do contexto em que for utilizado. Nesse sentido, além da necessidade de um rigoroso processo de adaptação, a avaliação das características psicométricas do novo instrumento é imprescindível para garantir que o instrumento está em condições de uso.

O presente artigo propõe procedimentos a serem conduzidos quando do processo de adaptação, bem como análises estatísticas que podem somar na garantia de que o instrumento apresente as propriedades necessárias para o uso tanto na população-alvo quanto em estudos transculturais. Pormenorizar tais aspectos, em especial os procedimentos estatísticos, está fora do alcance deste artigo, entretanto, as diretrizes e referências mencionadas poderão servir como base para que os interessados busquem aprofundamento na área da adaptação de instrumentos psicológicos.

Damásio, B. F. (no prelo). O uso da análise fatorial exploratória em psicologia. Avaliação Psicológica.

International Test Commission. (2010). International Test Commission guidelines for translating and adapting tests. Recuperado em 24 julho 2012, de http://www.intestcom.org/upload/sitefiles/40.pdf

Recebido: 24/07/2012

1ª revisão: 19/09/2012

Aceite final: 02/10/2012

Juliane Callegaro Borsa é Doutora em Psicologia pelo Programa de Pós-graduação da Universidade Federal do Rio Grande do Sul.

Bruno Figueiredo Damásio é doutorando em Psicologia pelo Programa de Pós-graduação da Universidade Federal do Rio Grande do Sul.

Denise Ruschel Bandeira é Professora Adjunta do Instituto de Psicologia da Universidade Federal do Rio Grande do Sul.

  • Andrade, J. M., Laros, J. A., & Gouveia, V. V. (2010). O uso da teoria de resposta ao item em avaliações educacionais: Diretrizes para pesquisadores. Avaliação Psicológica, 9(3), 421-435.
  • Arciniega, L. M., González, L., Soares, V., Ciulli, S., Giannini, M. (2009). Cross-cultural validation of the Work Values Scale (EVAT) using multi-group confirmatory factor analysis and confirmatory multidimensional scaling. The Spanish Journal of Psychology, 12(2), 767-772.
  • Beaton, D. E., Bombardier, C., Guillemin, F., & Ferraz, M. B. (2000). Guidelines for the process of cross-cultural adaptation of self-report measures. Spine, 25(24), 3186-3191.
  • Brown, T. A. (2006). Confirmatory factor analysis for applied research New York: Guilford.
  • Byrne, B. M. (2010). Structural equation modeling with AMOS: Basic concepts, applications, and programming (2nd ed.). New York: Routledge, Taylor & Francis.
  • Cassepp-Borges, V., Balbinotti, M. A. A., & Teodoro, M. L. M. (2010). Tradução e validação de conteúdo: Uma proposta para a adaptação de instrumentos. In L. Pasquali, Instrumentação psicológica: Fundamentos e práticas (pp. 506-520). Porto Alegre: Artmed.
  • Costello, A. B., & Osborne, J. W. (2005). Best practices in exploratory factor analysis: Four recommendations for getting the most from your analysis. Practical Assessment, Research & Evaluation, 10(7), 1-9.
  • Eremenco, S. L., Cella, D., & Arnold, B. J. (2005). A comprehensive method for the translation and cross-cultural validation of health status questionnaires. Evaluation & the Health Professions, 28(2), 212-232. doi:10.1177/0163278705275342
  • Gjersing, L., Caplehorn, J. R. M., & Clausen, T. (2010). Cross-cultural adaptation of research instruments: Language, setting, time and statistical considerations. BMC Medical Research Methodology, 10, 13. doi:10.1186/1471-2288-10-13
  • Gudmundsson, E. (2009). Guidelines for translating and adapting psychological instruments. Nordic Psychology, 61(2), 29-45. doi:10.1027/1901-2276.61.2.29
  • Hambleton, R. K. (1993). Translating achievement tests for use in cross-national studies. European Journal of Psychological Assessment, 9(1), 57-68.
  • Hambleton, R. K. (1994). Guidelines for adapting educational and psychological tests: A progress report. European Journal of Psychological Assessment, 10(3), 229-244.
  • Hambleton, R. K. (2005). Issues, designs, and technical guidelines for adapting tests into multiple languages and cultures. In R. K. Hambleton, P. F. Merenda, & C. D. Spielberger (Eds.), Adapting educational and psychological tests for cross-cultural assessment (pp. 3-38). Mahwah, NJ: Lawrence Erlbaum.
  • Hambleton, R. K., & Patsula, L. (1998). Adapting tests for use in multiple languages and cultures. Social Indicators Research, 45(1-3), 153-171. doi:10.1023/A:1006941729637
  • Herdman, M., Fox-Rushby, J., & Badia, X. (1997). Equivalence and the translation and adaptation of health-related quality of life questionnaires. Quality of Life Research, 6(3), 237-247. doi:10.1023/A:1026410721664
  • Hui, C. H., & Triandis, H. C. (1985). Measurement in cross-cultural psychology: A review and comparison of strategies. Journal of Cross-Cultural Psychology, 16(2), 131-152. doi:10.1177/0022002185016002001
  • Kankaraš, M., & Moors, G. (2010). Researching measurement equivalence in cross-cultural studies. Psihologija, 43(2), 121-136. doi:10.2298/PSI1002121K
  • Maneesriwongul, W., & Dixon, J. K. (2004). Instrument translation process: A methods review. Journal of Advanced Nursing, 48(2), 175-186. doi:10.1111/j.1365-2648.2004.03185.x
  • Maslach, C., & Jackson, S. E. (1981). The measurement of experienced burnout. Journal of Ocuppational Behavior, 2(2), 99-113. doi:10.1002/job.4030020205
  • Milfont, T. L., & Fischer, R. (2010). Testing measurement invariance across groups: Applications in cross-cultural research. International Journal of Psychological Research, 3(1), 111-121.
  • Millsap, R. E. (2010). Testing measurement invariance using item response theory in longitudinal data: An introduction. Child Development Perspectives, 4(1), 5-9. doi:10.1111/j.1750-8606.2009.00109.x
  • Oliveira, S. E. S., & Bandeira, D. R. (2011). Linguistic and cultural adaptation of the Inventory of Personality Organization (IPO) for the Brazilian culture. Journal of Depression & Anxiety, 1(1), 1-7.
  • Panzini, R. G., & Bandeira, D. R. (2005). Escala de coping religioso-espiritual (Escala CRE): Elaboração e validação de construto. Psicologia em Estudo, 10(3), 507-516. doi:10.1590/S1413-73722005000300019
  • Pasquali, L. (2007). TRI - Teoria de Resposta ao Item: Teoria, procedimentos e aplicações. Brasília: LabPAM.
  • Peterson, M. A., Groenvold, M., Bjorner, J. B., Aaronson, N., Conroy, T., Cull, A., Fayers P., Hjermstad, M., Sprangers, M., Sullivan, M., & European Organization for Research and Treatment of Cancer Quality of Life Group. (2003). Use of differential item functioning analysis to assess the equivalence of translations of a questionnaire. Quality of Life Research, 12(4), 373-385.
  • Reichenheim, M. E., & Moraes, C. L. (2003). Adaptação transcultural do instrumento Parent-Child Conflict Tactics Scale (CTSPC) utilizado para identificar a violência contra a criança. Cadernos de Saúde Pública, 19(6), 1701-1712. doi:10.1590/S0102-311X2003000600014
  • Reise, S. P., Widaman, K. F., & Pugh, R. H. (1993). Confirmatory factor analysis and item response theory: Two approaches for exploring measurement invariance. Psychological Bulletin, 114(3), 552-566. doi:10.1037/0033-2909.114.3.552
  • Sireci, S. G. (2005). Using bilinguals to evaluate the comparability of difference language versions of a test. In R. K. Hambleton, P. F. Merenda, & C. D. Spielberger (Eds.), Adapting educational and psychological tests for cross-cultural assessment (pp. 117-138). Mahwah, NJ: Lawrence Erlbaum.
  • Sireci, S. G., Yang, Y., Harter, J., & Ehrlich, E. J. (2006). Evaluating guidelines for test adaptations: A methodological analysis of translation quality. Journal of Cross-Cultural Psychology, 37(5), 557-567. doi:10.1177/0022022106290478
  • Tanzer, N. K. (2005). Developing tests for use in multiple languages and cultures: A plea for simultaneous development. In R. K. Hambleton, P. F. Merenda, & C. D. Spielberger (Eds.), Adapting educational and psychological tests for cross-cultural assessment (pp. 235-264). Mahwah, NJ: Lawrence Erlbaum.
  • Urbina, S. (2007). Fundamentos da testagem psicológica. Porto Alegre: Artmed.
  • Van de Vijver, F. J. R., & Leung, K. (1997). Methods and data analysis for cross-cultural research. Newbury Park, CA: Sage.
  • Vivas, E. (1999). Estudios transculturales: Una perspectiva desde los trastornos alimentarios. In S. M. Wechsler & R. S. L. Guzzo (Orgs.), Avaliação psicológica: Perspectiva internacional (2a ed., pp. 463-481). São Paulo: Casa do Psicólogo.
  • Endereço para correspondência:
    Juliane Callegaro Borsa.
    Universidade Federal do Rio Grande do Sul.
    Rua Ramiro Barcelos, 2600, sala 120.
    CEP 90.035-003. Porto Alegre-RS, Brasil.
    E-mail:
  • 1
    Apoio: Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq).
  • Datas de Publicação

    • Publicação nesta coleção
      25 Mar 2013
    • Data do Fascículo
      Dez 2012

    Histórico

    • Recebido
      24 Jul 2012
    • Aceito
      02 Out 2012
    • Revisado
      19 Set 2012
    Universidade de São Paulo, Faculdade de Filosofia Ciências e Letras de Ribeirão Preto, Programa de Pós-Graduação em Psicologia Av.Bandeirantes 3900 - Monte Alegre, 14040-901 Ribeirão Preto - São Paulo - Brasil, Tel.: (55 16) 3315-3829 - Ribeirão Preto - SP - Brazil
    E-mail: paideia@usp.br