Processo de Validação de uma Tecnologia Assistiva
Tecnologias Assistivas (TAs) desenvolvidas baseada na Análise do Comportamento Aplicada (ABA), ou neste protocolo, poderão ser validadas a fim de verificar sua adequação perante as sete dimensões da ABA. Para ser validada, a tecnologia e suas informações devem estar disponível para acesso. Como forma de realizar esse procedimento é proposto um checklist (conforme tabela abaixo) baseado nas setes dimensões da ABA (Baer et al.1968) e no trabalho de (Sundberg 2015).
| DIMENSÕES | CRITÉRIOS | 0 | 1 | 2 | 3 | 4 | 5 | OBSERVAÇÕES |
|---|---|---|---|---|---|---|---|---|
| Aplicada | A tecnologia descreve o comportamento-objetivo que visa ensinar. | |||||||
| O comportamento-objetivo selecionado é socialmente relevante. | ||||||||
| Os pré-requisitos para o desenvolvimento do comportamento-objetivo estão descritos pela tecnologia. | ||||||||
| O propósito da tecnologia condiz com asatividades que ela executa. | ||||||||
| O plano de intervenção é implemetnado corretamente pela tecnologia. | ||||||||
| Comportamental | As dimensões mensuráveis viáveis do comportamento-objetivo estão mensuradas pela tecnologia. | |||||||
| Houve a descrição das dimensões mensuradas do comportamento-objetivo. | ||||||||
| Os critérios para passar de um nível a outro do comportamento-objetivo estão descritos. | ||||||||
| A tecnologia possui avaliação e flexibilidade das consequências oferecidas como reforçadores. | ||||||||
| A tecnologia permite a alteração de estímulos antecedentes para a adaptação do participante. | ||||||||
| A tecnologia permite a flexibilização de critérios de aprendizagem ou utiliza alguma Inteligência Artificial para estas individualizações. | ||||||||
| Tecnológica | Os procedimentos comportamentais implementadospela tecnologia estão descritos a ponto de permitirem replicações diretas e sistemáticas. | |||||||
| A tecnologia está disponível para acesso e possui informação explícita de uma via de contato para sanar dúvidas de uso. | ||||||||
| São públicos os estudos ou procedimentos de utilização da tecnologia, com número de usuários e taxa de sucesso, fracasso e abandono. | ||||||||
| As instruções de uso da tecnologia estão bem explicadas de modo a permitirem uma utilização consistente pelos usuários. | ||||||||
| Conceitual | Os processos comportamentais desejados pela tecnologia estão descritos de maneira consistente com a Análise do Comportamento. | |||||||
| A utilização da terminologia comportamental (conceitos e técnicas) está consistente com o rigor teórico. | ||||||||
| Analítica | O estudo que utilizou a tecnologia mostra que ocorreu coleta de Linha-de-Base antes da intervençã. | |||||||
| A mensuração do comportamento-objetivo é organizada em gráficos, que orientam a tomada de decisão ou acompanhamento da evolução do participante. | ||||||||
| Existe estratégias de delineamento experimental (reversão, linha-de-base múltipla ou multielementos) para avaliar a relação funcional entre variáveisimplementados pela tecnologia ou demonstrado o uso no estudo. | ||||||||
| Efetiva | Os resultados prévios apresentados em versão beta ou publicação, demonstram que o indivíduo esta adquirindo habilidades adequadas e significativas. | |||||||
| Existem critérios consistentes com a pesquisa científica para passar de fase ou “zerar” a tecnologia. | ||||||||
| Generalizada | Estão descritas as estratégias de generalização que a tecnologia implementa. | |||||||
| As possibilidades de generalização elencadas são úteis e exequíveis. | ||||||||
| Há possibilidades de input de informações externas ao sistema para validação de generalização. | ||||||||
| Legenda: 0 (Não Aplicável) - 1 (Discordo Totalmente) – 2 (Discordo) – 3 (Indiferente) – 4 (Concordo) – 5 (Concordo Totalmente) | ||||||||
Em relação a validação da TA, ela deve ser realizada às cegas por três avaliadores (conforme padrão adotado por algumas revistas científicas) com conhecimento em ABA e TA. De posse das informações da TA que será validada, os avaliadores deveram utilizar os critérios definidos na tabela anterior para mensurar o seu grau de concordância em relação aos critérios de cada dimensão. Como forma de realizar este procedimento, utiliza-se a Escala de Likert, amplamente aplicada para medir opiniões, preferências e atitudes (Brown, 2011; Leug, 2011; Sullivan; Jr, 2013). Além do mais, esta escala também é empregada por diversos trabalhos para validar uma TA (Valadão et al., 2016; Koumpouros; Papageorgiou; Karavasili, 2017; satterfield; Walker; Milchus, 2021).
Em 1932 Rensis Likert propôs a Escala Likert para que os sujeitos mensurem seus níveis de aceitação e de aprovação tendo como parâmetro suas relações sociais e suas experiências. Conforme descrito por (Brown, 2011; Leug, 2011; Sullivan; Jr, 2013) esta escala permite que os indivíduos entrevistados respondam às perguntas propostas expressando seu grau de concordância ou discordância sobre o que está sendo avaliado, permitindo observar a frequência e intensidade de ocorrência de um fenômeno.
Para expressar as opiniões dos avaliadores em relação aos critério de cada dimensão a partir da Escala Likert, cinco níveis de concordância NC com seus respectivos valores foram definidos em que: NC=1 – Discordo totalmente, NC=2 – Discordo parcialmente, NC=3 – Indiferente, NC=4 – Concordo parcialmente e NC=5 – Concordo totalmente. Existem também casos em que alguns critérios do checklist podem não ser aplicáveis à diretriz em análise, para estas situações, o avaliador deve classificar o critério de a uma diretriz específica, como NA – Não se aplica. Além disso, os avaliadores precisam atribuir apenas um nível de concordância para cada critério de cada dimensão. Por fim, quando necessário, os avaliadores poderão adicionar uma observação ao critério avaliado contextualizando sua classificação, ou seja, eles poderão realizar uma descrição sobre as fragilidades identificadas em cada critério, isso auxiliará o aprimoramento da TA posteriormente.
Em relação a análise dos dados da escala Likert, ela pode ser baseada em itens individuais ou num somatório pelo escore total (Leung, 2011). Segundo Derrick e White (2017), utilizar o somatório dos itens Likert é uma prática bem estabelecida e que vem sendo utilizada desde a publicação seminal do trabalho de Rensis Likert em 1932 (Likert, 1932). Desta forma, os dados coletados pela Tabela acima, serão inicialmente calculados de forma individualizada, ou seja, por avaliador. Para isso, cada dimensão possui uma nota individualizada, a qual é calculada por meio de um somatório de todos os NC atribuídos pelos avaliadores a cada critério. Sobre o resultado desse somatório, deve-se aplicar uma normalização, numa escala que varia de 0 a 100%, como forma de simplificar a apresentação e interpretação dos dados.
Com o término das avaliações realizadas pelos três avaliadores, uma nota final para cada dimensão e para a tecnologia em si deve ser gerada. Para isso, utiliza-se “apenas como um referencial” o cálculo do Coeficiente de Validade de Conteúdo (CVC) conforme sugerido por (Hernández-Nieto et al., 2002), o qual foi adaptado para suprir as necessidades desta etapa. Nesse sentido, será calculado um coeficiente para cada uma das dimensões avaliadas (Aplicada, Comportamental, Tecnológica, Conceitual, Analítica, Eficaz e Generalizada) a partir das pontuações de cada um dos critérios dadas por meio da escala Likert utilizada. O referencial teórico do cálculo dos coeficientes será mantido como realizado no CVC proposto por (Hernández-Nieto et al., 2002).
Para a atribuição de pontos de corte dos coeficiente obtidos para cada dimensão e para tecnologia em si também serão consideradas as recomendações da literatura (Hernández-Nieto et al., 2002; Balbinotti; Benetti; Terra, 2007; Cassepp-Borges; Balbinotti; Teodoro, 2010). Dessa forma, será considerado aceitável para cada dimensão o CVCc ≥ 0,70 e para a nota final da TA foi do CVCt ≥ 0,70.
Dessa maneira, aplicando novamente uma normalização nos resultados do CVCc e CVCt numa escala que varia de 0 a 100%, se a nota final da TA (CVCt) for ≥ 70%, isso demonstra que a tecnologia possui potencial e irá contribuir com a intervenção, caso contrário a tecnologia é consistente com a evidência produzida e pode contribuir com a intervenção, porém os pontos que apresentaram fragilidades devem ser revisados e melhorados antes que seja utilizada.
Cabe ressaltar que baseado nos resultados finais que envolve os pontos que cada diretriz obteve (CVCc) e a nota final da TA (CVCt), uma reunião pode ser realizada com os três avaliadores como forma de comparar os resultados para corrigir grandes divergências nas análises realizadas certificando as informações validadas. Por fim, após as análises de todos os avaliadores, é importante que seja disponibilizado ao solicitante da validação alguns relatórios contendo as seguintes informações: 1) as notas individuais de cada avaliador atribuídas a cada dimensão avaliada, demonstrando quais dimensões possuem fragilidades ou potencialidades; 2) uma avaliação qualitativa demonstrando os pontos positivos e limitações de cada critério, quando necessário; e 3) um relatório final das notas dos 3 avaliadores, para isso utiliza-se as informações do CVC.
Referências:
Baer, D. M., Wolf, M. M., and Risley, T. R. (1968). Some current dimensions of appliedbehavior analysis.Journal of applied behavior analysis, 1(1):91–97.
Balbinotti, M. A. A., Benetti, C., & Terra, P. R. S. (2007). Translation and validation of the Graham‐Harvey survey for the Brazilian context. International Journal of Managerial Finance.
Brown, J. D. (2011). Likert items and scales of measurement.Statistics, 15(1):10–14.
Cassepp-Borges, V., Balbinotti, M. A., & Teodoro, M. L. (2010). Tradução e validação de conteúdo: uma proposta para a adaptação de instrumentos. Instrumentação psicológica: Fundamentos e práticas, 506-520.
Derrick, B., & White, P. (2017). Comparing two samples from an individual Likert question. International Journal of Mathematics and Statistics, 18(3).
Hernández-Nieto, R. A. (2002). Contributions to statistical analysis. Mérida: Universidad de Los Andes, 193.
Koumpouros, Y., Papageorgiou, E., & Karavasili, A. (2017). Development of a new psychometric scale (PYTHEIA) to assess the satisfaction of users with any assistive technology. In Advances in human factors and ergonomics in healthcare (pp. 343-353). Springer, Cham.
Leung, S. O. (2011). A comparison of psychometric properties and normality in 4-, 5-, 6-, and 11-point Likert scales. Journal of Social Service Research, 37(4), 412-421.
Likert, R. (1932). A technique for the measurement of attitudes. Archives of psychology.
Satterfield, B., Walker, B. N., & Milchus, K. (2021). The Development of a Measurement Tool for Mastery of Assistive Technology. Georgia Institute of Technology.
Sullivan, GM e Artino Jr, AR (2013). Analisar e interpretar dados de escalas do tipo Likert. Jornal da educação médica de pós-graduação , 5 (4), 541-542.
Sundberg, M. L. (2015). ABA program evaluation form. Acessado em: 28 Abr. 2021. Disponível em: https://avbpress.com/wp-content/uploads/2019/07/J-Detailed-ABA-Program-Assessment.pdf.
Valadão, C. T., Goulart, C., Rivera, H., Caldeira, E., Bastos, T. F., Frizera-Neto, A., & Carelli, R. (2016). Analysis of the use of a robot to improve social skills in children with autism spectrum disorder. Research on Biomedical Engineering, 32, 161-175.