Volume 15 : Number 1 : Paper 2

April 2012 Special issue: ESELAW 2011 + Computer Science Education
Title:
Using GQM and TAM to evaluate StArt – a tool that supports Systematic Review

Authors and Affiliations:
Elis Cristina Montoro Hernandes, Universidade Federal de São Carlos, Computing Department São Carlos, Brazil, 13565-905
Augusto Zamboni, Universidade Federal de São Carlos, Computing Department São Carlos, Brazil, 13565-905
Sandra Fabbri, Universidade Federal de São Carlos, Computing Department São Carlos, Brazil, 13565-905
André Di Thommazo, Instituto Federal de Educação, Ciência e Tecnologia de São Paulo (IFSP) São Carlos, Brazil, 13565-905

Abstract:
Background: Although Systematic Literature Review (SLR) is a reliable way of conducting literature review, its process is laborious and composed of repetitive activities. Hence, aiming to facilitate and support the conduction of such a process, the StArt tool was developed.
Objective: As any new technology should be evaluated before its use, the objective of this paper is to present an overview of this tool and describe an evaluation that was carried out aiming at characterizing its usefulness and its ease of use.
Method: The evaluation, applied twice, was designed through GQM paradigm and TAM model. The participants were graduate students who had a previous knowledge on SLR and have already applied the SLR process manually.
Results: In both the evaluations the results were concentrated on the answers “extremely agree” or “quite agree” both for the usefulness and for the ease of use.
Conclusion: Based on the results the further actions are: improvements related to the “quite agree” answers and the conduction of an experiment for evaluating the StArt in a deeper way. Despite these needed improvements, the results provide insights that StArt indeed helps the conduction of SLR and facilitates the application of its process.

Portuguese Abstract:
Contexto: Embora Revisões Sistemáticas da Literatura (SLR) sejam confiáveis para conduzir revisões bibliográficas, seu processo é árduo e composto por atividades repetitivas. Sendo assim, a ferramenta StArt foi desenvolvida com o objetivo de facilitar e dar suporte a condução desse processo.
Objetivo: Como toda nova tecnologia deve ser avaliada antes de ser disponibilizada para uso, o objetivo deste estudo é apresentar uma visão geral da ferramenta e descrever a avaliação conduzida para caracterizar sua utilidade e facilidade de uso.
Método: A avaliação, conduzida em dois momentos, foi planejada usando o paradigma GQM e o modelo TAM. Os participantes foram alunos de pós-graduação com prévio conhecimento em SLR e que já haviam conduzido SLRs manualmente.
Resultado: Em ambas as avaliações as respostas estão concentradas em"concordo plenamente" ou "concordo muito", tanto para utilidade quanto para facilidade de uso.
Conclusão: Com base nos resultados, ações futuras para o aprimoramento da StArt foram planejadas: realizar as sugestões de melhorias atreladas às respostas "concordo um pouco" e conduzir novos estudos experimentais para avaliar a StArt de uma maneira mais específica. Apesar da necessidade de melhorias, os resultados indicam que a StArt ajuda a condução do processo de SLR e facilita sua aplicação.

Keywords:
systematic literature review, SLR, evidence-based software engineering, tool, literature review.

Portuguese Keywords:
revisão sistemática da literatura, SLR, engenharia de software baseada em evidência, ferramenta, software, revisão da literatura, revisão bibliográfica.

Received 2011-08-01, Revised 2011-12-30 , Editor: Auri M. R. Vincenzi, Tayana U. Conte
Full paper, 13 pages [ PDF, 900 Kb ]