http://repositorio.febab.libertar.org/files/original/49/5972/SNBU2012_111.pdf 68cfb90448f36d8d0ba3bbb846f5a45e PDF Text Text Arquitetura da informação: usabilidade. ergonomia . entre outros i! """"'" MaooNlck ~ = :, IiWitt.UJ 1I....111~ Trabalho completo TESTE DE USABILlDADE DA BIBLIOTECA VIRTUAL EM SAÚDE: avaliação da eficácia, eficiência e satisfação Izabel França de Lima ' , Renato Rocha Souzél, Guilherme Ataíde Dias3 10outoranda em Ciência da Informação pela UFMG, Bibliotecária da UFPB, João Pessoa/PB 20outor em Ciência da Informação, Fundação Getúlio Vargas, Rio de Janeiro/RJ 30outor em Ciência da Informação, Universidade Federal da Paraíba , João Pessoa/PB Resumo Aborda aspectos relativos à avaliação de bibliotecas digitais, consideradas como dispositivos informacionais que podem auxiliar na democratização da informação mediada pelas tecnologias digitais. Tais bibliotecas podem ser compreendidas como um espaço de organização, armazenamento, disseminação e acesso a informação por meio de uma rede de comunicação. Discute a importância da avaliação dessas bibliotecas, observando a ausência de normas internacionais destinadas à mensuração dessas. Objetiva avaliar a usabilidade da Biblioteca Virtual em Saúde (BVS) . Metodologicamente caracteriza-se como um teste formal de usabilidade, com a finalidade de medir a eficiência , a eficácia e a satisfação de usuários de bibliotecas digitais. O teste foi composto por três instrumentos de coleta de dados, um questionário de perfil/experiência ; uma lista de dez tarefas a serem realizadas, utilizando o site da BVS ; e um questionário com oito perguntas abertas que extraía percepções sobre o uso da biblioteca e seus recursos. O modelo metodológico foi aplicado entre os dias 05 e 21 de dezembro de 2011 no laboratório de informática do Centro de Ciências da Saúde da Universidade Federal da Paraíba. Os resultados do teste de usabilidade possibilitam inferir que a BVS apresenta um bom nível de eficácia e boa eficiência, tendo o quesito satisfação atingido o nível satisfatório, conforme as respostas apresentadas nas questões abertas pelos participantes da pesquisa . Foram detectados alguns problemas de usabilidade e apresentadas sugestões para melhorar a interface e, consequentemente, a interação usuário/biblioteca digital. Palavras-chave: Bibliotecas digitais; Avaliação de bibliotecas digitais; avaliação de usabilidade de bibliotecas digitais; Metodologia para avaliação de usabilidade. Abstract This study discusses aspects of the evaluation of digital libraries, considered as information devices that assist in the democratization of information mediated by digital technologies. Such libraries can be understood as environments for organization , storage, dissemination and access to information by means of a communication network. The study discusses the importance of evaluating these libraries, noting the absence of international standards for measuring these libraries. Aims to evaluate the usability of the Virtual Health Library (BVS). Methodologically characterized as a formal usability test, the study aims to measure efficiency, effectiveness and user satisfaction in digital libraries. The test consisted of three instruments for data collection : one profile/experience questionnaire, one list of ten tasks to be performed using the BVS's website, and one questionnaire with eight 1305 �Arquitetura da informação: usabilidade. ergonomia . entre outros i! """"'" MaooNlck ~ = :, IiWitt.UJ 1I....111~ Trabalho completo open questions designed to elicit perceptions about the library and its resources. The methodological model was implemented between December 5th and 21 st, 2011 at the computer lab of the Health Sciences Center of Federal University of Paraíba . From the results of the usability test it is possible to infer that the BVS shows a good levei of effectiveness and efficiency, and the satisfaction item reached a satisfactory levei, according to the answers provided by the participants in the open questions. The study found some usability problems and presented suggestions for improving the digital library's interface and , consequently, the user-digital library interaction. Keywords: Digital libraries; Digital library evaluation ; Usability evaluation of digital libraries; Methodology for usability evaluation . 1 Introdução Com o advento da sociedade da informação, essa nova sociedade reconfigurada pelas TIC ganha destaque no mundo globalizado, tendo a Internet como a principal mola propulsora , interligando países, nações, indivíduos (TAKAHASHI , 2000). Essas tecnologias propiciam o surgimento de ambientes informacionais, onde as bibliotecas digitais podem ser compreendidas como um espaço de organização, armazenamento, disseminação e acesso à informação por meio de uma rede de comunicação , proporcionando condições para que os indivíduos possam acessar, criar e recriar textos, produzindo não apenas seus próprios meios, mas também interagindo com um potencial de recuperação da informação nunca dantes visto. A relação entre as bibliotecas digitais e os usuários instou-nos a pensar, sistematicamente, sobre a usabilidade como uma "medida na qual um produto pode ser usado por usuários específicos para alcançar objetivos específicos com eficácia , eficiência e satisfação em um contexto específico de uso" (ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS , 2002 , p. 3). Assim sendo , entendemos a usabilidade como a capacidade apresentada por um sistema interativo para operar, de modo eficaz, eficiente e agradável, em um determinado contexto de realização das tarefas de seus usuários. A usabilidade consiste em propriedades da interface de um sistema , no que diz respeito à sua adequação às necessidades dos usuários, permitindo verificar o desempenho da interação homem-máquina e conhecer a satisfação desse usuário quanto às tarefas realizadas e sua aplicação (DIAS, 2003). Para Saracevic (2004) , as discussões sobre bibliotecas digitais são abundantes, exceto quando se trata de avaliação. Afirma, ainda, que na literatura sobre avaliação dessas bibliotecas podem ser encontrados dois tipos distintos de relatos de pesquisas: a) trabalhos que sugerem conceitos de avaliação , modelos, abordagens, metodologias ou discutem avaliação; e b) trabalhos que relatam avaliação real , ou seja, aplicação de metodologias as quais contêm dados quantitativos (estatísticos) ou dados qualitativos (impressões). Pareceu-nos relevante e avaliar a usabilidade da Biblioteca Virtual em Saúde (BVS), já que são, no contexto hodierno, mais do que instrumentos importantes no acesso à informação. Assim, definimos que gostaríamos de saber qual o nível de eficácia e eficiência da BVS, e saber a opinião dos usuários ao realizarem atividades comuns quando se busca informação em uma biblioteca digital. 1306 �Arquitetura da informação: usabilidade. ergonomia . entre outros i! """"'" MaooNlck ~ = :, IiWitt.UJ 1I....111~ Trabalho completo A pesquisa objetivou avaliar a usabilidade da BVS. Adotamos as seguintes etapas: a) Aplicar o teste formal de usabilidade na BVS; b) Conhecer o nível de usabilidade da BVS, com base na eficiência, na eficácia e na satisfação ; c) saber a opinião dos usuários ao realizarem atividades comuns quando se busca informação na BVS. 2 Bibliotecas Digitais Para autores como Silva e Garcia (2005) e Sayão (2008), as bibliotecas digitais tiveram sua gênese com as ide ias de Paul Otlet, com o sonho de biblioteca universal, Vanevar Bush, com sua máquina amplificadora da memória, e Theodore Holm Nelson, com o projeto Xanadu e sua representação do pensamento associativo, e posteriormente com Tim Berners Lee idealizando e criando o sistema world wide web para reunir virtualmente informações. Para Sayão (2008, p. 8) "desde o início da computação ficou claro que a automação das bibliotecas traria um extraordinário ganho de produtividade aos processos biblioteconômicos por conta da natureza e do volume de dados tratados pelas bibliotecas". Assim , o uso da informática nas bibliotecas origina uma prática biblioteconômica que substitui a criação de catálogos por portais de acesso, integrando armazenagem, consulta e suprimento em formato dos próprios documentos legível em sua diversidade. Le Crosnier, (2005,p .1) afirma que para a Association of Research Libraries "as coleções de bibliotecas digitais não se contentam com referências, mas se interessam por todos os artefatos digitais que não podem ser apresentados ou representados em forma impressa". Nos conceitos encontrados na Ciência da Informação o entendimento "biblioteca digital", contém representações digitais dos objetos, ser acessível através da internet, embora não para todos. Mas a ide ia da digitalização é talvez a única característica de uma biblioteca digital em que há um consenso. Compreendemos uma biblioteca digital como uma biblioteca , então ela deve incluir serviços de referências com serviços de alerta, manter banco de dados com perfil de busca dos usuários, auxiliá-los com as ferramentas de busca , acesso e assistência aos serviços de busca comerciais, etc. A informação nela armazenada precisa ser de alta qualidade, passar pelo processo de seleção, indexado, catalogado e classificado . Checar a exatidão e integridade das fontes de informação nela disponibilizada, ter em conta a preocupação com a correta identificação também . Enfim , oferecer produtos e serviços relevantes para seus usuários, mantendo uma equipe multidisciplinar de especialistas (LIMA; SOUZA, 2010). 2.1 Avaliação de Bibliotecas Digitais Essa necessidade de avaliação coaduna com o pensamento de Cunha (2009) e Saracevic (2004) afirmam que as bibliotecas digitais ainda são pouco avaliadas e apresentam reflexões acerca de como avaliar, bem como se referem à possibilidade de usar as mesmas metodologias aplicadas nas bibliotecas tradicionais. Entretanto, Cunha (2009) afirma que, essas indagações ainda não obtiveram respostas definitivas. Assim sendo , podemos evidenciar a necessidade de desenvolvermos metodologias especificas para avaliar essas bibliotecas. 1307 �Arquitetura da informação: usabilidade. ergonomia . entre outros i! """"'" MaooNlck ~ = :, IiWitt.UJ 1I....111~ Trabalho completo Para Saracevic (2004) as discussões sobre bibliotecas digitais são abundantes, exceto quando se trata de avaliação. Este autor afirma ainda que na literatura sobre avaliação dessas bibliotecas podem ser encontrados dois tipos distintos de relatos de pesquisas: a) trabalhos que sugerem conceitos de avaliação, modelos, abordagens, metodologias ou discutem avaliação; e b) trabalhos que relatam avaliação real, ou seja , aplicação de metodologias as quais contêm dados quantitativos (estatísticos) ou dados qualitativos (impressões). Temos ainda uma pesquisa sobre avaliação de bibliotecas digitais apresentada no Workshop, na qual Saracevic (2004) relata que não existem muitos esforços em aplicar avaliação . Na verdade, existem mais trabalhos que discutem avaliação do que relatam sobre avaliação. Tal afirmação tem base em dados extraídos de duas grandes conferências sobre bibliotecas digitais, a saber: a Conferência Européia sobre Bibliotecas Digitais (ECDL) e a Conferência Conjunta ACM/IEEE sobre Bibliotecas Digitais (JCDL), as quais anualmente contêm não mais de 5% de artigos ou põsteres que têm dados relativos à avaliação de quaisquer aspectos de bibliotecas digitais. Segundo Saracevic (2004) , as bibliotecas digitais são complexas, constituindo-se em muito mais do que sistemas tecnológicos e a avaliação de sistemas complexos é igualmente complexa . O autor afirma que não há interesse na avaliação, e acrescenta "aqueles que fazem ou pesquisam bibliotecas digitais estão interessados em fazer, construir, implementar, abrir novos caminhos, operar [... ] a avaliação é de pouco ou nenhum interesse, além de não haver tempo para isto" (SARACEVIC, 2004, p. 10). Tammaro e Salarelli (2008) observam que um dos problemas da avaliação de bibliotecas digitais encontra-se na coleta dos dados: faltam dados de uso que sejam exatos, bem como a falta de normas internacionais de uso comum destinadas à mensuração das bibliotecas digitais, problemas relativos às coleções digitais e à medição de seu uso. Para Blandford et aI. (2008) muitos estudos publicados sobre avaliação de bibliotecas digitais são relatos de avaliações de sistemas específicos, envolvendo testes com usuários ou avaliação de especialistas. Esses estudos de avaliação podem ser baseados em análise quantitativa, como os que envolvem o uso de logs de transação, e qualitativos, como as técnicas de entrevista, observação ou o think a/oud (pensar em voz alta) . Tais estudos ilustram a diversidade de abordagens possíveis quando se avalia bibliotecas digitais, e a variedade de questões possíveis. Zhang (2007) considera que a avaliação de bibliotecas digitais pode pedir abordagens e critérios também utilizados nas avaliações do sistema de recuperação de informação das bibliotecas tradicionais, mas que é essencial desenvolver modelos de avaliação específicos para esse tipo de bibliotecas. Até porque, segundo o autor, com um enorme consumo de recursos técnicos, financeiros e de pessoal empregados em cada projeto de implantação de uma biblioteca digital, este deve ser avaliado para garantir o resultado de seu desenvolvimento. 2.2 Usabilidade em Bibliotecas Digitais O termo usabilidade começou a ser usado na década de 1980, principalmente nas áreas de Psicologia e de Ergonomia. Veio substituir a expressão "user-friend/y", referente à interface amistosa e fácil de ser usada e entendida, porém considerada vaga e subjetiva . Para evitar que o termo usabilidade sofresse o mesmo desgaste, 1308 �Arquitetura da informação: usabilidade. ergonomia . entre outros i! """"'" MaooNlck ~ = :, IiWitt.UJ 1I....111~ Trabalho completo vários são os autores que tentaram defini-lo utilizando abordagens diferentes (DIAS , 2003). A International Organization for Standardization (IS0 1 ) foi pioneira em criar parâmetros normalizados sobre a usabilidade, e esses estudos tiveram como resultado a norma ISO/IEC 9126. Na busca de contemplar a necessidade de novos padrões para usabilidade, em 1998 foi publicada uma nova norma, a ISO 9241 , que estabeleceu um novo conceito de usabilidade, passando a levar em consideração as necessidades do usuário. Nessa norma são definidas características de qualidade de software como: funcionalidade , confiabilidade, eficiência , portabilidade e possibilidade de manutenção (ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS, 2002). De acordo com a ISO 9241-11 , de 1998, (ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS, 2002 , p. 3) usabilidade pode ser entendida como a capacidade de um produto ser ''[. .. ] usado por usuários específicos para alcançar objetivos específicos com eficácia, eficiência e satisfação em um contexto específico de uso". 3 Metodologia o presente estudo para avaliação da BVS, com foco na usabilidade, constituise em um teste formal de usabilidade para medir a eficiência, a eficácia e a satisfação, conforme a NBR 9241-11 (ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS, 2002, anexo B, p.11). Dentre as abordagens que podem auxiliar na delimitação da trajetória de estudo que se preocupa com a investigação da usabilidade nas bibliotecas digitais, adotamos a abordagem qualitativa que, segundo Minayo (1994, p.22) ressalta que a pesquisa qualitativa "trabalha com o universo de significados, motivos, aspirações, crenças, valores e atitudes, o que corresponde a um espaço mais profundo das relações, dos processos e dos fenômenos". Esse direcionamento metodológico não descarta a possibilidade de, em determinados momentos, quando, por exemplo, na apresentação dos níveis de usabilidade e medidas, adotar-se a abordagem quantitativa . Para Minayo e Souza (2005) a abordagem quantitativa é usada na apresentação de resultados que podem ser contados e ressaltam, ainda, que esse tipo de abordagem é importante para avaliar objetivos bastante específicos e estabelecer relações significativas entre variáveis. Nesta perspectiva , compreendemos que nosso objeto nos direciona a uma metodologia quali-quanti, recorrendo às duas abordagens e ancorados em Minayo e Souza (2005, p.99) quando afirmam que "As aproximações quantitativas e qualitativas não devem ser consideradas antagônicas e sim linguagens complementares, embora de natureza diferente". Para conhecer o nível de usabilidade de bibliotecas digitais, definimos que os dados resultantes do teste de usabilidade referentes às categorias eficácia , eficiência e satisfação seriam analisados estatisticamente adotando a séries numéricas as quais, segundo Levin e Fox (2004 , p. 9), "podem ser usadas para : a) 1 A ISO é uma organização não-governamental estabelecida em Londres desde sua criação , em fevereiro de 1946. Sua missão é promover e facilitar a coordenação internacional e a unificação de padrões industriais. 1309 �Arquitetura da informação: usabilidade. ergonomia . entre outros i! """"'" MaooNlck ~ = :, IiWitt.UJ 1I....111~ Trabalho completo classificar ou categorizar no nível nominal de mensuração; b: ordenar por posto no nível de mensuração; e c) atribuir um escore no nível intervalar de mensuração". Nesse estudo a série numérica foi usada para mensuração dos níveis de usabilidade, e constitui como medida de: a) Eficácia - nível nominal de mensuração que consiste em nomear ou rotular, ou seja, criar categorias e contar sua frequência de ocorrência (LEVIN ; FOX, 2004). Nesse estudo usamos as categorias concluídas e não concluídas e contamos, utilizando o software TextStat versão 2.7 para saber o número de tarefas concluídas com êxito e poder mensurar o nível de eficácia. O resultado foi apresentado em números percentual. b) Eficiência - nível intervalar de mensuração que indica a distância exata entre as categorias. A mensuração intervalar utiliza unidades constantes de mensuração, nesse estudo a unidade foi o tempo em minutos que concluiu a tarefa. O intervalo das categorias foi determinado pelo tempo mínimo e máximo usado para realização das tarefas e organizados em quatro níveis, eficiência péssima, satisfatória, boa e ótima, apresentado em gráfico no qual o escore foi evidenciado (LEVIN; FOX, 2004). c) Satisfação - nível ordinal de mensuração busca ordenar as categorias em termos de graus em que possuem determinadas características. Adotamos as categorias satisfação péssima, satisfatória, boa e ótima para conhecer o nível de satisfação dos usuários. Para uma melhor visualização, os níveis foram apresentados em gráfico (LEVIN; FOX, 2004) . O parâmetro para saber se uma biblioteca digital é eficaz será mensurado pelo percentual de usuários que concluíram as tarefas aplicadas no teste de usabilidade. O resultado será representante da eficácia da biblioteca, quanto mais afastar-se da unidade e aproximar-se dos 100%, mais eficaz será sua usabilidade. A eficiência é calculada no intervalo do maior tempo usado para concluir a tarefa e o menor tempo usado para o mesmo fim . Nesse intervalo de tempo será calculado o tempo médio utilizado na realização da tarefa, e quanto mais essa média se aproximar do menor tempo gasto na realização da tarefa mais eficiente será a usabilidade da biblioteca digital. E a satisfação será definida pelo número de usuários que respondem ao maior nível de satisfação apresentado na escala. O ambiente de realização do teste de usabilidade foi o site da BVS que se constitui em um espaço virtual da Internet formado pela coleção ou rede de fontes de informação em saúde da Americana-Latina e do Caribe. As fontes de informação são geradas, atualizadas, armazenadas e operadas na Internet por produtores, integradores e intermediários, de modo descentralizado e obedecendo metodologias comuns para sua integração.A BVS está disponível na internet com acesso livre (BIBLIOTECA VIRTUAL EM SAÚDE , 2012) . O universo da pesquisa constituiu de quatro programas de pós-graduação do CSS, a saber: Programa de Pós-graduação em Odontologia ; Programa de Pósgraduação em Produtos Naturais e Sintéticos Bioativos; Programa de Pósgraduação em Enfermagem e Programa de Pós-graduação em Ciências da Nutrição. Os participantes da pesquisa são docentes e discentes dos citados cursos de Pós-graduação. A amostra representativa foi constituída por quinze sujeitos, quatro docentes e onze discentes dos referidos programas de pós-graduação composto pelos que aceitaram participar da pesquisa realizando os testes de usabilidade. O número de participantes da pesquisa foi definido com base em 1310 �Arquitetura da informação: usabilidade. ergonomia . entre outros i! """"'" MaooNlck ~ = :, IiWitt.UJ 1I....111~ Trabalho completo Nielsen e Landauer (1993) que constatou a partir de vários estudos realizados, que em média 31 % dos problemas de usabilidade são encontrados por um único usuário. Com base nesse valor o autor conclui que cinco usuários são suficientes para encontrar 85% dos problemas de usabilidade e que com quinze usuários podem ser encontrados 100% dos problemas. A aplicação do teste de usabilidade na BVS aconteceu em momentos distintos, pois os dias e horários dependeu da disponibilidade dos sujeitos da pesquisa, assim , foram seis momentos no laboratório de informática do CCS da UFPB com diferentes grupos de usuários (entre os dias 5 e 21 de dezembro de 2011) . Os participantes completaram três tarefas: Um questionário de perfil/experiência que incluía tanto informações demográficas como informações sobre utilização de computadores, recursos da internet e site de biblioteca ; Realizaram dez tarefas utilizando o site da BVS. (As tarefas foram desenvolvidas pela pesquisadora a partir das funções básicas do site da biblioteca .) e completaram um questionário com oito perguntas abertas que extraía percepções sobre o uso da biblioteca e seus recursos. 4 Resultados Três tipos de dados foram coletados para conhecer o desempenho do usuário e as suas percepções ao utilizarem o site, como segue: a) A eficácia foi medida pelo número de tarefas completadas com êxito. b) A eficiência foi medida pela quantidade de tempo usado para completar cada tarefa ; c) A satisfação foi medida por uma escala de classificação com quatro níveis de satisfação. Os participantes concluíram 79%das tarefas, levando em média 4min por tarefa , e, em geral, ficaram satisfeitos com sua capacidade [como usuários] de realizar as tarefas. Quando solicitados para apresentar algum comentário sobre a BVS no fim das tarefas, alguns participantes responderam : "A BVS sem dúvidas é um instrumento bastante rico no que se refere à pesquisa cientifica , porém , sua navegabilidade não é clara causando insegurança naqueles que não a usam com tanta frequência", "Acho difícil utilizar a BVS , prefiro utilizar a Pubmed", "Conheci várias ferramentas da BVS que estavam todo tempo à disposição, mas não são dialogadas"; "Seria interessante haver uma melhora no cruzamento de palavras chaves ou a BVS disponibilizar um tutorial referente aos links", "O instrumento é interessante e algumas das tarefas me levaram a usar espaços do site onde normalmente não ando". Eles também comentaram sobre as dificuldades para concluir alguma tarefa : "Não consegui completar a última tarefa, pois, o site afirmava que a senha estava incorreta. Solicitei nova senha por duas vezes e mesmo assim não tive acesso ao sistema", "Fiz o cadastro, mas não consegui fazer o login, deu erro!" , "Não consegui achar alguns atalhos, daí não ter concluído as tarefas", Alguns participantes sugeriram que seria mais útil que a BVS disponibilizasse um sistema de tutorial geral do site para os usuários inexperientes. TABELA 1 - Resultados das tarefas concluídas 1311 �Arquitetura da informação: usabilidade. ergonomia . entre outros i! """"'" MaooNlck ~ = :, IiWitt.UJ 1I....111~ Trabalho completo N° Tarefas Concluídas (Eficácia) TAREFAS 1. Realizar uma busca livre no site da BVS (www.bvs.br) sobre um tema de seu interesse de pesquisa . 2. Buscar em áreas especializada na base Cid/saúde artigos que tratam da qualidade da saúde em João Pessoa ; 3. Buscar como solicitar os serviços de fotocópias da BVS e o custo por artigo recuperado; 4. Verificar no catálogo de revistas científicas se a BVS tem Revista de Administração Pública ; 5. Verificar quais são os eventos programados para o período de março a junho de 2012 da área de saúde 6. Localizar na LlLACs o tutorial como pesquisar 7. Localizar textos que tratam dos seguintes temas: saúde pública ; políticas públicas de saúde no Brasil 8. Verificar quantos trabalhos existe na base LlLACS do pesquisador: Paim , Jairnilson Silva 9. Para fazer o levantamento bibliográfico no MEDLlNE com termos em inglês localizados no DeCS; 10.Fazer o cadastro nos serviços personalizados em seguida efetuar o login para conhecer e listar os serviços oferecidos . TOTAUMEDIA FONTE: Dados da pesquisa (2012) Facilidade de Realização (Satisfação) 12 (80%) Tempo Médio em Minutos (Eficiência) 10.77 13 (87%) 4.08 9 (60%) 12 (80%) 3.63 11 (73,3%) 11 (73%) 5.09 6(40%) 13 (87%) 3.46 7 (46,7%) 13 (87%) 11 (73%) 3.38 3.36 8 (53,3%) 10 (66,7%) 14 (93%) 2.79 7 (46,7%) 12 (80%) 3.50 11 (73,3%) 8 (53%) 3.13 4 (26,7%) 11,9 (79%) 4.36 83 (55,3%) 10 (66,7%) A Tabela 1 apresenta a coluna com o nível de eficácia representada pelo número de tarefas concluídas pelos participantes do teste de usabilidade aplicado e entre parêntese o equivalente em percentual. Na outra coluna , temos o nível eficiência da BVS medido pelo tempo médio em minutos utilizado para conclusão das tarefas e na última coluna a satisfação dos usuários em realizar as tarefas. A satisfação foi obtida pelas indicações feitas na escala de satisfação respondida após a realização de cada tarefa, para o calculo dos valores apresentados usamos a soma dos usuários que consideram satisfatória e boa à realização da atividade, nesse calculo não contamos com os extremos, ou seja , péssima e ótima . Com os dados apresentados podemos fazer inferências importantes para análise da usabilidade da BVS 4.1 Eficácia Para analisar os dados obtidos com aplicação do teste de usabilidade na BVS definimos como parâmetro para a eficácia o percentual de usuários que concluíram as tarefas realizadas. Esse resultado será quanto mais indicador de eficácia à medida que o percentual aproximar-se dos 100%. Nesse estudo , a eficácia foi avaliada dentro dos seguintes parâmetros: menor que 50% péssima, de 51 % a 70% satisfatória, de 71 % a 90% boa e acima de 91 % como ótima . Observemos que a taxa percentual resultante dos dados obtidos no teste de usabilidade foi 79%, um valor que representa mais da metade dos usuários 1312 �Arquitetura da informação: usabilidade. ergonomia . entre outros i! """"'" MaooNlck ~ = :, IiWitt.UJ 1I....111~ Trabalho completo concluíram as tarefas. Trata-se de um percentual significante, com base no qual podemos inferir que a BVS tem uma eficácia que pode ser classificada como boa . Dos textos analisados, doze abordam questões como eficácia, eficiência e satisfação, sendo que dois apresentam dados referentes à aplicação de testes de usabilidade que objetivaram conhecer a eficácia dos sites testados. Os dados do estudo de Jeng (2004) , que avaliou dois sites distintos, apresentam que a taxa global de eficácia para todos os sujeitos no site da Rutgers é de 81 % e no site da Queens é 83% e na pesquisa de McGillis e Toms (2001) os resultados apontaram que 75% das tarefas foram concluídas pelos sujeitos da pesquisa . Observando os dados apresentados em outros testes de usabilidade em bibliotecas digitais, sugerimos que sejam usados como benchmark para a eficácia da usabilidade em bibliotecas digitais os parâmetros apresentados nessa pesquisa . 4.2 Eficiência A eficiência da BVS foi calculada no intervalo do maior tempo usado para concluir a tarefa e o menor tempo usado para o mesmo fim . Nessa pesquisa, tivemos o menor tempo de 3 um minuto gasto para realização de tarefa e o maior tempo de 28 minutos, e obtivemos como tempo médio gasto na realização das tarefas de quatro minutos e 36 segundos, seguindo os parâmetros definidos na metodologia proposta que quanto mais essa média se aproximar do menor tempo gasto na realização das tarefas mais eficiente será a usabilidade da biblioteca digital avaliada . Atendendo aos objetivos do teste de usabilidade na BVS, apresentamos que o tempo entre 28 minutos e 14 minutos e 49 segundos pode ser considerado como eficiência péssima; entre 14 minutos e 50 minutos e sete minutos e 74 segundos como eficiência satisfatória ; entre sete minutos e setenta e cinco segundos e um minuto como eficiência boa e com menos de um minuto como eficiência ótima Nos dados obtidos, temos que o tempo médio gasto para realização de cada tarefa de 4,36 minutos evidenciado na tebela 1 como o tempo médio em minutos. Ou seja, podemos inferir que a pesquisa aponta a BVS como uma biblioteca digital avaliada com uma eficiência próxima de ótima . Comparada com a literatura, dos dois textos que apresentam elementos que possibilitam confirmar os resultados obtidos na nossa pesquisa temos que no trabalho de Jeng (2004) a taxa global de eficiência , para todos os sujeitos, correspondente ao tempo médio usado na realização das tarefas, temos que no site da Rutgers 3 min o 26 seg o e no site da Queens 2 min o 10 sego e no estudo de McGillis e Toms (2001) o tempo médio para realização das tarefas foi de dois minutos. 4.3 Satisfação A satisfação como medida de usabilidade da BVS foi analisada pelo percentual de participantes que apontaram na escala de satisfação aplicada após cada tarefa como satisfatória e boa, o calculo se deu com a soma do número de participantes que apontaram na escala como satisfatória e ótima, a referida escala contou com quatro níveis de satisfação (péssima , satisfatória, boa e ótima). Os resultados da pesquisa foram obtidos com quinze participantes realizando dez tarefas e indicando o grau de satisfação relacionada a cada uma das tarefas. 1313 �Arquitetura da informação: usabilidade. ergonomia . entre outros i! """"'" MaooNlck ~ = :, IiWitt.UJ 1I....111~ Trabalho completo Os indicadores de satisfação mostram que, das 150 respostas obtidas (quinze participantes indicando o grau nas dez tarefas realizadas) cinquenta foram indicadas como satisfatória , trinta e oito como péssima , trinta e três como boa e vinte e nove como ótima. Desses dados, excluímos os extremos (péssimo e ótimo) e obtivemos oitenta e três respostas como satisfatória e boa, correspondendo a 55 ,3% das tarefas consideradas satisfatórias. Além das questões referentes às tarefas, ou seja, a parte quantitativa da pesquisa , por ser a satisfação uma questão subjetiva . Foi aplicado ao término do teste questionário com perguntas abertas, para coletar a opinião dos participantes sobre o processo de avaliação da BVS, destacando pontos importantes da usabilidade das bibliotecas digitais. As respostas das oito questões do questionário pós-teste, aplicado com o objetivo de possibilitar maiores elementos para analise qualitativa do teste de usabilidade em questão, foram agrupadas de acordo com as categoria e subcategiras de análise extraidas do corpus analisado, quais seja : Satisfação facilidade de uso, organização da informação, rotulagem , aparência visual, interface, conteúdo e correção de erros - Aprendizibilidade. A categoria satisfação é avaliada na questão "qual a sua opinião a respeito da página inicial da página inicial da BVS?" E nela podemos observar também as subcategorias organização da informação, aparência visual e interface. Essa preocupação com a aparência da BVS encontra suporte teórico em Ferreira e Souto (2006, p.185) quando afirmam ser interface da biblioteca digital "condição sine qua non", para analisar a qualidade dessas bibliotecas. Na opinião dos participantes da avaliação obtivemos posicionamentos como: "A página apesar de apresentar todos os itens necessários para seu uso, não é amistosa . Os links são apresentados em sua maioria com letras pequenas e exigem certa curiosidade por parte de quem pesquisa". Temos mais dois participantes que consideram que a página "Deveria melhorar a forma de apresentação das informações" e "Seria interessante que ela fosse mais fácil de manusear". Mas, temos também opiniões como: "É autoexplicativa e indica de forma objetiva onde encontra o que se procura". Outras opiniões são enriquecedoras para avaliação, ao mesmo tempo em que elogiam a BVS apresentam elementos que podem ser considerados como problemas de usabilidade, a saber, "A página inicial da BVS é clara e facilita a localização de alguns recursos, enquanto outros têm uma série de janelas para chegar ao destino final, dificultando a pesquisa". Por ser a interface elemento importante da interação do usuário com a biblioteca digital, foi apresentada mais de uma questão que possibilita avaliação desse ponto, como quando questiona "O que você acha da parte visual da BVS (cores, formatação do texto, posição do conteúdo)?" Nessa questão, podemos analisar as subcategorias aparência visual, conteúdo e interface. Segundo Ferreira e Souto (2006, p. 187), "a interface passa a ser percebida tanto como o meio para a interação usuário-sistema, quanto como uma ferramenta que oferece os instrumentos para esse processo comunicativo". Na opinião de alguns participantes, o visual da BVS apresenta problemas de interação e visualização como se constata a seguir "É boa, mais acredito que pode ser criado recursos para melhorar a posição do conteúdo", "Não é atrativo, tamanho da letra pequena e organização de forma muito confusa ". No entanto , outros usuários consideram que o visual da BVS é simples e adequado como se observa nas palavras a seguir. "Acho perfeitos! As cores são 1314 �Arquitetura da informação: usabilidade, ergonomia , entre outros i! """"'" MaooNlck ~ = :, IiWitt.UJ 1I....111~ Trabalho completo claras e diferenciadas", "Boa formatação da página, com boa escolha de cores, não cansando a vista do usuário" "Excelente" e "satisfatória" Outro ponto solicitado à opinião dos usuários foi quanto ao sistema de busca com as seguintes perguntas: O que você achou do sistema de busca da BVS (tanto a busca integrada quanto a busca avançada)?" e "Você achou fácil pesquisar no sistema BVS? Justifique?" Nas questões, observamos as subcategorias: facilidade de uso, organização da informação e rotulagem. Cardoso (2000) afirma que estudos realizados considerando a interação com os Sistemas de Recuperação de Informação confirmam que quando o usuário tem mais informação e controle sobre suas buscas, sua performance e satisfação aumentam . Nessa perspectiva, é necessário apresentar ao usuário uma interface de busca onde tenha a possibilidade de conhecer todas as opções de busca para assim escolher aquelas que prefere utilizar, A opinião dos participantes da pesquisa confirma o relatado na literatura como pode ser conferido nas respostas dos usuários. "O sistema é satisfatório e apresenta-se como outros por mim utilizados", "É um sistema de busca de fácil manuseio, ágil e que atende as necessidades do pesquisador", e "Gosto do sistema de busca avançada, da opção de ordenar por preferências, ano de publicação, o número de textos completos". Outros usuários tiveram dificuldades em interagir com o sistema busca. Isso é visível nas opiniões a seguir. "Deixou a desejar, poderia ser mais didático e mais direto", "A busca integrada não é especifica , enquanto a busca avançada restringe demais a temática ". Quanto a facilidade de busca no sistema observa-se que a opinião depende da experiência de pesquisa na BVS como justificativa mais frequente. Constatado nas opiniões a seguir, "Considero fácil. Já utilizo a BVS há muitos anos e considero fácil se familiarizar com o sistema". Já os com pouca experiência no usa da biblioteca apresentaram alguma dificuldade como se pode ver nas seguintes palavras, ''Tive um pouco de dificuldade. Não sei se isso é devido ao fato de não ter o hábito de pesquisar na BVS", "A falta de prática torna um pouco complicado, fazia algum tempo que eu não pesquisava na BVS" e outros consideraram difícil justificando que "É a terceira vez que pesquiso no sistema BVS e encontro muitos obstáculos nas pesquisas", "A informação está presente no sistema, mas é necessário abrir muitas "abas" até encontrá-Ia" e "bastante complexo. Utilizar outros buscadores é bem melhor, pois são muito mais rápidos e objetivos". Objetivando saber a satisfação quanto à aprendizibilidade da BVS foi elaborada a questão "O que você achou do tutorial como pesquisar (ajuda) da LlLACS?" Segundo Jeng (2005) , a aprendizibilidade mede o esforço de aprendizagem e leva em consideração o quão rápido o sujeito aprende como realizar as tarefas. Na opinião dos participantes fica evidente a importância dos tutoriais no processo de aprendizibilidade do site. Ele apresenta o passo a passo da busca e ajuda a localizar informações relevantes para boa interação com a biblioteca , Os usuários consideraram o tutorial da base LlLACS como : "Muito bom , eu não conhecia ", "Interessante e muito explicativo", "Muito bom, dinâmico, facilitando a pesquisa", "Excelente" e "O caminho apontado no tutorial é fácil para os iniciantes, mesmo para aqueles com pouca familiaridade na pesquisa em portais" . Mas outros apesar de reconhecerem a importância desse recurso 1315 �Arquitetura da informação: usabilidade, ergonomia , entre outros i! """"'" MaooNlck ~ = :, IiWitt.UJ 1I....111~ Trabalho completo informacional apresentam pontos importantes a serem considerados pelos gestores da BVS, tais como, "Gostei muito! Deveria ser mais destacado no site para aqueles alunos que sentem dificuldades ou usam poucas vezes" e "Muito bom , eu não conhecia " percebe-se que o recurso que objetiva orientar o usuário não é facilmente localizado na página principal da biblioteca . Visando contribuir para melhoria da biblioteca avaliada , foi solicitado apresetação dos pontos fortes e fracos nas questões: "Quais são os pontos positivos da BVS?" e "Quais são os pontos negativos da BVS?" As respostas serão apresentadas pela ordem das perguntas, ou seja, primeiro os pontos positivos seguidos dos pontos negativos. Das respostas obtidas apareceram termos como: "ser em português" "sistema simples de busca" "acesso livre", "bases temáticas", "base de dados brasileiras" "quantidade expressiva de informação sobre a produção do conhecimento na área da saúde" "Facilidade de acesso aos documentos", "agrega um banco de dados para divulgação de informações técnico-científicas da America Latina" "acesso a base LlLACS e vocabulário trilíngue DeCS". "pesquisa gratuita", "grande número de artigos completos", E como pontos negativos, mencionaram que: "os termos do DeCS , em sua maioria , estão desatualizados", "Necessita melhorar a forma de busca por nome e sobrenome, "Confuso, difícil achar a informação, muitos passos para se chegar no objetivo da pesquisa", "buscas lenta"e "muito conteúdo na página inicial" Na questão final , "Qual a sua avaliação geral a respeito da facilidade de uso da BVS?", objetivando obter elementos que reforcem os pontos anteriores quanto à satisfação do usuário que pesquisa na BVS, de modo geral, foi considerada como de fácil uso e conteúdo relevante para área de saúde, mas ficaram evidentes alguns problemas que precisam ser avaliados e sanados pelos gestores. Na avaliação geral da BVS dos quinze participantes da pesquisa, sete avaliaram positivamente o uso da biblioteca como constatam em algumas opiniões a seguir: "Acredito que, de forma geral, a BVS tem uso simples, podendo ser operada mesmo por usuários sem muita experiência", "Avalio o uso da BVS como ótimo, pois a grande maioria das necessidades do pesquisador é atendida", "Avaliação positiva . O fato da existência do tutorial que explica como usar o portal e de suma importância pelo os iniciantes", "É uma biblioteca de fácil manuseio, só precisa de prática, como qualquer outra ferramenta .", e "É uma ferramenta bastante necessária na vida acadêmica", Na opinião de outros sujeitos, a biblioteca é um dispositivo informacional importante, mas apresenta problemas que dificultam a interação com o usuário, como expressam a seguir, "Considero uma ferramenta usual mas que ainda pode melhorar em alguns aspectos" e "A partir da realização da pesquisa, identifiquei algumas dificuldades, como encontrar uma revista especializada , no entanto , em uma avaliação geral o site se mostrou dinâmico e de fácil utilização". No entanto, tive usuários que apresentaram uma avaliação negativa e consideraram como difícil o uso da BVS : "O que não existe na BVS é facilidade" , "Não há facilidades de uso! Este é o problema. Acho muito confuso e prefiro utilizar outras fontes" e "Não achei tão fácil. Prefiro usar o PUBMED". Como análise geral do teste de usabilidade aplicado no site da BVS , os dados nos possibilitam inferir que a mesma apresenta um bom nível de eficácia e uma boa eficiência. Entretanto, a satisfação, ficou no nível satisfatório, conforme as respostas apresentadas pelos participantes da pesquisa nas questões abertas. Com isso , 1316 �Arquitetura da informação: usabilidade. ergonomia . entre outros i! """"'" MaooNlck ~ = :, IiWitt.UJ 1I....111~ Trabalho completo temos que a boa usabilidade de uma biblioteca digital não pode ser medida apenas pela sua eficácia e eficiência . O usuário não se contenta apenas em localizar a informação desejada no menor tempo possível, mas deseja também um sistema de busca que seja fácil de usar, bem como um conteúdo relevante para sua área de pesquisa . Essa questão ficou evidente quando um dos participantes da pesquisa argumenta: "O portal BVS sem dúvidas é um instrumento bastante rico no que se refere a pesquisa cientifica, porém , sua navegabilidade não é tão clara causando insegurança naqueles que não a usam com tanta frequência" . Os problemas de usabilidade, detectados com esta pesquisa, foram observados principalmente nas questões abertas de satisfação. Mais da metade dos usuários (oito) encontram dificuldade em usar o sistema de busca da biblioteca . Outra questão de usabilidade apontada pelos participantes da pesquisa é o visual da página principal, identificada com de visualização difícil com letra muito pequenas. Outra questão é o número de novas janelas que são abertas sempre que um link é acionado e isso deixa o usuário perdido na navegação. Apesar de avaliarem como satisfatória a BVS, alguns usuários apresentaram sugestões para melhorar a interação do sistema, tais como: criação de um tutorial, aos modo do apresentado para base LlLACS, que contemple a BVS como um todo e o dispor de forma mais vísivel na página principal. 5 Considerações Finais O teste formal de usabilidade aplicado na BVS apresentou resultados relevantes que nos leva a considerações conclusivas de que os resultados obtidos com aplicação do teste de usabilidade na BVS apresenta a eficácia como boa , a taxa percentual foi de 79%, valor representativo de que mais da metade dos usuários concluíram as tarefas. Para definirmos que a BVS tem um nível de eficácia considerada boa , baseada nos parâmetros indicados. Quanto à eficiência, o tempo médio gasto para realização de cada tarefa foi de 4min36s identificado pelos parâmetros adotados na pesquisa, como um ponto próximo a eficiência ótima . Ou seja, a pesquisa aponta a BVS como uma biblioteca digital com uma eficiência boa. No tocante à satisfação, os indicadores mostram que com 55,3% as tarefas foram consideradas satisfatórias, excluídos os extremos péssimo e ótimo. Sobre a satisfação dos usuários em usar a BVS, dos quinze participantes da pesquisa, sete avaliaram positivamente, quatro sujeitos, consideram a biblioteca como um dispositivo informacional importante, mas apresentando problemas relativos à interação com o usuário e os quatro últimos apresentaram uma avaliação negativa, considerando difícil o uso da BVS. Em conclusão, o teste de usabilidade aplicado na BVS constata que a usabilidade de uma biblioteca digital não pode ser medida apenas pela sua eficácia e eficiência . Evidencia que o usuário quer além do acesso à informação, interação fácil e amigável com a interface da biblioteca digital. Esse ponto foi especialmente evidenciado por um dos participantes da pesquisa ao expressar sua opinião declarando a BVS um instrumento bastante rico para atender à pesquisa cientifica, porém, a navegabilidade causa insegurança naqueles que a usam eventualmente. Os problemas se constituem em : letra muito pequena na página inicial da biblioteca; dificuldades para encontrar os links relacionados aos portais de informação especializada ; também foi considerado como fator que dificulta a recuperação da informação o excessivo número de janelas que abrem para se 1317 �Arquitetura da informação: usabilidade. ergonomia . entre outros i! """"'" MaooNlck ~ = :, IiWitt.UJ 1I....111~ Trabalho completo chegar ao ponto desejado. Esse fator maxlmlza o número de usuanos que abandonam a pesquisa . Com base nos dados e na literatura estudada, fica evidente que a BVS apresenta também problemas de arquitetura da informação, ao se observar que existe muito conteúdo na página inicial , ensejando melhor organização visual da página principal. Mesmo avaliando a BVS como satisfatória , há sugestões para melhorar a interação com o sistema , tais como: melhoria no cruzamento de palavras chaves e disponibilização de um tutorial referente ao uso das bases de dados. 6 Referências ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS . NBR 9241-11 : requisitos ergonômicos para trabalho de escritório com computador - Parte 11 - orientações sobre usabilidade. Rio de Janeiro, 2002 . Esta Norma é equivalente a ISO 9241 - 11 : 1998. BIBLIOTECA VIRTUAL EM SAÚDE. O que é a BVS? Disponível em : <http://www.bireme.br/php/level.php?lang=pt&component=112> . Acesso em: 20 jan. 2012 . BLANDFORD , A. et aI. The PRET a rapporter framework : evaluating digitallibraries from the perspective of information work. Information Processing and Management, St. Louis, v. 44, n. 1, p. 4-21, Jan. 2008 CARDOSO, J. C. IUB: uma Proposta de interface de consulta personalizável para bibliotecas digitais. 2000 . 112 f. Dissertação (Mestrado em Ciência da Computação) - Faculdade de Informática, Pontifícia Universidade Católica do Rio Grande do Sul , Porto Alegre , 2000 . CUNHA, M. B. Bibliografia sobre o fluxo do documento na biblioteca digital. DataGramaZero - Revista de Ciência da Informação. Rio de Janeiro, v. 10, n. 5, out. 2009. Disponível em : <http://www.dgz.org .br/out09/Art_01.htm>. Acesso em : 20 out. 2011 . DIAS, C. Usabilidade na web: criando portais mais acessíveis. Rio de Janeiro: Alta Books, 2003 . FERREIRA, S. M. S. P. ; SOUTO, P. C. N. A Interface do usuário e as bibliotecas digitais. In: MARCONDES, C. H. et aI. (Orgs.). Bibliotecas digitais: saberes e práticas. 2. ed . Salvador: UFBA; Brasília, DF: IBICT, 2006 . p. 187-204 JENG, J. Usability evaluation of academic digitallibraries: From the perspectives of effectiveness, efficiency, satisfaction, and learnability. In : ANNUAL MEETING OF THE AMERICAN SOCIETY FOR INFORMATION SCIENCE AND TECHNOLOGY, 67 .,2004. Proceedings ... p. 13-18. Disponível em: <http ://www.asis.org/Conferences/AM04/posters/180.doc>. Acesso em : 03 jan. 2011. JENG, J. What is usability in the context of the digitallibrary and how can it be measured?" Information Technology and Libraries, v. 24, n. 2, p. 47-56,2005. LE CROSNIER, H. Bibliotecas digitais. In: AMBROSI, A. ; PEUGEOT, 1318 v.; PIMIENTA, �Arquitetura da informação: usabilidade. ergonomia . entre outros i! """"'" MaooNlck ~ = :, IiWitt.UJ 1I....111~ Trabalho completo D. (Coord .). Desafios de Palavras: enfoques multiculturais sobre as sociedades da informação. Caen : C & F Éditions, 2005 . Disponível em : <http ://www.vecam.org/article628.html>. Acesso em : 26 out. 2011. LEVIN, J.; FOX, J. A Estatística para ciências humanas. São Paulo: Prentice Hall, 2004. LIMA, I. F. ; SOUZA, R. R. A Concepção de biblioteca digital na literatura brasileira de periódicos em Ciência da Informação. In: ENCONTRO NACIONAL DE PESQUISA EM CIÊNCIA DA INFORMAÇÃO, 11 .,2010. Rio de Janeiro. Anais eletrônicos ... Rio de Janeiro. ANCIB ; UNIRIO, 2010 . Disponível em : <http ://enancib .ibict. br/index.php/xi/enancibXI/paper/viewFile/50 1/294>. Acesso em : 02 novo 2011 . MCGILLlS, L. ; TOMS, E. G. Usability of the academic library web site: Implications for design oCollege & Research Libraries, V. 62, n. 4, 355-367, 2001 . MINAYO, M. C. S. Ciência, técnica e arte : o desafio da pesquisa social. In : _ __ (org .). Pesquisa social : teoria , método e criatividades. Petrópolis, RJ : Vozes, 1994. Cap o1, p. 9-29 . MINAYO; M. C. S.; SOUZA, E. R. Métodos, técnicas e relações em triangulação. In: MINAYO; M. C. S.; ASSIS, S. G. ; SOUZA, E. R. (Org .) Avaliação por triangulação de métodos. Rio de Janeiro: Fiocruz, 2005 . Cap o2, p. 71-103. NIELSEN , J.; LANDAUER, T. K. A mathematical model of the finding of usability problems. In : INTERACT '93 AND CHI'93 CONFERENCE ON HUMAN FACTORS IN COMPUTING SYSTEMS, 1993, Amsterdam , the Netherlands. Proceedings ... New York: ACM , 1993. p. 24-29 . SARACEVIC, T. Evaluation of digitallibraries: An overview. In: DELOS WORKSHOP ON THE EVALUATION OF DIGITAL LlBRARIES, 2004, Padova . Proceedings ... Padova : University of Padua, 2004 . SAYÃO, L. F. Bibliotecas digitais e suas utopias. Ponto de Acesso, Salvador, 2, p. 2-36, ago./set. 2008 . Disponível em : <http://www.portalseer.ufba .br/ index.php/revistaici/article/view/2661/2166>. Acesso em : 30 out. 2011. V. 2, n. SILVA, A K. A ; GARCIA, J. C. R. Do hipertexto ao portal de periódicos. Informação & Sociedade. Estudos, João Pessoa , v.15, n.1, p. 87-97 , set./dez. 2005 . TAKAHASHI , T. Sociedade da Informação no Brasil : o livro verde . Brasília , DF : Ministério da Ciência e Tecnologia , 2000. TAMMARO , A M.; SALARELLI , A Medição e avaliação da biblioteca digital. In: ___ oA biblioteca digital. Brasília, DF : Briquet Lemos, 2008b. Cap o 13, p. 309339 . ZHANG, Ving oDeveloping a holistic model for digitallibrary evaluation. 2007. 248 f. Dissertation (Doctor of Philosophy)- Graduate Program in Communication, Information, and Library Studies, State University of New Jersey, New Brunswick, 2007. 1319 � Dublin Core The Dublin Core metadata element set is common to all Omeka records, including items, files, and collections. For more information see, http://dublincore.org/documents/dces/. Title A name given to the resource SNBU - Edição: 17 - Ano: 2012 (UFRGS - Gramado/RS) Subject The topic of the resource Biblioteconomia Documentação Ciência da Informação Bibliotecas Universitárias Description An account of the resource Tema: A biblioteca universitária como laboratório na sociedade da informação. Creator An entity primarily responsible for making the resource SNBU - Seminário Nacional de Bibliotecas Universitárias Publisher An entity responsible for making the resource available UFRGS Date A point or period of time associated with an event in the lifecycle of the resource 2012 Language A language of the resource Português Type The nature or genre of the resource Evento Coverage The spatial or temporal topic of the resource, the spatial applicability of the resource, or the jurisdiction under which the resource is relevant Gramado (Rio Grande do Sul) Event A non-persistent, time-based occurrence. Metadata for an event provides descriptive information that is the basis for discovery of the purpose, location, duration, and responsible agents associated with an event. Examples include an exhibition, webcast, conference, workshop, open day, performance, battle, trial, wedding, tea party, conflagration. Dublin Core The Dublin Core metadata element set is common to all Omeka records, including items, files, and collections. For more information see, http://dublincore.org/documents/dces/. Title A name given to the resource Teste de usabilidade da Biblioteca Virtual em Saúde: avaliação da eficácia, eficiência e satifação. Creator An entity primarily responsible for making the resource Lima, Izabel França de; Souza, Renato Rocha; Dias, Guilherme Ataíde Coverage The spatial or temporal topic of the resource, the spatial applicability of the resource, or the jurisdiction under which the resource is relevant Gramado (Rio Grande do Sul) Publisher An entity responsible for making the resource available UFRGS Date A point or period of time associated with an event in the lifecycle of the resource 2012 Type The nature or genre of the resource Evento Description An account of the resource Aborda aspectos relativos à avaliação de bibliotecas digitais, consideradas como dispositivos informacionais que podem auxiliar na democratização da informação mediada pelas tecnologias digitais. Tais bibliotecas podem ser compreendidas como um espaço de organização, armazenamento, disseminação e acesso a informação por meio de uma rede de comunicação. Discute a importância da avaliação dessas bibliotecas, observando a ausência de normas internacionais destinadas à mensuração dessas. Objetiva avaliar a usabilidade da Biblioteca Virtual em Saúde (BVS). Metodologicamente caracteriza-se como um teste formal de usabilidade, com a finalidade de medir a eficiência, a eficácia e a satisfação de usuários de bibliotecas digitais. O teste foi composto por três instrumentos de coleta de dados, um questionário de perfil/experiência; uma lista de dez tarefas a serem realizadas, utilizando o site da BVS; e um questionário com oito perguntas abertas que extraía percepções sobre o uso da biblioteca e seus recursos. O modelo metodológico foi aplicado entre os dias 05 e 21 de dezembro de 2011 no laboratório de informática do Centro de Ciências da Saúde da Universidade Federal da Paraíba. Os resultados do teste de usabilidade possibilitam inferir que a BVS apresenta um bom nível de eficácia e boa eficiência, tendo o quesito satisfação atingido o nível satisfatório, conforme as respostas apresentadas nas questões abertas pelos participantes da pesquisa. Foram detectados alguns problemas de usabilidade e apresentadas sugestões para melhorar a interface e, consequentemente, a interação usuário/biblioteca digital. Language A language of the resource pt