{{ phone }} {{ location }}

Emergo by UL logo

         

평가

제품 개발 과정에서, 효과적인 디자인 평가는 사용자 인터페이스 디자인을 만들고 탁월한 사용자 경험을 촉진하는 데 매우 중요합니다.

제품을 평가하는 데는 다양한 방법이 있으며 최선의 방법은 제품 개발 단계 및 이용 가능한 자원에 의해 결정됩니다. (예: 시간, 자금, 프로토타입, 또는 완성된 제품) 저희 평가 방법에는 다음과 같은 것이 있습니다.

  • 디자인 비평 / 전문가 리뷰 / 체험 분석
  • 사용 사례 설명을 통한 사용자 인식 검토
  • 형태(예비) 사용 편의성 테스트
  • 종합(확정) 사용 편의성 테스트

초기 단계 평가

저희는 초기 디자인 콘셉트 단계에서 피드백을 수집하는 다양한 기술을 도입합니다. 그 중 하나는 인지 검토라 불리는 것입니다. 해당 접근법은 응답자에게 제품 개요, 간단한 물리적 모형, 또는 고정된 컴퓨터 화면 시리즈를 살펴보고 충분히 생각하여 과제를 진행할 방법에 대해 설명해 달라고 요청할 수 있습니다.

예시:

  • 다양한 예시 화면을 검토하고 “블록 모델”을 다루어 인슐린 주입 펌프를 사용하는 것과 관련한 워크플로를 평가합니다.
  • 착용할 수 있는 심장 펌프(좌심실 보조 기기)와 관련된 섬유 제품의 다양한 콘셉트에 대한 피드백을 받습니다. (예: 배낭, 보조 가방, 메신저 백, 사첼 백)
  • 3D 렌더링 소프트웨어와 정확하게 계량된 3D 프린트 모델을 사용하여 다양한 환자 모니터 디자인 콘셉트 중에 사용자의 선호도를 평가합니다.

중간 단계 평가

저희는 자주 제품을 평가할 뿐 아니라 전문가 리뷰나 경험적 접근 분석을 요청합니다. 이러한 사례를 통해, 저희는 확립된 디자인 원칙과 판단을 적용하여 사용자 인터페이스 디자인의 강점과 개선점을 식별해 드립니다. 이런 평가는 일반적으로 빠르고 비용이 저렴하지만 가치 있는 결론을 얻을 수 있습니다.

또한, 저희는 제품에 대한 형태 사용 편의성 테스트를 진행하도록 요청받습니다. 이러한 테스트는 바쁜 개발 과정 중에 디자인 팀을 위한 결과를 신속하게 얻을 수 있습니다. 대신에, 형태 테스트는 상세한 테스트 계획 및 보고와 관련한 공식 활동이 될 수 있습니다.

예시:

  • 스마트폰에서 사용하는 피트니스 앱과 어울리는 화면에 대한 전문가 리뷰를 진행합니다.
  • 뇌졸중을 겪는 환자가 보행을 회복하도록 돕는 데 사용하는 외골격에 대한 형태 사용 편의성 테스트를 8명이 참여하여 진행합니다.
  • 차후 종합 사용 편의성 테스트(즉, 확정 테스트)에 사용할 테스트 계획(즉, 프로토콜)에 따라 15명이 참여하여 투석 기계에 대한 “예비 종합” 사용 편의성 테스트를 진행합니다.

제품 평가를 통해 다음과 같은 가상의 가정 투석 기계에 대한 표에 나타난 것과 같이 디자인 강점과 개선점을 발견합니다.

결과 예시

장점

단점

  1. 시각 경보가 뚜렷한 방식으로(즉, 이목을 집중하도록) 표시됩니다.
    [출처: 비평]
  2. 사용자가 설정된 워크플로를 직관적으로 이해할 수 있습니다.
    [출처: 인지 검토]
  3. 손이 작은 테스트 참가자와 손이 큰 참가자 모두 손잡이를 단단하고 편안하게 잡을 수 있었습니다.
    [출처: 형태 사용 편의성 테스트]
  4. 환자를 기계 라인과 연결 시 15명의 사용자 중 14명이 무균 기술을 수행했습니다.
    [출처: 종합 사용 편의성 테스트]

 

  1. 체구가 작고 힘이 약한 사용자는 약 18kg의 기계를 들어 올리는 데 어려움을 겪을 수 있습니다.
    [출처: 비평]
  2. 일부 사용자는 백라이트 제어판에 있는 기호의 의미를 혼동했습니다.
    [출처: 형태 사용 편의성 테스트]
  3. 12명의 테스트 참가자 중 4명이 튜브 세트를 올바르게 설치하지 못했습니다.
    [출처: 형태 사용 편의성 테스트]
  4. 두 명의 사용자가 배출관을 홀더에 설치할 때 뒤틀리게 만들었습니다.
    [출처: 종합 사용 편의성 테스트]

 

 

후기 단계 평가

제품이 거의 최종 단계일 때, 저희는 종합(즉, 확정) 사용 편의성 테스트를 진행해 드립니다. 의료 제품에 대해, 이는 대상 사용자가 제품이 안전하고 효과적으로 사용할 수 있다는 근거를 마련하는 중심 활동입니다. 또한, 이러한 테스트는 FDA 승인을 위한 제품 인허가 요구사항이기도 합니다. 이러한 테스트는 기존 사용 편의성 테스트 또는 고급 의료 시뮬레이터와 같은 더욱 전문적인 설정에서 진행할 수 있습니다.  

저희는 이러한 테스트를 작은 규모(15명)에서 아주 큰 규모의(200명 이상) 인구로 진행한 경험이 있습니다. 저희 테스트 계획은 FDA에 의해 주기적으로 검토되며 다른 문제가 없는 한 승인됩니다. 저희는 전 세계에 위치한 자사 연구실 또는 임대한 포커스 그룹 시설에서 테스트를 진행합니다. 저희 테스트 보고서는 필요한 만큼 사용 편의성 테스트 접근법, 테스트 결과, 지속하는 사용 문제의 근본 원인에 대해 꼼꼼하게 설명합니다. 저희의 테스트 및 보고 접근법은 FDA, AAMI, IEC와 같은 다양한 출처의 이용 가능한 지침 및 모범 사례에 기반을 두고 있습니다.

예시:

  • 75명이 참여한 인슐린 주사 펜에 대해 청소년, 성인, 노인, 간병인, 보건 의료 전문가가 제품을 안전하고 효과적으로 사용한다는 것을 입증할 수 있는 종합 사용 편의성 테스트를 진행합니다. (참고: 표본 크기는 밸리데이션 연구와 관련이 있는 FDA 요구사항에서 지정됩니다. 다음을 참조하세요. 의료기기에 인간 공학 및 사용 편의성 엔지니어링 적용,FDA 발행, 2016년 2월 3일)
  • 체외 순환사가 심장 절개 수술을 진행하는 환자를 지원하는 데 사용하는 인공 심폐 장치의 종합 사용 편의성 테스트를 15명이 참여하여 진행합니다.
  • 자동차 정비공이 가능한 경우 전기적, 기계적 문제를 진단 및 수리하는 데 사용하는 태블릿 기기의 종합 사용 편의성 테스트를 12명이 참여하여 진행합니다.

시판 후 평가

저희는 출시된 제품에 대한 디자인 리뷰 및 사용 편의성 테스트를 포함한 제품 평가를 빈번하게 진행합니다. 이러한 리뷰는 다음과 같은 목적으로 진행될 수 있습니다.

  • 다음 세대 제품이나 경쟁 제품을 개발할 수 있는 토대를 형성하는 기준 성능 데이터를 제공합니다.
  • 마케팅 방향의 기반이 되는 사용자 지향 성능 데이터를 제공합니다.
  • 제품 불만 사항, 환불, 기타 유형의 고장의 원인이 될 수 있는 사용 문제 보고에 대한 통찰을 얻습니다.

예시:

  • 투석 기계 설정의 알려진 편리함과 치료를 제공하는 것을 비교하는 사용 편의성 테스트를 수행합니다.
  • 당뇨 환자에게 어떤 채혈기가 가장 이용하기 쉽고 통증이 적은지 결정하는 연구를 진행합니다.
  • 피해를 유발하는 사용 오류의 근본 원인을 판별하고 CAPA 노력의 일환으로 디자인 변경을 제안하기 위한 회복 수술 장치의 사용자 인터페이스에 대한 전문가 리뷰를 진행합니다.

Questions? Request more information from our specialists

CONTACT US >

User research leads to a richer understanding of the factors controlling the quality of user interactions with your product.

Learn More >>

Our human factors “toolkit” contains many types of analyses that focus on mental and physical interactions with products.

Learn More >>

Our medical device UI design approach leverages user research to achieve functional and aesthetic goals.

Learn More >>

Summative usability testing, formative usability testing, expert critiques, heuristic analyses, cognitive walkthroughs, and more.

Learn More >>

We want to make the world safer and better through HFE research, training, consulting, and program development.

Learn More >>

Coming soon: Designing for Safe Use (CRC Press, late 2018)

by Kimmy Ansems, Cory Costantino, Alix Dorfman, Brenda Van Geel, Jonathan Kendler, Rachel Aronchick, Valerie Ng, Ruben Post, Jon Tilliss, and Michael Wiklund

We – this book’s authors/designers – are members of the Human Factors Research and Design (HFR&D) at EMERGO by UL. In this book, we have consolidated the lessons we have learned about designing for safe use, that is, designing products that shield people from harm to the extent possible.

We settled on a target of 100 principles on how to make products safer. The principles pertain to hardware, software, document, and document design. Yes, settling on an even one hundred principles was a bit arbitrary and cliché. The myriad ways to design for safe use do not stop sharply at one hundred. But, we think we covered many of the key ones.

We elected to use the term “product” broadly to cover things one might consider to be systems, machines, equipment, instruments, tools, applications, manuals, and instructions. These are all things that need to be designed properly to eliminate or reduce the chance of harm due to normal use and foreseeable misuse.

Most of the design principles could be addressed in an expanded form; even an entire book of its own. We choose brevity for the sake of communicating core concepts with some fun facts to spice things up.

As you read the book, be mindful that the science and art of making things safe is ever changing and that some of the content we present is sure to age. So, complement our guidance with insights you may gain from other sources, ranging from books to technical articles to standards and more.

 


 

Usability Testing of Medical Devices - Second Edition

by Michael Wiklund, Jonathan Kendler, and Allison Strochlic

Usability Testing of Medical Devices covers the nitty-gritty of usability test planning, conducting, and results reporting. The book also discusses the government regulations and industry standards that motivate many medical device manufacturers to conduct usability tests.

Since publication of the first edition, the FDA and other regulatory groups have modified their regulations and expectations regarding how medical device manufacturers should approach usability testing. Reflecting these changes, this Second Edition provides updated guidance to readers with an interest or direct role in conducting a usability test of a medical device or system. Key updates involve the 2011 FDA guidance on human factors engineering, requirements set forth by the third edition of IEC 60601 and closely related IEC 62366-1:2015, linking usability test tasks to risk analysis results, and analyzing root causes of use errors that occur during usability tests.

Written by seasoned human factors specialists, Usability Testing of Medical Devices, Second Edition is an informative, practical, and up-to-date handbook for conducting usability tests of medical devices. The book helps ensure a smooth and painless development process―and thus, safe and effective medical devices. Buy the book.

 


 

Writing Human Factors Plans and Reports for Medical Technology Development

By Michael Wiklund, Laura Birmingham, and Stephanie Larsen

This book provides the foundation for developing specific human factors engineering (HFE) work products that are needed to meet the FDA's human factors engineering (HFE) guidance. The authors have created a fictitious company and product to generate concrete examples of the plans and reports developed during various stages of HFE. The book includes an HFE project plan, a formative usability test plan and report, a summative (i.e., validation) usability test plan and report, and an HFE report. These work products and additional content outline the activities necessary to develop safe and effective medical devices, making this book an ideal resource for anyone interested in the medical technology field. Buy the book.

 


 

Medical Device Use Error Root Cause Analysis
by Michael Wiklund, Andrea Dwyer, and Erin Davis

This book offers practical guidance on how to methodically discover and explain the root cause of a use error―a mistake―that occurs when someone uses a medical device. Covering medical devices used in the home and those used in clinical environments, the book presents informative case studies about the use errors (mistakes) that people make when using a medical device, the potential consequences, and design-based preventions.

 

Using clear illustrations and simple narrative explanations, the text:

  • Covers the fundamentals and language of root cause analysis and regulators’ expectations regarding the thorough analysis of use errors
  • Describes how to identify use errors, interview users about use errors, and fix user interface design flaws that could induce use errors
  • Reinforces the application of best practices in human factors engineering, including conducting both formative and summative usability tests 

Buy the book

 


 

Handbook of Human Factors in Medical Device Design

Edited by Matthew Weinger, Michael Wiklund, and Daryle Gardner-Bonneau

Developed to promote the design of safe, effective, and usable medical devices, Handbook of Human Factors in Medical Device Design provides a single convenient source of authoritative information to support evidence-based design and evaluation of medical device user interfaces using rigorous human factors engineering principles. It offers guidance on user-centric design supported by discussions of design issues, case studies, and examples. The book sets the foundation with coverage of fundamental topics such as aligning the interactive nature of medical devices to the expected use environments ranging from hospitals and ambulances to patients’ homes, drawing on anthropometric and biomechanical data to ensure that designs match the intended users’ bodies and physical abilities, and conducting usability tests and other evaluations to ensure that devices perform as intended. It then focuses on applied design issues, offering guidance on the design of specific types of devices and designing devices for particular use environments. Adapted in part from established design standards and conventions, the design guidance presented in this work distills professional judgment extracted from the contributing authors’ years of experience in applied analysis and design. Written in true handbook style, each chapter stands alone and includes tables, illustrations, and cross references, allowing you to quickly find the exact information you need. Most chapters begin with a general introduction to the selected topic, followed by the presentation of general and special design considerations and then specific, numbered design guidelines. The book also presents a listing of resources, literature, and website references. It not only focuses on the human factors issues that arise when developing medical devices, it supplies the necessary guidance to resolve them. Buy the book.

 


 

Designing Usability into Medical Products
by Michael Wiklund and Stephen Wilcox

Advocating a user-centered approach to medical technology design, Designing Usability into Medical Products covers the essential processes and specific techniques necessary to produce safe, effective, usable, and appealing medical systems and products. Written by experts on user-centered research, design, and evaluation, the book provides a range of alternative approaches to the subject. Wiklund and Wilcox explore how to make medical devices safe and effective by involving users in the design process. They discuss specific design and evaluation methods and tools, present case studies of user-friendly medical technologies and corporate human factors programs, and supply related resources for medical design professionals.

The book conveys an in-depth understanding of the user-centered design process, covers design methods for FDA compliance, and offers guidance on performing a variety of hands-on user research, user interface design, and user interface evaluation. The authors make a compelling case for treating the user's needs and preferences as a top design priority, rather than an afterthought. They demonstrate that high-quality customer interactions with systems and products leads to effective medical diagnosis and treatment, increases the physical and mental well being of patients and caregivers, and leads to commercial success in a crowded marketplace. Buy the book.

 


 

Usability in Practice

Editor: Michael Wiklund

This volume investigates how major corporations, such as Microsoft, Borland, Apple, Eastman Kodak, and Silicon Graphics, address usability issues. It presents case studies of each organization, outlining their program structures, program goals, and team members' responsibilities and resources. The book also addresses how usability is marketed inside the organization and to customers, as well as the lessons learned during the course of product development efforts. Each illustrated study includes advice that should help readers establish and manage their own program.

Out of print. Used copies might be available.

 


 

The Beauty of Unity-in-Variety

by Ruben Post

This thesis embarks from the idea that aesthetic appreciation of product designs is determined by simultaneously perceiving the two partially opposing dimensions of unity and variety. People actively avoid boredom by searching for variety because it challenges the senses and offers the potential of learning new information. Hence, people browse through thick catalogues, are attracted to colourful bouquets and let their eyes and hands explore a novel car interior. In doing so, these products offer stimulation to the senses. However, too much variety leads to confusion, as people fail to make sense of what they perceive. It is therefore that they appreciate perceiving unity at the same time, as it brings structure to variety; items in a catalogue are precisely ordered, flowers are neatly arranged and components of a car interior are carefully picked and organized. The above idea is captured in an age-old aesthetic principle, aptly named Unity-in-Variety (UiV). The principle states that perceiving a balance between the opposing forces of unity and variety is aesthetically preferred. While this principle has been argued to explain aesthetic appreciation for works of art, music and landscapes, little empirical research existed on this principle and, to our knowledge, none for product designs.

Available at Institutional Repository, Delft University in Delft, The Netherlands. Contact Ruben Post at ruben.post@ul.com.

 

 

United Kingdom

150, Cambridge Science Park
Milton Road
Cambridge CB4 0GN
+44 (0)1223 214 044

USA

205 W Wacker Drive
Floor 13, Suite 1300
Chicago Illinois 60606
847 664 1363

USA

300 Baker Avenue
Suite 200
Concord Massachusetts 01742
978 371 2700

Netherlands

Arthur van Schendelstraat 600-G
MJ Utrecht,
The Netherlands 3511
+31 263 764 985

Japan

Marunouchi Trust Tower Main Building 6F
1-8-3 Marunouchi, Chiyoda-ku,
Tokyo 100-0005
+81 3 5293 6041