製品の開発段階から、効果的なデザイン設計の評価を実施することで、適切なユーザインタフェース設計が作られ、使いやすい製品にすることができます。

製品評価の方法は数多くありますが、製品開発段階や、利用可能なリソース（例：時間、資金、プロトタイプ、完成品）によって最適な方法が異なります。当社の評価方法は以下の通りです：

製品開発の初期段階における評価

さまざまな技法を駆使して早期設計コンセプトへのフィードバックを収集します。そのうちのひとつが、コグニティブウォークスルーです。この手法では、専門家がユーザの立場になって、製品のスケッチ、物理化した簡易モデル、もしくは一連の静止コンピュータースクリーンを見て、ユーザがどのようにタスクを行うか想定し、その内容を説明します。

評価例：

• 複数のサンプル画面を参照し、ブロックモデルを使ってインスリン注入ポンプの操作に関するワークフローを評価します。
• 装着型心臓ポンプ（左心室補助装置）に関連する消耗品（例：バックパック、ウェストポーチ、メッセンジャーバッグ、肩掛けかばん）について複数のコンセプトにフィードバックします。
• 複数の患者モニター設計コンセプトについて、三次元画像ソフトウェアと正確な重量で作成した3Dプリンタモデルを使って、ユーザの嗜好を評価します。

中間過程における評価

当社では、製品批評のご依頼も受け付けています。これは、エキスパートレビュー(デザイン評価など)やヒューリスティック分析とも呼ばれます。こうした手法を用いる場合、当社では、確立されたヒューマンファクタ設計原理やこれまでの経験に基づいて、ユーザインタフェース設計の強みや改善点を洗い出します。こうした評価は、時間や費用をそれほどかけることなく行うことができるので、費用帯効果が高い支援を提供することが可能です。

当社は製品の形成的ユーザビリティ試験の実施のご依頼も受け付けております。本試験は、デザイン設計チームが開発中の製品に対して、強みや改善点を探り出し、改良の余地がないかを模索します。また、本試験に詳細な試験計画や報告を含めることも可能です。

評価例：

• スマートフォン用フィットネスアプリのスクリーンに対しエキスパートレビューを行います。
• 脳卒中の後遺症に苦しむ人たちの歩行を支援するパワードスーツの形成的評価試験を被験者8名で実施します。
• バリデーション試験を実施する前に、バリデーション試験で使用するテスト計画（プロトコル）に沿って、透析装置の「事前バリデーション」ユーザビリティ試験を被験者15名で実施します。

製品評価を行うことで、設計の強みや改善点が明らかになります。下記は、あくまで、家庭用透析装置を用いた架空の例です。

最終段階における評価

製品開発の最終段階では、バリデーション試験を行います。本試験では、製品を使用する想定ユーザが、製品を安全で、有効的に使用できることを証明します。また、本試験は、FDA承認の必要な製品に対して、規制要件となっています。本試験は、従来からあるユーザビリティ試験ラボで行うこともできますし、高度医療シミュレータなどの先進的な環境で実施することもできます。

当社では、本試験を、サンプルサイズが小さい（n=15）ものから大きな（n > 200）ものまで、さまざまな規模で行ってきた経験があります。FDAガイダンスに基づいた試験プロトコルを常に作成していることで、クライアントがFDAに問題なく受諾されているケースがほとんどです。当社のラボ、世界各地の施設、またはレンタルラボにおいて、ユーザビリティ試験を実施しております。試験報告書には、規制要求事項に沿って、ユーザビリティ試験方法、試験結果、残存するユーザビリティに関わる問題の根本原因を詳細に記述します。また、当社では、複数の情報源（例：FDA、AAMI、IEC）から発行されているガイダンスに沿って試験と報告を行っています。

評価例：

• 76名の被験者で、ペン型インスリン注射機のバリデーション試験を実施し、その製品のユーザ(若年者、成人、年長者、介護人、ヘルスケア提供者)が、安全かつ有効に使用できることを証明します。（注：FDAは、総括的ユーザビリティ試験におけるサンプルサイズを規定しています。参照先：Applying Human Factors and Usability Engineering to Medical Devices、2016年2月4日FDA発行）
• 開心術中の患者の命を維持するために臨床工学士が使用する人工心肺装置のバリデーション試験を、15名の被験者(臨床工学士)で行います。
• 自動車整備士が電気的・機械的問題の診断及び修復に使用するタブレットアプリケーションのバリデーション試験を、12名の被験者(自動車整備士)で行います。

市販後における評価

当社では、市販後の製品に対して、デザイン設計のレビューやユーザビリティ試験などを含む、製品評価を実施します。本レビューは以下の目的で行われます:

• 次世代製品や競争力のある製品を開発する基礎となるユーザビリティに関するベンチマークとなるデータを取得したい場合。
• ユーザインタラクション(ユーザと機器の間の情報のやりとり)に関する市場の声を踏まえたデータを得たいとき。
• 製品の苦情、返品、その他の不良事象につながるおそれのある、ユーザビリティに関わる問題の報告に関する実態の見極めたい場合。

評価例：

• 簡単に処置設定ができる市販済透析装置の比較試験の実施
• 糖尿病患者と一緒に、インスリン注入をするのにどの穿刺機器が最も簡単に使用でき、痛みが少ないかの特定
• リコールされた手術器具のユーザインタフェースに関するエキスパートレビューを実施し、危害を引き起こした使用誤りの根本原因を突き止め、CAPA（是正措置・予防措置）の一環として設計変更を提案