信頼できるAIの評価リスト(原文と日本語訳)

信頼できるAIのための倫理ガイドラインの第3章にあるチェックリストの日本語訳(クロームでの機械翻訳)と英語の原文を掲載します。

  1. 信頼できるAI評価リスト(パイロット版)
    1. 人的機関と監督
      1.  基本的権利:
      2. 人間のエージェント:
      3. 人間の監視:
    2. 技術的な堅牢性と安全性
      1. 技術的な堅牢性と安全性
      2.  フォールバック計画と一般的な安全性:
      3.  正確さ
      4. 信頼性と再現性:
    3. プライバシーとデータガバナンス
      1.  プライバシーとデータ保護の尊重:
      2.  データの品質と整合性:
      3. データへのアクセス:
    4. 透明性
      1.  トレーサビリティ:
      2.  説明可能性:
      3. コミュニケーション:
    5. 多様性、非差別および公正
      1.  不公平なバイアス回避:
      2. アクセシビリティとユニバーサルデザイン:
      3.  利害関係者の参加:
    6. 社会的および環境的幸福
      1.  持続可能で環境に優しいAI:
      2.  社会的影響:
      3.  社会と民主主義:
    7. 説明責任
      1. 監査可能性:
      2. 悪影響の最小化と報告:
      3. トレードオフの文書化:
      4. 是正する能力:
  2. TRUSTWORTHY AI ASSESSMENT LIST (PILOT VERSION)原文(英文)
    1. Human agency and oversight
      1.  Fundamental rights:
      2. Human agency:
      3. Human oversight:
    2. Technical robustness and safety
      1. Technical robustness and safety
      2.  Fallback plan and general safety:
      3.  Accuracy
      4. Reliability and reproducibility:
    3. Privacy and data governance
      1.  Respect for privacy and data Protection:
      2.  Quality and integrity of data:
      3. Access to data:
    4. Transparency
      1.  Traceability:
      2.  Explainability:
      3. Communication:
    5. Diversity, non-discrimination and fairness
      1.  Unfair bias avoidance:
      2. Accessibility and universal design:
      3.  Stakeholder participation:
    6. Societal and environmental well-being
      1.  Sustainable and environmentally friendly AI:
      2.  Social impact:
      3.  Society and democracy:
    7. Accountability
      1. Auditability:
      2. Minimising and reporting negative Impact:
      3. Documenting trade-offs:
      4. Ability to redress:

信頼できるAI評価リスト(パイロット版)

人的機関と監督

 基本的権利:

  • 基本的権利に悪影響を及ぼす可能性のある基本的権利影響評価を実施しましたか?異なる原則と権利の間で生じる潜在的なトレードオフを特定し、文書化しましたか?
  • AIシステムは、人間(エンド)ユーザーによる決定(例:推奨されるアクションまたは実行する決定、オプションの提示)と対話しますか?
  • AIシステムは、(エンド)ユーザーの意思決定プロセスに意図しない方法で干渉することにより、人間の自律性に影響を与える可能性がありますか?
  • AIシステムが、意思決定、コンテンツ、アドバイス、または結果がアルゴリズムの決定の結果であることをユーザーに伝える(エンド)かどうかを検討しましたか?
  • チャットボットまたは他の会話システムの場合、人間のエンドユーザーは、人間以外のエージェントと対話していることを認識していますか?

人間のエージェント:

  • AIシステムは仕事と労働のプロセスに実装されていますか?もしそうなら、意味のある相互作用と適切な人間の監視と制御のために、AIシステムと人間の間のタスク割り当てを検討しましたか?
  • AIシステムは人間の能力を強化または増強しますか?
  • 作業プロセスのAIシステムへの過剰な信頼や過度の依存を防ぐために、安全対策を講じましたか?

人間の監視:

  • 特定のAIシステムおよびユースケースに対して適切なレベルの人間の制御を検討しましたか?
  • 人間の制御または関与のレベルを説明できますか?
  • 「制御の人間」とは誰で、人間が介入する瞬間やツールは何ですか?
  • 人間の制御または監視を確保するためのメカニズムと手段を導入しましたか?
  • 監査を有効にし、AI自律の管理に関連する問題を解決するための手段を講じましたか?
  • 自己学習型または自律型のAIシステムまたはユースケースはありますか?もしそうなら、制御と監視のより具体的なメカニズムを導入しましたか?
  • 問題が発生する可能性があるかどうかを評価するために、どの検出および応答メカニズムを確立しましたか?
  • 必要に応じて操作を安全に中止するための停止ボタンまたは手順を確認しましたか?この手順は、プロセスを完全に、部分的に中止するか、人間に制御を委任しますか?

技術的な堅牢性と安全性

技術的な堅牢性と安全性

  • AIシステムが脆弱になる可能性のある攻撃の可能性を評価しましたか?
  • データ汚染、物理インフラストラクチャ、サイバー攻撃など、さまざまな種類と脆弱性の性質を考慮しましたか?
  • 潜在的な攻撃に対するAIシステムの整合性と回復力を確保するための手段またはシステムを導入しましたか?
  • 予期しない状況や環境でのシステムの動作を確認しましたか?
  • システムを二重に使用できる程度を検討しましたか?そうである場合、この事例に対して適切な予防措置を講じましたか(たとえば、研究の公開やシステムの展開を含めて)。

 フォールバック計画と一般的な安全性:

  • 敵対的な攻撃やその他の予期しない状況(たとえば、技術的な切り替え手順や先に進む前に人間のオペレーターに尋ねる)が発生した場合、システムに十分なフォールバック計画があることを確認しましたか?
  • この特定のユースケースでAIシステムによって生じるリスクのレベルを考慮しましたか?
  • リスクと安全性を測定および評価するプロセスを導入しましたか?
  • 人間の身体的完全性に対するリスクがある場合に必要な情報を提供しましたか?
  • AIシステムの潜在的な損害に対処するための保険を検討しましたか?
  • 偶発的または悪意のある誤用を含む、テクノロジーの(他の)予見可能な使用の潜在的な安全性リスクを特定しましたか?これらのリスクを軽減または管理する計画はありますか?
  • AIシステムがユーザーまたは第三者に損害または損害を与える可能性が高いかどうかを評価しましたか?可能性、潜在的な損害、影響を受ける視聴者、および深刻度を評価しましたか?
  • 責任と消費者保護のルールを考慮し、それらを考慮しましたか?
  • 環境または動物への潜在的な影響または安全上のリスクを考慮しましたか?
  • リスク分析には、セキュリティまたはサイバーセキュリティの危険などのネットワークの問題が、AIシステムの意図しない動作による安全上のリスクまたは損害をもたらす可能性があるかどうかが含まれていましたか?
  • AIシステムが誤った結果を提供したり、社会的に受け入れられない結果(差別など)を提供した場合、AIシステムの障害による影響の可能性を推定しましたか?
  • しきい値を定義し、代替/フォールバック計画をトリガーするガバナンス手順を導入しましたか?
  • フォールバックプランを定義してテストしましたか?

 正確さ

  • AIシステムおよびユースケースのコンテキストで必要な精度のレベルと定義を評価しましたか?
  • 精度の測定方法と保証方法を評価しましたか?
  • 使用するデータが包括的かつ最新であることを保証するための対策を実施しましたか?
  • 追加のデータが必要かどうかを評価するために、たとえば精度を改善したり、偏りをなくしたりするための対策を実施しましたか?
  • AIシステムが不正確な予測を行った場合にどのような害が生じるかを検証しましたか?
  • システムが許容できない量の不正確な予測を行っているかどうかを測定する方法を導入しましたか?
  • システムの精度を高めるために一連の手順を実施しましたか?

信頼性と再現性:

  • AIシステムが目標、目的、目的のアプリケーションを満たしているかどうかを監視およびテストする戦略を導入しましたか?
  • 再現性を確保するために、特定のコンテキストまたは特定の条件を考慮する必要があるかどうかをテストしましたか?
  • システムの信頼性と再現性のさまざまな側面を測定および保証するための検証方法を導入しましたか?
  • AIシステムが特定のタイプの設定でいつ失敗するかを説明するプロセスを導入しましたか?
  • AIシステムの信頼性のテストと検証のために、これらのプロセスを明確に文書化し、運用しましたか?
  • システムの信頼性を(エンド)ユーザーに保証するための通信メカニズムを確立しましたか?

プライバシーとデータガバナンス

 プライバシーとデータ保護の尊重:

  • ユースケースに応じて、AIシステムのデータ収集(トレーニングおよび操作用)およびデータ処理のプロセスで、プライバシーまたはデータ保護に関連する問題に他のユーザーがフラグを立てることができるメカニズムを確立しましたか?
  • データセットのデータの種類と範囲を評価しましたか(たとえば、個人データが含まれているかどうか)。
  • 潜在的に機密データまたは個人データを使用せずに、または最小限の使用でAIシステムを開発する方法またはモデルをトレーニングする方法を検討しましたか?
  • ユースケースに応じて、個人データの通知と制御のメカニズムを構築しましたか(該当する場合、有効な同意や取り消す可能性など)。
  • 暗号化、匿名化、集約など、プライバシーを強化する手段を講じましたか?
  • データプライバシーオフィサー(DPO)が存在する場合、プロセスの初期段階でこの人物を関与させましたか?

 データの品質と整合性:

  • システムを関連標準(ISO、IEEEなど)または日常のデータ管理とガバナンスに広く採用されているプロトコルに合わせましたか?
  • データの収集、保存、処理、使用のための監視メカニズムを確立しましたか?
  • 使用する外部データソースの品質をどの程度管理しているかを評価しましたか?
  • データの品質と整合性を確保するプロセスを導入しましたか?他のプロセスを検討しましたか?データセットが侵害またはハッキングされていないことをどのように確認していますか?

データへのアクセス:

  • 適切なデータガバナンスを管理および確保するために、どのプロトコル、プロセス、および手順に従いましたか?
  • 誰がユーザーのデータにアクセスできるか、どのような状況で評価できましたか?
  • これらの人物がデータにアクセスする資格を持ち、データ保護ポリシーの詳細を理解するために必要な能力を持っていることを確認しましたか?
  • データがいつ、どこで、どのように、誰によって、どのような目的でアクセスされたかを記録する監視メカニズムを確保しましたか?

透明性

 トレーサビリティ:

  • トレーサビリティを確保できる手段を確立しましたか?これには、次の方法を文書化する必要があります。
  • アルゴリズムシステムの設計と開発に使用される方法:
    • ルールベースのAIシステム:プログラミングの方法またはモデルの作成方法。
    • 学習ベースのAIシステム。アルゴリズムをトレーニングする方法。どの入力データが収集および選択されたか、これがどのように発生したかなど。
  • アルゴリズムシステムのテストと検証に使用される方法:
    • ルールベースのAIシステム。テストおよび検証するために使用されるシナリオまたはケース。
    • 学習ベースのモデル:テストと検証に使用されるデータに関する情報。
  • アルゴリズムシステムの結果:
    • アルゴリズムの結果または決定、およびさまざまなケースから生じる可能性のある他の決定(たとえば、ユーザーの他のサブグループ)。

 説明可能性:

  • 評価しましたか:
    • AIシステムの決定とそれによる結果をどの程度まで理解できますか?
    • システムの決定が組織の意思決定プロセスにどの程度影響するか?
    • この特定のシステムがこの特定の領域に展開された理由は何ですか?
    • システムのビジネスモデルとは(たとえば、組織にとってどのように価値を生み出すのか)。
  • システムが特定の選択を行った結果、すべてのユーザーが理解できる特定の結果が得られた理由についての説明を確認しましたか?
  • 最初から解釈可能性を念頭に置いてAIシステムを設計しましたか?
  • 問題のアプリケーションで可能な限り単純で最も解釈可能なモデルを調査し、使用しようとしましたか?
  • トレーニングデータとテストデータを分析できるかどうかを評価しましたか?これを経時的に変更および更新できますか?
  • モデルのトレーニングと開発の後に解釈可能性を調べることができるかどうか、またはモデルの内部ワークフローにアクセスできるかどうかを評価しましたか?

コミュニケーション:

  • (エンド)ユーザーに、免責事項またはその他の手段を介して、AIシステムと対話しており、他の人間と対話していないことを伝えましたか?AIシステムにそのようなラベルを付けましたか?
  • AIシステムの結果の背後にある理由と基準について(エンド)ユーザーに通知するメカニズムを確立しましたか?
  • これを対象読者に明確かつわかりやすく伝えましたか?
  • ユーザーのフィードバックを考慮したプロセスを確立し、これを使用してシステムを適合させましたか?
  • バイアスなど、潜在的なリスクまたは認識されているリスクについてコミュニケーションしましたか?
  • ユースケースに応じて、他の聴衆、第三者、または一般の人々に対するコミュニケーションと透明性を考慮しましたか?
  • AIシステムの目的と、製品/サービスから誰または何が恩恵を受ける可能性があるかを明確にしましたか?
  • 製品の使用シナリオを指定し、それらを明確に伝えて、意図した対象者にとって理解可能で適切であることを確認しましたか?
  • ユースケースに応じて、人間の心理学や、混乱のリスク、確認バイアス、認知疲労などの潜在的な制限について考えましたか?
  • AIシステムの特性、制限、潜在的な欠点を明確に伝えましたか?
  • システムの開発の場合:誰がシステムを製品またはサービスに展開していますか?
  • システムの展開の場合:(エンド)ユーザーまたは消費者へ?

多様性、非差別および公正

 不公平なバイアス回避:

  • 入力データの使用とアルゴリズム設計の両方に関して、AIシステムでの不公平なバイアスの作成または強化を回避するための戦略または一連の手順を確立しましたか?
  • 使用されたデータセットの構成に起因する可能性のある制限を評価し、認めましたか?
  • データのユーザーの多様性と代表性を考慮しましたか?特定の集団または問題のあるユースケースをテストしましたか?
  • データ、モデル、パフォーマンスの理解を深めるために、利用可能な技術ツールを調査して使用しましたか?
  • システムの開発、展開、および使用段階で潜在的なバイアスをテストおよび監視するプロセスを導入しましたか?
  • ユースケースに応じて、AIシステムのバイアス、差別、またはパフォーマンスの低下に関連する問題に他のユーザーがフラグを立てることができるメカニズムを確保しましたか?
  • そのような問題をどのようにして誰に提起できるかについて、明確な手順とコミュニケーション方法を確立しましたか?
  • (エンド)ユーザーに加えて、AIシステムによって間接的に影響を受ける可能性のある他のユーザーを考慮しましたか?
  • 同じ条件下で発生する可能性のある意思決定のばらつきがあるかどうかを評価しましたか?
  • もしそうなら、これの考えられる原因は何かを考えましたか?
  • 変動性の場合、そのような変動性が基本的権利に及ぼす潜在的な影響の測定または評価メカニズムを確立しましたか?
  • AIシステムの設計に適用する「公平性」の適切な作業定義を確保しましたか?
  • あなたの定義は一般的に使用されていますか?これを選択する前に、他の定義を検討しましたか?
  • 適用された公平性の定義を測定およびテストするための定量的分析または測定基準を確保しましたか?
  • AIシステムの公平性を確保するメカニズムを確立しましたか?他の潜在的なメカニズムを検討しましたか?

アクセシビリティとユニバーサルデザイン:

  • AIシステムが幅広い個人の好みや能力に対応していることを確認しましたか?
  • AIシステムが特別なニーズや障害を持つ人々、または排除のリスクがある人々によって使用可能かどうかを評価しましたか?これはどのようにシステムに組み込まれ、どのように検証されましたか?
  • AIシステムに関する情報が支援技術のユーザーにもアクセス可能であることを確認しましたか?
  • AIシステムの開発段階で、このコミュニティに参加または相談しましたか?
  • 潜在的なユーザーオーディエンスに対するAIシステムの影響を考慮しましたか?
  • AIシステムの構築に関与するチームがターゲットユーザーの聴衆を代表しているかどうかを評価しましたか?接線方向に影響を受ける可能性のある他のグループも考慮して、それはより広い人口の代表ですか?
  • マイナスの影響によって不均衡に影響を受ける可能性のある人またはグループが存在する可能性があるかどうかを評価しましたか?
  • さまざまな背景や経験を表す他のチームやグループからフィードバックを得ましたか?

 利害関係者の参加:

  • AIシステムの開発と使用にさまざまな利害関係者の参加を含めるメカニズムを検討しましたか?
  • 影響を受ける労働者とその代表者に事前に通知し、関与させることにより、組織にAIシステムを導入する道を開きましたか?

社会的および環境的幸福

 持続可能で環境に優しいAI:

  • AIシステムの開発、展開、および使用の環境への影響(たとえば、データセンターで使用されるエネルギーの種類)を測定するメカニズムを確立しましたか?
  • AIシステムのライフサイクルの環境への影響を減らすための対策を確保しましたか?

 社会的影響:

  • AIシステムが人間と直接対話する場合:
  • AIシステムが人間にシステムへの愛着と共感を育てるように促すかどうかを評価しましたか?
  • AIシステムは、その社会的相互作用がシミュレートされ、「理解」と「感覚」の能力を持たないことを明確に通知しましたか?
  • AIシステムの社会的影響が十分に理解されていることを確認しましたか?たとえば、失業または労働力のスキル低下のリスクがあるかどうかを評価しましたか?そのようなリスクに対抗するためにどのような措置が取られましたか?

 社会と民主主義:

  • 間接的に影響を受ける可能性のある利害関係者など、個々の(エンドユーザー)を超えたAIシステムの使用のより広範な社会的影響を評価しましたか?

説明責任

監査可能性:

  • AIシステムのプロセスと結果の追跡可能性とログ記録を確保するなど、システムの監査可能性を促進するメカニズムを確立しましたか?
  • 基本的な権利に影響を与えるアプリケーション(安全性が重要なアプリケーションを含む)で、AIシステムを独立して監査できることを確認しましたか?

悪影響の最小化と報告:

  • AIシステムのリスクまたは影響の評価を実行しましたか?これは、(直接)影響を受けるさまざまな利害関係者を考慮していますか?
  • 説明責任の実践を支援するためのトレーニングと教育を提供しましたか?
  • チームのどのワーカーまたはブランチが関係していますか?開発段階を超えていますか?
  • これらのトレーニングは、AIシステムに適用可能な潜在的な法的枠組みも教えていますか?
  • 「倫理的なAI審査委員会」または同様のメカニズムを確立して、不明確な可能性のある灰色の領域を含む全体的な説明責任と倫理慣行を議論することを検討しましたか
  • 内部のイニシアチブに加えて、倫理と説明責任を監督するために、何らかの外部ガイダンスを予見したり、監査プロセスを導入したりしましたか?
  • AIシステムの潜在的な脆弱性、リスク、またはバイアスを報告するために、サードパーティ(サプライヤー、消費者、ディストリビューター/ベンダー)または労働者のプロセスを確立しましたか?

トレードオフの文書化:

  • AIシステムとそれらの間の潜在的なトレードオフに関係する関心と価値を識別するメカニズムを確立しましたか?
  • そのようなトレードオフをどのように決定しますか?トレードオフの決定が文書化されたことを確認しましたか?

是正する能力:

  • 危害や悪影響が発生した場合に是正を可能にする適切なメカニズムのセットを確立しましたか?
  • 是正の機会について(エンド)ユーザー/第三者に情報を提供するメカニズムを両方とも導入しましたか?

TRUSTWORTHY AI ASSESSMENT LIST (PILOT VERSION)原文(英文)

Human agency and oversight

 Fundamental rights:

  • Did you carry out a fundamental rights impact assessment where there could be a negative impact on fundamental rights? Did you identify and document potential trade-offs made between the different principles and rights?
  • Does the AI system interact with decisions by human (end) users (e.g. recommended actions or decisions to take, presenting of options)?
  • Could the AI system affect human autonomy by interfering with the (end) user’s decision-making process in an unintended way?
  • Did you consider whether the AI system should communicate to (end) users that a decision, content, advice or outcome is the result of an algorithmic decision?
  • In case of a chat bot or other conversational system, are the human end users made aware that they are interacting with a non-human agent?

Human agency:

  • Is the AI system implemented in work and labour process? If so, did you consider the task allocation between the AI system and humans for meaningful interactions and appropriate human oversight and control?
  • Does the AI system enhance or augment human capabilities?
  • Did you take safeguards to prevent overconfidence in or overreliance on the AI system for work processes?

Human oversight:

  • Did you consider the appropriate level of human control for the particular AI system and use case?
  • Can you describe the level of human control or involvement?
  • Who is the “human in control” and what are the moments or tools for human intervention?
  • Did you put in place mechanisms and measures to ensure human control or oversight?
  • Did you take any measures to enable audit and to remedy issues related to governing AI autonomy?
  • Is there is a self-learning or autonomous AI system or use case? If so, did you put in place more specific mechanisms of control and oversight?
  • Which detection and response mechanisms did you establish to assess whether something could go wrong?
  • Did you ensure a stop button or procedure to safely abort an operation where needed? Does this procedure abort the process entirely, in part, or delegate control to a human?

Technical robustness and safety

Technical robustness and safety

  • Did you assess potential forms of attacks to which the AI system could be vulnerable?
  • Did you consider different types and natures of vulnerabilities, such as data pollution, physical infrastructure, cyber-attacks?
  • Did you put measures or systems in place to ensure the integrity and resilience of the AI system against potential attacks?
  • Did you verify how your system behaves in unexpected situations and environments?
  • Did you consider to what degree your system could be dual-use? If so, did you take suitable preventative measures against this case (including for instance not publishing the research or deploying the system)?

 Fallback plan and general safety:

  • Did you ensure that your system has a sufficient fallback plan if it encounters adversarial attacks or other unexpected situations (for example technical switching procedures or asking for a human operator before proceeding)?
  • Did you consider the level of risk raised by the AI system in this specific use case?
  • Did you put any process in place to measure and assess risks and safety?
  • Did you provide the necessary information in case of a risk for human physical integrity?
  • Did you consider an insurance policy to deal with potential damage from the AI system?
  • Did you identify potential safety risks of (other) foreseeable uses of the technology, including accidental or malicious misuse? Is there a plan to mitigate or manage these risks?
  • Did you assess whether there is a probable chance that the AI system may cause damage or harm to users or third parties? Did you assess the likelihood, potential damage, impacted audience and severity?
  • Did you consider the liability and consumer protection rules, and take them into account?
  • Did you consider the potential impact or safety risk to the environment or to animals?
  • Did your risk analysis include whether security or network problems such as cybersecurity hazards could pose safety risks or damage due to unintentional behaviour of the AI system?
  • Did you estimate the likely impact of a failure of your AI system when it provides wrong results becomes unavailable, or provides societally unacceptable results (for example discrimination)?
  • Did you define thresholds and did you put governance procedures in place to trigger alternative/fallback plans?
  • Did you define and test fallback plans?

 Accuracy

  • Did you assess what level and definition of accuracy would be required in the context of the AI system and use case?
  • Did you assess how accuracy is measured and assured?
  • Did you put in place measures to ensure that the data used is comprehensive and up to date?
  • Did you put in place measures in place to assess whether there is a need for additional data, for example to improve accuracy or to eliminate bias?
  • Did you verify what harm would be caused if the AI system makes inaccurate predictions?
  • Did you put in place ways to measure whether your system is making an unacceptable amount of inaccurate predictions?
  • Did you put in place a series of steps to increase the system’s accuracy?

Reliability and reproducibility:

  • Did you put in place a strategy to monitor and test if the AI system is meeting the goals, purposes and intended applications?
  • Did you test whether specific contexts or particular conditions need to be taken into account to ensure reproducibility?
  • Did you put in place verification methods to measure and ensure different aspects of the system’s reliability and reproducibility?
  • Did you put in place processes to describe when an AI system fails in certain types of settings?
  • Did you clearly document and operationalise these processes for the testing and verification of the reliability of AI systems?
  • Did you establish mechanisms of communication to assure (end-)users of the system’s reliability?

Privacy and data governance

 Respect for privacy and data Protection:

  • Depending on the use case, did you establish a mechanism allowing others to flag issues related to privacy or data protection in the AI system’s processes of data collection (for training and operation) and data processing?
  • Did you assess the type and scope of data in your data sets (for example whether they contain personal data)?
  • Did you consider ways to develop the AI system or train the model without or with minimal use of potentially sensitive or personal data?
  • Did you build in mechanisms for notice and control over personal data depending on the use case (such as valid consent and possibility to revoke, when applicable)?
  • Did you take measures to enhance privacy, such as via encryption, anonymisation and aggregation?
  • Where a Data Privacy Officer (DPO) exists, did you involve this person at an early stage in the process?

 Quality and integrity of data:

  • Did you align your system with relevant standards (for example ISO, IEEE) or widely adopted protocols for daily data management and governance?
  • Did you establish oversight mechanisms for data collection, storage, processing and use?
  • Did you assess the extent to which you are in control of the quality of the external data sources used?
  • Did you put in place processes to ensure the quality and integrity of your data? Did you consider other processes? How are you verifying that your data sets have not been compromised or hacked?

Access to data:

  • What protocols, processes and procedures did you follow to manage and ensure proper data governance?
  • Did you assess who can access users’ data, and under what circumstances?
  • Did you ensure that these persons are qualified and required to access the data, and that they have the necessary competences to understand the details of data protection policy?
  • Did you ensure an oversight mechanism to log when, where, how, by whom and for what purpose data was accessed?

Transparency

 Traceability:

  • Did you establish measures that can ensure traceability? This could entail documenting the following methods:
  • Methods used for designing and developing the algorithmic system:
    • Rule-based AI systems: the method of programming or how the model was built;
    • Learning-based AI systems; the method of training the algorithm, including which input data was gathered and selected, and how this occurred.
  • Methods used to test and validate the algorithmic system:
    • Rule-based AI systems; the scenarios or cases used in order to test and validate;
    • Learning-based model: information about the data used to test and validate.
  • Outcomes of the algorithmic system:
    • The outcomes of or decisions taken by the algorithm, as well as potential other decisions that would result from different cases (for example, for other subgroups of users).

 Explainability:

  • Did you assess:
    • to what extent the decisions and hence the outcome made by the AI system can be understood?
    • to what degree the system’s decision influences the organisation’s decision-making processes?
    • why this particular system was deployed in this specific area?
    • what the system’s business model is (for example, how does it create value for the organisation)?
  • Did you ensure an explanation as to why the system took a certain choice resulting in a certain outcome that all users can understand?
  • Did you design the AI system with interpretability in mind from the start?
  • Did you research and try to use the simplest and most interpretable model possible for the application in question?
  • Did you assess whether you can analyse your training and testing data? Can you change and update this over time?
  • Did you assess whether you can examine interpretability after the model’s training and development, or whether you have access to the internal workflow of the model?

Communication:

  • Did you communicate to (end-)users – through a disclaimer or any other means – that they are interacting with an AI system and not with another human? Did you label your AI system as such?
  • Did you establish mechanisms to inform (end-)users on the reasons and criteria behind the AI system’s outcomes?
  • Did you communicate this clearly and intelligibly to the intended audience?
  • Did you establish processes that consider users’ feedback and use this to adapt the system?
  • Did you communicate around potential or perceived risks, such as bias?
  • Depending on the use case, did you consider communication and transparency towards other audiences, third parties or the general public?
  • Did you clarify the purpose of the AI system and who or what may benefit from the product/service?
  • Did you specify usage scenarios for the product and clearly communicate these to ensure that it is understandable and appropriate for the intended audience?
  • Depending on the use case, did you think about human psychology and potential limitations, such as risk of confusion, confirmation bias or cognitive fatigue?
  • Did you clearly communicate characteristics, limitations and potential shortcomings of the AI system?
  • In case of the system’s development: to whoever is deploying it into a product or service?
  • In case of the system’s deployment: to the (end-)user or consumer?

Diversity, non-discrimination and fairness

 Unfair bias avoidance:

  • Did you establish a strategy or a set of procedures to avoid creating or reinforcing unfair bias in the AI system, both regarding the use of input data as well as for the algorithm design?
  • Did you assess and acknowledge the possible limitations stemming from the composition of the used data sets?
  • Did you consider diversity and representativeness of users in the data? Did you test for specific populations or problematic use cases?
  • Did you research and use available technical tools to improve your understanding of the data, model and performance?
  • Did you put in place processes to test and monitor for potential biases during the development, deployment and use phase of the system?
  • Depending on the use case, did you ensure a mechanism that allows others to flag issues related to bias, discrimination or poor performance of the AI system?
  • Did you establish clear steps and ways of communicating on how and to whom such issues can be raised?
  • Did you consider others, potentially indirectly affected by the AI system, in addition to the (end)- users?
  • Did you assess whether there is any possible decision variability that can occur under the same conditions?
  • If so, did you consider what the possible causes of this could be?
  • In case of variability, did you establish a measurement or assessment mechanism of the potential impact of such variability on fundamental rights?
  • Did you ensure an adequate working definition of “fairness” that you apply in designing AI systems?
  • Is your definition commonly used? Did you consider other definitions before choosing this one?
  • Did you ensure a quantitative analysis or metrics to measure and test the applied definition of fairness?
  • Did you establish mechanisms to ensure fairness in your AI systems? Did you consider other potential mechanisms?

Accessibility and universal design:

  • Did you ensure that the AI system accommodates a wide range of individual preferences and abilities?
  • Did you assess whether the AI system usable by those with special needs or disabilities or those at risk of exclusion? How was this designed into the system and how is it verified?
  • Did you ensure that information about the AI system is accessible also to users of assistive technologies?
  • Did you involve or consult this community during the development phase of the AI system?
  • Did you take the impact of your AI system on the potential user audience into account?
  • Did you assess whether the team involved in building the AI system is representative of your target user audience? Is it representative of the wider population, considering also of other groups who might tangentially be impacted?
  • Did you assess whether there could be persons or groups who might be disproportionately affected by negative implications?
  • Did you get feedback from other teams or groups that represent different backgrounds and experiences?

 Stakeholder participation:

  • Did you consider a mechanism to include the participation of different stakeholders in the AI system’s development and use?
  • Did you pave the way for the introduction of the AI system in your organisation by informing and involving impacted workers and their representatives in advance?

Societal and environmental well-being

 Sustainable and environmentally friendly AI:

  • Did you establish mechanisms to measure the environmental impact of the AI system’s development, deployment and use (for example the type of energy used by the data centres)?
  • Did you ensure measures to reduce the environmental impact of your AI system’s life cycle?

 Social impact:

  • In case the AI system interacts directly with humans:
  • Did you assess whether the AI system encourages humans to develop attachment and empathy towards the system?
  • Did you ensure that the AI system clearly signals that its social interaction is simulated and that it has no capacities of “understanding” and “feeling”?
  • Did you ensure that the social impacts of the AI system are well understood? For example, did you assess whether there is a risk of job loss or de-skilling of the workforce? What steps have been taken to counteract such risks?

 Society and democracy:

  • Did you assess the broader societal impact of the AI system’s use beyond the individual (end-)user, such as potentially indirectly affected stakeholders?

Accountability

Auditability:

  • Did you establish mechanisms that facilitate the system’s auditability, such as ensuring traceability and logging of the AI system’s processes and outcomes?
  • Did you ensure, in applications affecting fundamental rights (including safety-critical applications) that the AI system can be audited independently?

Minimising and reporting negative Impact:

  • Did you carry out a risk or impact assessment of the AI system, which takes into account different stakeholders that are (in)directly affected?
  • Did you provide training and education to help developing accountability practices?
  • Which workers or branches of the team are involved? Does it go beyond the development phase?
  • Do these trainings also teach the potential legal framework applicable to the AI system?
  • Did you consider establishing an ‘ethical AI review board’ or a similar mechanism to discuss overall accountability and ethics practices, including potentially unclear grey areas?
  • Did you foresee any kind of external guidance or put in place auditing processes to oversee ethics and accountability, in addition to internal initiatives?
  • Did you establish processes for third parties (e.g. suppliers, consumers, distributors/vendors) or workers to report potential vulnerabilities, risks or biases in the AI system?

Documenting trade-offs:

  • Did you establish a mechanism to identify relevant interests and values implicated by the AI system and potential trade-offs between them?
  • How do you decide on such trade-offs? Did you ensure that the trade-off decision was documented?

Ability to redress:

  • Did you establish an adequate set of mechanisms that allows for redress in case of the occurrence of any harm or adverse impact?
  • Did you put mechanisms in place both to provide information to (end-)users/third parties about opportunities for redress?
タイトルとURLをコピーしました