설명가능 AI

1 개요[ | ]

특정한 판단에 대해 알고리즘의 설계자조차도 그 이유를 설명할 수 없는 '블랙박스' 인공지능과 대비되는 개념이다.
불확실성을 해소하여 인공지능에 대한 신뢰성을 높일 수 있게 된다.
이는 설계자조차도 AI가 특정 결정에 도달한 이유를 설명할 수 없는 머신러닝의 "블랙박스" 개념과 대조된다.
XAI는 설명에 대한 사회적 권리의 구현일 수 있다.
XAI는 법적 권리나 규제 요건이 없더라도 관련이 있다.
예를 들어 XAI는 최종 사용자가 AI가 올바른 결정을 내리고 있다는 신뢰를 받도록 지원함으로써 제품 또는 서비스의 사용자 경험을 개선할 수 있다.
이런 식으로 XAI의 목표는 수행된 작업, 지금 수행되는 작업, 다음에 수행할 작업을 설명하고 작업의 기반이 되는 정보를 공개하는 것이다.
이러한 특성은 (i) 기존 지식을 확인하고 (ii) 기존 지식에 도전하고 (iii) 새로운 가정을 생성하는 것을 가능하게 한다.

AI에서 사용되는 알고리즘은 화이트박스와 블랙박스 머신러닝 알고리즘으로 구분할 수 있다.
화이트박스 모델은 해당 분야의 전문가가 이해할 수 있는 결과를 제공하는 ML 모델이다.
반면에 블랙박스 모델은 설명하기가 매우 어렵고 도메인 전문가조차도 이해하기 어렵다.
XAI 알고리즘은 투명성, 해석 가능성 및 설명가능성의 세 가지 원칙을 따르는 것으로 간주된다.
"학습 데이터에서 모델 매개변수를 추출하고 테스트 데이터에서 레이블을 생성하는 프로세스가 접근 설계자가 설명하고 동기를 부여할 수 있는 경우" 투명성이 제공된다.
해석가능성은 ML 모델을 이해하고 인간이 이해할 수 있는 방식으로 의사결정의 기본 기반을 제시할 수 있는 가능성을 설명한다.
설명가능성은 중요한 것으로 인식되는 개념이지만 공동 정의는 아직 사용할 수 없다.
ML에서의 설명가능성은 "해석 가능한 도메인의 특징 모음, 주어진 예가 결정(예 : 분류 또는 회귀)을 생성하는 데 기여한 것"으로 간주 될 수 있다고 제안된다.
알고리즘이 이러한 요구사항을 충족하면 결정을 정당화하고 추적하여 검증하고 알고리즘을 개선하며 새로운 사실을 탐색할 수 있는 기반을 제공한다.

때로는 자체적으로 해석가능한 화이트박스 ML 알고리즘으로 높은 정확도로 결과를 얻을 수도 있다.
이는 의사결정을 이해하고 알고리즘에 대한 신뢰를 구축하는 것이 중요한 의학, 국방, 금융, 법률 같은 영역에서 특히 중요하다.
AI 시스템은 "테스트 데이터세트에서 긍정적인 영화 리뷰가 얼마나 정확한지 평가하는 정확도를 극대화" 명령과 같이 시스템 설계자가 선택한 수학적으로 지정된 목표 시스템을 충족하도록 행동을 최적화한다.
AI는 "'끔찍하다'라는 단어가 포함된 리뷰가 부정적일 가능성이 높다"와 같은 테스트세트에서 유용한 일반 규칙을 배울 수 있다.
그러나 "'Daniel Day-Lewis'가 포함된 리뷰는 일반적으로 긍정적이다."와 같은 부적절한 규칙을 배울 수도 있다.
이러한 규칙은 테스트세트 외부에서 일반화하지 못할 가능성이 있거나 사람들이 규칙을 "속임수" 또는 " 불공정"으로 간주하는 경우 바람직하지 않을 수 있다.
인간은 XAI의 규칙을 감사하여 시스템이 테스트세트 외부의 미래 실제 데이터로 일반화될 가능성을 파악할 수 있다.

AI 시스템은 때로 훈련 데이터에 대해 명시적으로 사전 프로그래밍된 목표를 만족시키는 최적의 작업을 수행하는 바람직하지 않은 트릭을 학습하지만, 이는 인간 시스템 설계자의 복잡한 암시적 욕구를 반영하지 않는다.
예를 들어, 이미지 인식을 담당하는 2017년 시스템은 말이 실제로 사진이 찍혔는지 확인하는 방법을 배우는 대신 말 사진과 관련된 저작권 태그를 검색하여 "속임수" 를 배웠다.
또 다른 2017년 시스템에서는 가상세계에서 항목을 잡는 작업을 맡은 지도학습 AI가 개체를 잡는 것처럼 보이는 방식으로 개체와 뷰어 사이에 조작자를 배치하여 속이는 법을 배웠다.

투명성 프로젝트인 DARPA XAI 프로그램은 AI 성능을 크게 저하시키지 않으면서 "Human-in-the-Loop"로 설명할 수 있는 "유리상자" 모델을 생성하는 것을 목표로 한다.
인간 사용자는 AI의 인지(실시간 및 사후 모두)를 이해할 수 있어야 하며 AI를 신뢰할 시기와 AI를 신뢰할 수 없는 시기를 결정할 수 있어야 한다.
XAI의 다른 응용 분야로는 블랙박스 모델에서 지식 추출과 모델 비교가 있다.
"유리상자"라는 용어는 시스템의 윤리 및 사회 법적 가치 준수 여부를 확인하여 가치 기반 설명을 생성하기 위해 시스템의 입력 및 출력을 모니터링하는 시스템에도 사용되었다.
또한 동일한 용어가 설명으로 반사 실적 진술을 생성하는 음성 비서의 이름을 지정하는 데 사용되었다.