우리 AI가 고영향 인공지능에 해당하나요?

일반 기업이 가장 자주 닿는 영역 — 사목

열거된 영역 중 업종을 가리지 않고 걸리는 것이 제2조제4호 사목입니다. 「채용, 대출 심사 등 개인의 권리·의무 관계에 중대한 영향을 미치는 판단 또는 평가」입니다.

채용 서류 선별, 면접 평가 보조, 신용·한도 산정, 보험 인수 심사처럼 개인에게 결과가 직접 돌아가는 판단에 AI가 관여한다면 이 영역을 먼저 살펴봐야 합니다. 사람이 최종 결정을 하더라도, AI가 만든 순위나 점수가 그 결정의 근거로 쓰인다면 검토 대상에서 빠지지 않습니다.

• 이력서 스크리닝·지원자 순위 산출
• 대출 한도·금리 산정 보조 모델
• 보험 인수·요율 산정 보조
• 임직원 성과 평가에 쓰이는 점수화 모델

업종이 정해주는 영역

나머지 영역은 업종과 함께 움직입니다. 보건의료의 제공 및 이용체계의 구축·운영(다목), 의료기기 및 디지털의료기기의 개발 및 이용(라목), 교통수단·교통시설·교통체계의 주요한 작동 및 운영(아목), 유아교육·초등교육 및 중등교육에서의 학생 평가(차목)가 대표적입니다.

국가기관등의 의사결정도 별도 영역입니다. 자목은 공공서비스 제공에 필요한 자격 확인 및 결정, 비용징수 등 국민에게 영향을 미치는 국가·지방자치단체·공공기관 등의 의사결정을 포함합니다. 공공에 납품하는 솔루션이라면 발주처의 사용 목적까지 함께 봐야 합니다.

확인 절차 — 사전 검토가 먼저, 확인 요청은 선택

제33조제1항은 두 가지를 나눕니다. 사업자가 사전에 검토하는 것은 의무이고, 과학기술정보통신부장관에게 해당 여부의 확인을 요청하는 것은 필요한 경우에 할 수 있는 선택입니다.

확인을 요청하는 경우 시행령 제25조제1항에 따라 확인 요청서에 제품·서비스 개요서, 학습용데이터 개요, 활용 과정과 결과를 확인할 수 있는 자료 등을 첨부해 제출합니다. 장관은 요청받은 날부터 30일 이내에 회신하고, 복잡성·중요성을 고려해 30일 범위에서 한 차례 연장할 수 있습니다. 회신 결과에 이의가 있으면 회신을 받은 날부터 10일 이내에 재확인을 요청할 수 있습니다.

제33조제3항은 장관이 고영향 인공지능의 기준과 예시 등에 관한 가이드라인을 수립해 보급할 수 있도록 하고 있습니다. 실무 판단은 이 가이드라인과 함께 보게 됩니다.

해당한다면 따라오는 것

고영향으로 판단되면 제34조제1항의 조치가 붙습니다. 위험관리방안 수립·운영, 기술적으로 가능한 범위에서의 설명 방안 수립·시행, 이용자 보호 방안 수립·운영, 사람의 관리·감독, 조치 내용을 확인할 수 있는 문서의 작성·보관입니다.

시행령 제27조제1항은 이 중 위험관리방안의 주요 내용, 설명 방안의 주요 내용, 이용자 보호 방안, 그리고 해당 고영향 인공지능을 관리·감독하는 사람의 성명과 연락처를 사무소·사업장 또는 인터넷 홈페이지 등에 게시하도록 정합니다. 영업비밀에 해당하는 사항은 제외할 수 있습니다.

제35조의 영향평가도 함께 검토합니다. 시행령 제28조제1항은 영향받을 가능성이 있는 개인·집단의 식별, 영향을 받을 수 있는 기본권 유형의 식별, 사회적·경제적 영향의 내용과 범위, 사용 행태, 평가지표와 결과산출 방식, 위험의 예방·완화·손실 복구, 개선 이행계획 등 7가지를 담도록 하고 있습니다.

공급망을 통해 넘어오는 이행

시행령 제27조제3항은 제34조제1항제1호부터 제3호까지의 조치를 이행한 사업자로부터 인공지능시스템을 제공받은 인공지능이용사업자가 본래 목적이나 용도를 현저하게 변경하는 등 중대한 기능 변경을 하지 않은 경우, 해당 조치를 이행한 것으로 본다고 정합니다.

같은 조 제4항은 인공지능이용사업자가 개발사업자에게 책무 이행에 필요한 자료의 제공을 요청할 수 있고, 개발사업자는 이에 협력하도록 노력해야 한다고 정합니다. 솔루션을 도입해 쓰는 회사라면 계약 단계에서 이 자료를 받아둘 수 있는지 확인해 두는 편이 유리합니다.

실무에서 자주 남는 확인 필요 상황

아래는 자주 관찰되는 상황의 예시이며, 특정 회사의 상태를 판단한 것이 아닙니다.

자주 묻는 질문

고영향 인공지능은 무엇을 기준으로 판단하나요?

AI기본법 제2조제4호는 사람의 생명, 신체의 안전 및 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 인공지능시스템으로서 열거된 영역에서 활용되는 것을 고영향 인공지능으로 정의합니다. 에너지 공급, 먹는물 생산, 보건의료, 의료기기·디지털의료기기, 원자력, 범죄수사용 생체인식정보 분석, 채용·대출 심사 등 권리·의무에 중대한 영향을 주는 판단·평가, 교통, 국가기관등의 의사결정, 유아·초·중등 학생 평가, 그 밖에 대통령령으로 정하는 영역입니다.

고영향 해당 여부를 정부에 확인 요청할 수 있나요?

AI기본법 제33조제1항에 따라 사업자는 사전에 검토하여야 하며, 필요한 경우 과학기술정보통신부장관에게 확인을 요청할 수 있습니다. 시행령 제25조는 확인 요청서와 첨부서류, 30일 이내 회신(30일 범위에서 1회 연장 가능), 회신일부터 10일 이내 재확인 요청 절차를 정하고 있습니다.

채용에 AI를 쓰면 무조건 고영향인가요?

제2조제4호 사목은 채용, 대출 심사 등 개인의 권리·의무 관계에 중대한 영향을 미치는 판단 또는 평가를 영역으로 들고 있습니다. 다만 실제 해당 여부는 그 인공지능이 어떤 판단·평가에 어떻게 관여하는지에 따라 달라지므로, 제33조제1항의 사전 검토를 거쳐 개별적으로 확인해야 합니다. 자체점검 도구는 확인이 필요한 지점을 찾아줄 뿐 법적 판단을 대신하지 않습니다.