김선민 의원 국정감사 자료

부총리님, 연구에 따라서 다르긴 하지만 뇌출혈은 입원 후 30일 이내에 사망할 확률이 약 35%로 매우 중한 질환입니다. 그런데 뇌 CT를 통해서 이런 뇌출혈을 찾아내고 환자 우선순위까지 정해 주는 AI 의료기기가 있습니다. 이 정도면 고영향 AI에 해당하지 않겠습니까? 그런데 과기정통부는 이 AI가 고영향 AI가 아니라고 판단했습니다. 부총리님 부모님께서 뇌출혈이 의심돼서 응급실에 갔는데 이런 AI가 판독에 활용된다면 안심하고 맡기실 수 있겠습니까?

그런데 과기부가 고영향이 아니라고 본 이유 매우 단순합니다. 이 AI 기기가 진단을 보조할 뿐 최종 판단은 의료진이 한다는 겁니다. 하지만 의료기기 가운데서 의사가 최종 판단하지 않는 것 없습니다. 반면 식약처는 이 기기를 위해도가 높은 3등급으로 허가했습니다. 물론 양쪽 기준이 다르긴 하나 한 기기를 두고 두 부처의 판단이 다른 겁니다. 더 큰 문제 따로 있습니다. 사업자는 고영향 여부를 사전에 검토할 의무가 있습니다. 하지만 그 결과와 판단 근거를 정부에 제출하거나 보관하도록 하는 의무는 법에 없습니다. 식약처 허가를 받은 2등급 이상 AI 의료기기가 지금까지 538개, 제조업체는 171곳입니다. 이 중에서 고영향인지 여부를 확인해 달라고 과기부에 요청한 업체는 단 3곳뿐입니다. 나머지 168곳이 500개 넘는 AI 의료기기에 대해서 스스로 사전검토를 했는지 또 했다면 어떤 결론을 내렸는지 정부는 파악하고 있지 않습니다. AI 기본법이 현장에서 작동하지 않고 있는 겁니다. 한 가지 더 짚겠습니다. 생명과 신체의 안전에 중대한 영향을 받는, 즉 환자는 AI 기본법 제2조 9호의 영향받는 자에 해당합니다. 그런데 고영향 AI 사업자에게 주어진 의무는 이용자 보호 방안입니다. 의료 AI에서의 이용자는 정확하게 말하면 의료진입니다. 판독 순서나 우선순위가 뒤로 밀리는 환자를 위한 의무는 법에 없습니다. 부총리님, 이 판단 근거를 문서화하고 등록제를 도입하는 등 AI 기본법을 개정할 방안에 대해서 검토의견을 정리하셔서 종합감사 전까지 저희 의원실로 제출해 주시기 바랍니다.

하겠습니다.

구교현 참고인님 자리 부탁드립니다. 구교현 참고인님, 바쁘신데 나와 주셔서 감사합니다. 라이더유니온, 즉 배달유니온 지부장 맡고 계시지요?

오늘은 인공지능 기본법이 정작 필요한 현장에서 작동하고 있는지 여쭙겠습니다. 배달플랫폼들은 AI 배차 시스템을 운영한다고 스스로 홍보하고 있습니다. 참고인님, 라이더가 앱을 켜고 대기할 때 자신에게 오는 콜이 어떤 기준으로 배정되는지 회사가 알려 줍니까?

지난 4월 고용노동부 실태조사에 의하면 시간제한 미션 등 알고리즘 기반 성과 보상 구조를 교통사고를 포함한 산재 위험요인으로 분석했습니다. 이 미션이 현장에서 어떻게 작동하는지 그리고 왜 위험한지 말씀해 주십시오.

회사에 AI 배차 알고리즘 기준을 알려 달라고 공식적으로 요구해 보신 적 있습니까?

김정훈 우아한형제들 CISO 증인께 한 가지 여쭙겠습니다. 그 자리에서 말씀하셔도 되겠습니다.

배달의민족 AI 배차가 라이더의 위치, 운행 기록, 배차 수락, 거절 기록 등 어떤 데이터들을 입력값으로 사용하고 있는지 그리고 그 데이터가 배차 외에 라이더의 평가 등급, 배차 제한에 사용되는지 라이더 본인에게 고지하고 있습니까? 그거 CISO의 임무 맞지요?

고지하십니까?

그거 CISO의 업무 아닌가요? 개인정보를 라이더 본인에게 고지하는 것은 CISO의 업무 맞는데요. 앉으십시오. 부총리님께 여쭙겠습니다. 플랫폼 회사는 이러한 시스템을 AI 추천 배차라고 부릅니다. 이름만 추천일 뿐 참고인 말씀에 따르면 이것은 실제로는 노무 관리입니다. 인공지능 기본법 제3조 2항에 보면 영향받는 자는 인공지능이 결과를 낸 주요 기준을 설명받을 수 있어야 한다고 정합니다. 그런데 요구할 절차도, 거부당했을 때 다툴 절차도 없습니다. 제 질문 마치고 구교현 참고인의 말씀 듣고 마지막으로 답해 주십시오. 배달라이더분들이 인공지능 기본법상 영향받는 자에 해당하는지 말씀 주시고. 두 번째, 설명을 요구하고 다툴 절차 언제 만드실지 말씀 주시고요. 셋째는 이렇게 업무 배정, 보수 산정, 배차 제한처럼 노무 제공에 중대한 영향을 주는 판단과 평가를 그 영향 범위 안에 넣으실지 답을 해 주십시오. 구교현 참고인님, 지금 제 질문에 답하신 것 외에도 마지막으로 현장에서 느끼신 어려운 점 한 말씀만 더 부탁드리겠습니다.

위원장님, 장관께 답변 부탁드렸는데……

위원장님, 10초만……

부총리님, 제2조 4호에 보면 대통령령에 위임한 사항이 있습니다. 부처가 시행령으로도 할 수 있는 일이라는 점 숙지하시고 개선 부탁드립니다. 이상입니다.

부총리님, 독파모와 프런티어 AI 지원 예산 관련 자료 저희 방에도 종감 전까지 제출해 주시기 바랍니다.

부총리님, 병원 가 보셨지요?

진료를 받고 나서 병원에서 만들어지는 기록 누구의 겁니까? 부총리님 겁니까, 아니면 병원 겁니까?

보건복지부에 확인해 봤더니 현행 의료법에는 진료기록의 소유권이 누구에게 있는지 명시한 규정이 없습니다. 그런데 지금 과기정통부가 의료 데이터 스페이스라는 실증사업을 하고 있습니다. 환자의 진료 데이터를 활용해서 의료 AI 개발 등에 이용하는 사업입니다. 물론 사업의 필요성 인정합니다. 그런데 환자의 동의 없이 진료 데이터를 가져다 AI 개발에 활용하는 사업, 개인정보의 차원에서 문제없다고 생각하십니까?

정확하게는 가명 처리를 했기 때문에 결합을 할 수 있다라고 말씀을 하시고 계십니다.

그런데 국민건강보험공단 자료 한번 보겠습니다. (영상자료를 보며) 우리나라에 환자가 단 1명뿐인 극희귀질환이 62개입니다. 그리고 환자가 5명도 안 되는 질환이 152개입니다. 이름과 주민등록번호 지우고 가명 처리를 해도 이분들은 대한민국에서 식별이 가능합니다. 여기에 나이, 성별, 거주지역, 진료병원 같은 정보까지 결합되면 더 많은 특정인을 추정할 수 있습니다. 누구의 것인지도 명확하지 않은, 환자 것인지 병원 것인지 명확하지 않은 환자의 진료 데이터를 환자 동의 없이 활용하면서 가명 처리했으니 괜찮다고만 해서는 안 됩니다. 30초만……

부총리님, 의료 AI가 제대로 발전하려면 오히려 국민이 내 진료정보가 안전하게 쓰이고 있다고 믿을 수 있어야 합니다. 해서 의료 데이터 스페이스 사업에 두 가지를 요청합니다. 재식별 위험이 높은 의료정보에 대해서는 보호를 강화하고 사전 동의 기준을 마련하십시오. 그리고 환자가 자기 진료 데이터가 어떻게 활용되고 또 누구에게 제공되는지 알 수 있도록 알권리와 통제권을 보장하십시오. 이 구체적인 계획을 종합감사 전까지 저희 의원실로 제출해 주시기 바랍니다.

이상입니다.