AI 기본법, 우리 회사도 적용될까? 사업자가 반드시 알아야 할 3가지 의무

안녕하세요. 헬프미 법률사무소입니다.

인공지능(AI) 기술을 규율하고 진흥하기 위한 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(이하 인공지능기본법)이 2026년 1월 22일부터 시행됐습니다. 그동안 AI 기술 개발에 집중해왔던 기업들도 이제는 '안전성'과 '신뢰성' 확보를 위해 법적 의무를 준수해야 합니다.

특히 고영향 인공지능이나 생성형 인공지능을 다루는 사업자에게는 구체적인 책무가 부과되므로 철저한 대비가 필요합니다. 오늘은 인공지능기본법 시행이 사업자에게 미치는 영향과, 과태료 등 불이익을 피하기 위해 챙겨야 할 주의사항을 정리해 드립니다.

 

1. '인공지능사업자'에 해당하나요?

법 적용 대상을 명확히 하는 것이 첫걸음입니다. 법은 인공지능사업자를 크게 두 가지로 구분합니다.

1. 인공지능개발사업자: 인공지능을 개발하여 제공하는 자 (예: OpenAI, 네이버 하이퍼클로바 등)

2. 인공지능이용사업자: 인공지능개발사업자가 제공한 인공지능을 이용하여 인공지능제품 또는 인공지능서비스를 제공하는 자 (예: 챗GPT API를 연동하여 법률 상담 챗봇을 만든 스타트업, 제미나이의 API를 연동하여 학생의 질문에 답변하고 개인별 맞춤형 학습 경로를 제안하는 에듀테크 스타트업, 클로드 API를 활용하여 고객 리뷰를 분석하고 제품의 주요 특징과 장단점을 요약하여 제공하는 온라인 쇼핑 플랫폼 등)

[주의] 직접 모델을 개발하지 않고 타사의 API를 가져와 서비스를 운영하는 기업 또한 '인공지능이용사업자'로서 법적 의무를 집니다. 해외 사업자라도 국내 이용자에게 영향을 미치면 법의 적용을 받습니다.

[인공지능의 정의] 인공지능이란 학습, 추론, 지각, 판단, 언어의 이해 등 인간이 가진 지적 능력을 전자적 방법으로 구현한 것을 말합니다.

 

2. 인공지능사업자가 지켜야 할 핵심 의무 : '투명성 확보'

인공지능사업자는 아래와 같은 3가지 투명성 확보의무가 있습니다. 

1. 사전 고지 의무 (법 제31조 제1항)
   1. 내용: 인공지능사업자는 고영향 인공지능이나 생성형 인공지능을 이용한 제품 또는 서비스를 제공하려는 경우, 서비스를 제공하기 전에 AI 기반 운용 사실을 이용자에게 미리 알려야 합니다. (1) 고영향 인공지능이란 사람의 생명, 신체의 안전 및 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 인공지능시스템을 말합니다. (2) 생성형 인공지능이란 입력한 데이터의 구조와 특성을 모방하여 글, 소리, 그림, 영상, 그 밖의 다양한 결과물을 생성하는 인공지능시스템을 말합니다.
   2. 방법: 제품에 직접 기재, 이용약관 명시, 이용자 화면(UI)에 표시 등 인식하기 쉬운 방법을 택해야 합니다.
   3. 제재: 고지의무를 이행하지 않은 경우, 3천만원 이하의 과태료를 부과합니다.
2. 생성 결과물 표시 의무 (법 제31조 제2항)
   1. 내용: 인공지능사업자는 생성형 인공지능 또는 이를 이용한 제품 또는 서비스를 제공하는 경우 그 결과물이 생성형 인공지능에 의하여 생성되었다는 사실을 표시하여야 합니다. 표시 방법은 두가지입니다.
      1. 가시적 표시: 사람이 인식할 수 있는 방법(예시. 화면 내 로고나 문구 표출).
      2. 비가시적 표시: 기계가 인식할 수 있는 방법(예시. 워터마크, 메타데이터 삽입. 그 결과물이 생성형 인공지능에 의하여 생성되었다는 사실을 1회 이상 안내 문구나 음성으로 제공해야 합니다.
3. 딥페이크 표시 의무 (법 제31조 제3항)
   1. 실제와 구분하기 어려운 가상의 음향, 이미지, 영상을 제공할 때는 이용자가 명확히 인식할 수 있도록 반드시 고지 또는 표시해야 합니다.

 

3. '고영향 인공지능' 사업자의 특별 책무

 

사람의 생명, 신체, 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있으며. 다음 중 어느 하나의 영역에서 활용되는 인공지능시스템을 '고영향 인공지능'이라고 합니다.

• 해당 분야: 의료기기, 에너지 공급, 먹는물의 생산 공정, 보건의료의 제공 및 이용체계의 구축ㆍ운영, 의료기기 및 디지털의료기기의 개발 및 이용 등(법 제2조 제4호 각 목).
• 고영향 인공지능 사업자는 다음과 같은 강화된 의무를 이행해야 합니다.
  • 위험관리방안 수립: 위험식별, 분석, 평가, 처리에 관한 정책과 조직 체계를 마련해야 합니다.
  • 설명요구권 보장: AI가 도출한 최종 결과와 주요 판단 기준, 학습 데이터의 개요 등을 이용자가 알 수 있도록 설명 방안을 수립해야 합니다.
  • 이용자 보호 조치: 데이터의 적법한 수집, 모니터링, 이용자 고충 처리 절차를 마련해야 합니다.
  • 사람의 관리·감독: AI가 오작동하거나 의도치 않은 결과를 낼 때, 사람이 개입하여 중단하거나 변경할 수 있는 '비상정지' 기능 등을 갖춰야 합니다.
  • 문서 작성 및 보관: 위 조치 사항을 증명할 수 있는 문서를 작성하여 5년간 보관해야 합니다.

[Tip] 고영향 인공지능인지 애매하다면? 과학기술정보통신부에 해당 여부 확인을 요청할 수 있습니다.

 

4. 초대규모 AI 사업자의 '안전성 확보' 의무

학습 연산량이 매우 높은(10^26 FLOPs 이상) 최첨단 모델을 개발하는 사업자는 별도의 안전성 확보 의무가 부과됩니다. 현재 한국에서 개발된 인공지능 중 이 기준을 충족하는 '최첨단 모델'은 아직 없지만, 전 세계적인 규제 흐름에 맞춘 글로벌 스탠다드입니다.

• 수명주기 전반의 위험 식별 및 완화 조치
• 사고 발생 시 24시간 이내 최초 보고 및 15일 이내 결과 보고 의무

 

5. 헬프미의 법률 조언: 지금 무엇을 준비해야 할까요?

사업자들은 다음 사항을 미리 점검하셔야 합니다.

1. 서비스 분류 점검: 우리 회사의 서비스가 인공지능개발사업자 또는 인공지능이용사업자인지, 고영향인공지능사업자인지 구분해야 합니다.
2. 약관 및 UI 개편: AI를 사용한 서비스, 상품을 제공 중이라면, 이용약관에 고지 문구를 넣고 생성물에 워터마크나 라벨링을 적용하는 등의 표시 및 고지 의무 이행에 착수해야 합니다.
3. 문서화 시스템 구축: 고영향 AI 사업자라면 위험 관리, 데이터 관리, 사람의 개입 절차 등을 기록으로 남기는 '안전신뢰문서' 체계를 준비해야 합니다. 이는 향후 과태료 부과 등의 리스크를 줄이는 핵심 증거가 됩니다.

이상으로 대형 로펌 출신 변호사들(서울대 법대 출신 박효연 변호사, 고려대 법대 출신 이상민 변호사)이 만드는 쉽고 정확한 법인 등기, 헬프미였습니다. 감사합니다.