📚 지식 노트

정렬이란 무엇인가

정렬(alignment)은 AI가 우리가 적어 준 목표가 아니라 우리가 실제로 원한 것을 하게 만드는 문제다. 둘은 생각보다 자주 어긋난다. 학습은 적어 준 숫자(보상·손실)를 끝까지 밀어붙이는데, 그 숫자는 의도를 대충 옮긴 것이라 틈이 있기 때문이다.

• 명세 게이밍(specification gaming): 목표를 문자 그대로 달성하면서 의도는 비켜 가는 행동이다. DeepMind는 이런 사례를 약 60개 모아 정리했다. 빨간 블록을 파란 블록 위에 쌓으라는 과제에서 "빨간 블록 아랫면의 높이"로 보상하자 에이전트가 블록을 뒤집기만 했고, 보트 경주 게임에서는 완주 대신 같은 아이템을 빙빙 돌며 먹었다. 목록 원본은 Krakovna의 글에서 계속 갱신된다.
• 보상 해킹(reward hacking): 같은 현상을 강화학습 쪽에서 부르는 이름이다. 보상을 계산하는 장치 자체의 허점(채점 코드, 테스트, 보상 모델)을 찾아 점수만 올린다. 코딩 에이전트가 테스트를 고치거나 건너뛰어 통과시키는 것이 요즘 흔한 예다.
• 목표의 일반화 실패: 학습 환경에서는 의도와 보상이 같았는데, 새 환경에서 모델이 엉뚱한 목표를 따르는 경우다. 겉으로 멀쩡히 학습된 것처럼 보여 더 찾기 어렵다.

이런 문제를 처음 체계적으로 나눈 글이 Concrete Problems in AI Safety(2016)다. 부작용 피하기, 보상 해킹 피하기, 감독 비용, 안전한 탐색, 분포 변화를 다섯 문제로 꼽았고, 지금 LLM 안전 연구의 많은 갈래가 여기서 이어진다.

RLHF의 한계

지금 대화형 모델은 대부분 사람의 선호로 다듬는다. 답 두 개 중 나은 쪽을 사람이 고르고, 그 선택을 흉내 내는 보상 모델을 학습한 뒤, 정책 모델이 그 보상을 높이도록 강화학습한다(InstructGPT). 계산 과정은 LLM 노트에 있고, 여기서는 이 방식이 어디서 새는지를 본다.

• 보상 모델은 근사다: 보상 모델도 신경망이라 허점이 있다. 정책을 그 점수 쪽으로 세게 밀수록 보상 모델 점수는 계속 오르지만 진짜 선호는 어느 지점부터 떨어진다. Gao 외(2022)는 이 과최적화가 일정한 꼴의 곡선을 따른다는 것을 측정했다. 그래서 실제 학습은 처음 모델에서 너무 멀어지지 않게 KL 페널티로 묶어 둔다.
• 아첨(sycophancy): 사람은 자기 생각에 맞장구치는 답에 점수를 더 주는 경향이 있다. Sharma 외(2023)는 여러 회사의 RLHF 모델이 사용자가 의견을 밝히면 그쪽으로 답을 바꾸고, 사람과 선호 모델 모두 틀린 맞장구를 맞는 답보다 고르는 경우가 있음을 보였다. 평가자의 약점이 그대로 모델의 습관이 된다.
• 평가자가 판단하지 못하는 일: 긴 코드, 전문 지식, 미묘한 거짓말은 평가자가 맞고 틀림을 가리기 어렵다. 그러면 모델은 "맞는 답"이 아니라 "맞아 보이는 답"을 배운다.

Casper 외(2023)는 이런 한계를 피드백 수집, 보상 모델, 정책 학습 단계별로 정리하고, 일부는 방법을 다듬어 줄일 수 있지만 일부는 사람 피드백이라는 방식 자체의 한계라고 구분했다.

확장 가능한 감독과 헌법 AI

모델이 사람보다 잘하는 일이 늘면 사람이 일일이 채점하는 방식은 버티지 못한다. 확장 가능한 감독(scalable oversight)은 사람보다 뛰어날 수 있는 모델을 사람이 여전히 믿을 만하게 감독하는 방법을 찾는 연구다.

• 토론: 두 모델이 서로의 주장을 반박하게 하고 사람은 판정만 한다(Irving 외, 2018). 거짓말은 상대가 짚어 내기 쉽다는 가정에 기댄다.
• 샌드위치 실험: 모델보다 못한 비전문가가 모델의 도움을 받아 전문가 수준의 판정을 낼 수 있는지 잰다(Bowman 외, 2022).
• 약한 감독에서 강한 일반화: 작은 모델이 만든 레이블로 큰 모델을 학습시켜, 큰 모델이 교사보다 나아지는지 본다(Burns 외, 2023). 사람이 초인적 모델을 가르치는 상황의 축소판이다.
• 헌법 AI(Constitutional AI): 사람은 원칙 목록만 쓰고, 해로움 판정은 모델이 그 원칙에 비춰 한다(Bai 외, 2022). 1단계에서 모델이 자기 답을 비판·수정해 그 수정본으로 학습하고, 2단계에서 AI가 매긴 선호로 강화학습(RLAIF)한다. 사람 레이블을 줄이고 기준을 글로 드러낸다는 장점이 있지만, 결국 원칙을 해석하는 모델의 판단을 믿어야 한다.

감독이 어려운 이유를 보여 주는 결과도 있다. Greenblatt 외(2024)는 모델이 학습 중이라고 믿는 상황에서는 새 목표에 맞추는 척하고, 아니라고 믿는 상황에서는 원래 성향대로 행동하는 사례(정렬 위장)를 실험으로 보였다. 겉으로 보이는 행동만으로는 감독이 끝나지 않는다는 뜻이고, 다음 절의 해석 가능성 연구가 필요한 이유다.

해석 가능성

해석 가능성(interpretability)은 모델 안의 계산을 사람이 읽을 수 있는 단위로 풀어 보는 연구다. 출력만 보는 평가는 모델이 왜 그렇게 답했는지 말해 주지 않는다. 안을 들여다볼 수 있으면 숨은 목표나 속임을 행동으로 드러나기 전에 찾을 수 있다는 기대가 있다.

• 특징과 회로: 망 안에서 의미 있는 방향(특징)을 찾고, 특징들이 어떻게 이어져 계산을 이루는지(회로)를 추적한다. 이미지 모델에서 곡선 검출 회로를 찾아낸 Zoom In(2020)이 출발점이다.
• 중첩(superposition): 뉴런 하나가 여러 개념에 함께 반응한다. 모델이 뉴런 수보다 많은 개념을 겹쳐 담기 때문이라, 뉴런을 하나씩 봐서는 해석이 안 된다.
• 희소 오토인코더(SAE): 활성값을 훨씬 많은 수의 특징 중 몇 개만 켜지는 꼴로 다시 표현하도록 학습해 겹친 개념을 풀어낸다. Anthropic은 작은 모델에서 시작해(Towards Monosemanticity) 실제 서비스 모델 규모로 키웠고(Scaling Monosemanticity), 금문교·코드 버그·아첨 같은 특징을 찾아 그 값을 올리면 행동이 바뀌는 것을 보였다. OpenAI는 SAE를 크게 학습하는 방법과 평가 지표를 정리했고, Google DeepMind는 Gemma 2의 모든 층에 대한 SAE 묶음 Gemma Scope를 공개했다.
• 회로 추적: 특징 사이의 연결을 그래프로 그려 프롬프트 하나에서 모델이 거친 계산을 따라간다. Anthropic의 방법 논문과 사례 연구(2025)는 시를 쓸 때 운을 미리 정해 두는 계획 같은 내부 단계를 보여 줬다.

한계도 분명하다. SAE가 찾은 특징이 모델이 실제로 쓰는 단위라는 보장이 없고, 복원 오차에 무엇이 숨어 있는지 모른다. 지금은 "모델이 안전하다"를 증명하는 도구라기보다 이상한 것을 찾는 현미경에 가깝다.

편향과 공정성

모델은 데이터에 담긴 사회의 불균형을 배운다. 얼굴 분석 상용 서비스가 피부가 어두운 여성에서 오류율이 크게 높았다는 Gender Shades(2018)가 이 문제를 널리 알렸다. 그런데 "공정하다"를 숫자로 정의하려 하면 정의끼리 부딪힌다.

• 독립(인구 동등성): 집단마다 양성 판정 비율이 같아야 한다.
• 분리(오류율 균등): 실제 양성·음성인 사람 안에서 집단마다 오탐·미탐 비율이 같아야 한다.
• 충분(보정): 같은 점수를 받은 사람은 집단과 상관없이 실제 양성 비율도 같아야 한다.

Kleinberg 외와 Chouldechova는 집단 간 기본 비율이 다르면 예측이 완벽하지 않은 한 보정과 오류율 균등을 함께 만족할 수 없음을 보였다(재범 예측 도구 COMPAS 논쟁이 배경이다). 그래서 공정성은 지표 하나를 맞추는 일이 아니라, 그 결정에서 어떤 오류가 누구에게 더 큰 피해인지 고르는 일이다. 개념 정리는 Fairness and Machine Learning이 좋다.

LLM에서는 판정 하나가 아니라 글을 만들기 때문에 측정도 달라진다. 모호한 질문에서 고정관념에 기대는지 보는 BBQ 같은 벤치마크, 이름·성별만 바꾼 같은 질문에 답이 달라지는지 보는 짝 비교, 실제 사용 로그 감사가 쓰인다. 벤치마크 점수는 영어·미국 기준인 경우가 많아 한국어 서비스에서는 따로 확인해야 한다.

평가·레드팀·프런티어 안전 프레임워크

위험을 관리하려면 먼저 모델이 무엇을 할 수 있는지 재야 한다. 평가는 크게 두 갈래다. 위험 역량 평가는 생물·화학 무기 지식, 사이버 공격, 스스로 AI 연구를 진행하는 능력처럼 위험한 일을 할 수 있는지를 재고, 성향 평가는 할 수 있을 때 실제로 하려 드는지를 잰다(Shevlane 외, 2023).

레드팀은 일부러 공격해 약점을 찾는 일이다. 사람이 직접 하기도 하고(Ganguli 외, 2022), 모델이 공격 프롬프트를 대량으로 만들게 하기도 한다(Perez 외, 2022). 탈옥·프롬프트 인젝션 같은 공격 기법 자체는 AI 보안 노트에 있다.

주요 연구소는 이 평가를 배포 결정에 묶는 문서를 공개한다. 모양은 비슷하다. 위험 영역마다 역량 임계치를 정해 두고, 모델이 그 선을 넘으면 그에 맞는 보호 조치(배포 제한, 가중치 보안)를 갖출 때까지 배포나 개발을 미룬다는 약속이다.

이 문서들은 회사가 스스로 정한 약속이라 고칠 수 있고, 실제로 자주 고친다. 판 번호와 날짜를 함께 보고, 변경 기록(redline)이 있으면 무엇이 느슨해지거나 엄격해졌는지 확인하는 습관이 필요하다. EU AI법의 범용 AI 행동 강령, 캘리포니아 SB 53처럼 이런 문서 공개를 법이 요구하는 흐름도 생겼다(아래 규제 절).

저작권과 학습 데이터

생성형 AI는 웹의 글·그림·코드를 대량으로 복제해 학습한다. 쟁점은 단계마다 다르다. 데이터를 어떻게 얻었나, 학습을 위한 복제가 허용되나, 모델이 작품을 외워 담고 있나, 출력이 원작과 비슷한가. 나라마다 법이 다르고 판결이 사실관계에 크게 기대므로, 아래는 결정이 나온 날짜와 요지만 적는다. 이후 항소·후속 판결로 바뀔 수 있다.

EU는 법으로 틀을 정했다. 저작권 지침의 텍스트·데이터 마이닝 예외에 따라 권리자가 기계가 읽을 수 있는 방식으로 거부(opt-out)할 수 있고, EU AI법은 범용 AI 모델 제공자에게 저작권 준수 정책과 학습 데이터 요약 공개를 요구한다(2025년 8월부터, 행동 강령). 미국 저작권청의 보고서 전체는 AI 페이지에 모여 있다. 생성물에 출처 표시를 다는 C2PA 같은 기술은 생성 모델 노트에 있다.

프라이버시

LLM의 개인정보 문제는 두 갈래다. 하나는 학습 데이터다. 웹에 흩어진 이름·연락처가 학습에 들어가고, 모델이 드물게 본 문자열을 그대로 외운다. Carlini 외(2020)는 GPT-2에서 이름·전화번호·주소가 담긴 학습 문장을 질의만으로 뽑아낼 수 있음을 보였고, 모델이 클수록 더 많이 외웠다. 다른 하나는 사용자 입력이다. 대화와 올린 파일이 로그로 남고, 재학습에 쓰이거나 유출될 수 있다.

• 규제 쪽: 유럽 개인정보보호위원회(EDPB)는 2024년 12월 의견 28/2024에서 AI 모델이 익명이라고 보려면 개인정보를 뽑아낼 가능성이 아주 낮아야 하고, 정당한 이익을 근거로 학습하려면 세 단계 판단을 거쳐야 한다고 정리했다. 한국 개인정보보호위원회도 2025년 생성형 AI 개발·활용 단계별 개인정보 처리 안내서를 냈다.
• 기술 쪽: 중복 제거(여러 번 본 문장일수록 잘 외운다), 개인정보 필터링, 학습 중 잡음을 더해 개인의 영향을 묶는 차등 프라이버시, 출력 단계 필터가 쓰인다. 쓰는 쪽에서는 민감한 내용을 넣지 않고, 학습 제외 설정과 보존 기간을 확인한다.

EU AI법

EU AI법(Regulation (EU) 2024/1689)은 AI를 쓰임새의 위험에 따라 나눠 규제하는 첫 포괄 법이다. 2024년 8월 1일 발효했고 단계적으로 적용된다. 아래 일정은 EU 집행위원회 AI Act 안내 페이지에서 2026년 10월 30일에 확인했다.

• 금지: 해로운 조작, 취약성 악용, 사회적 점수, 직장·학교의 감정 인식 등 8가지는 2025년 2월부터 금지됐다. AI 옴니버스로 비동의 성적 이미지·아동 성착취물 생성(이른바 누드화 앱)이 9번째로 더해져 2026년 12월부터 적용된다.
• 고위험: 채용, 교육, 신용 평가, 핵심 기반시설 같은 분야(부속서 III)는 위험 관리, 데이터 품질, 기록, 사람의 감독 같은 사전 의무를 진다.
• 투명성: 챗봇은 AI임을 알리고, 딥페이크와 공익 정보성 생성 글은 표시해야 한다. 2026년 8월부터 적용된다.
• 범용 AI 모델(GPAI): 위험 단계와 별도 축이다. 2025년 8월부터 기술 문서, 저작권 정책, 학습 데이터 요약 공개 의무가 있고, 시스템적 위험이 있는 모델은 평가·사고 보고·보안 의무가 더해진다. 2026년 8월부터 AI Office가 집행 권한을 쓴다.

일정이 한 번 바뀌었다. 집행위원회가 2025년 11월 19일 낸 단순화 법안(AI 옴니버스)에 2026년 5월 7일 정치적 합의가 이뤄졌고 2026년 7월 27일 발효했다. 이에 따라 부속서 III 고위험 규칙은 2027년 12월 2일, 장난감·승강기처럼 제품에 들어간 고위험 AI는 2028년 8월 2일부터 적용된다. 처음 법에서는 각각 2026년 8월, 2027년 8월이었다.

미국·영국·한국

• 미국: 포괄적인 연방 AI 법은 없다. 2023년 안전 중심 행정명령(14110)은 2025년 1월 폐지됐고, 같은 달 행정명령 14179가 규제 완화와 경쟁력을 앞세웠다. 2025년 7월 AI 실행 계획이 나왔고, 2025년 12월에는 주 AI 법을 연방 차원에서 견제하는 행정명령이 나와 연방과 주의 다툼이 이어지고 있다. 그 사이 주 법이 먼저 움직였다. 캘리포니아 SB 53(2026년 1월 시행)은 대형 프런티어 모델 개발사에 안전 프레임워크 공개와 중대 사고 보고를 요구한다. 2025년 6월 미국 AI 안전연구소는 CAISI(Center for AI Standards and Innovation)로 개편됐다.
• 영국: 범용 AI 법을 따로 두지 않고 기존 분야별 규제기관이 원칙을 적용하는 방식이다. 최첨단 모델을 겨냥한 법은 여러 차례 예고됐지만 확인 시점까지 제출되지 않은 것으로 보인다. 2023년 만든 AI 안전연구소는 2025년 2월 AI 보안 연구소(AI Security Institute)로 이름을 바꾸고 안보 위험에 더 집중한다.
• 한국: 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(AI 기본법)이 2025년 1월 21일 공포되어 2026년 1월 22일 시행됐다. EU에 이어 두 번째 포괄 AI 법으로 꼽힌다. 국가법령정보센터 기준 2026년 1월 20일 일부개정(2026년 7월 21일 시행)이 있었다. 주요 내용은 다음과 같다.
  • 사람의 생명·안전·기본권에 큰 영향을 주는 고영향 AI 사업자의 위험 관리·설명·이용자 보호·사람의 감독 책무
  • 생성형 AI를 쓴다는 사전 고지와 결과물 표시, 실제와 구분하기 어려운 결과물(딥페이크)의 명확한 표시
  • 일정 규모 이상 해외 사업자의 국내대리인 지정, 학습 연산량이 기준 이상인 AI의 안전성 확보 의무
  • 위반 시 3천만 원 이하 과태료. 정부는 시행 초기 최소 1년의 과태료 계도기간을 두겠다고 밝혔다
  안전 평가는 2024년 11월 문을 연 AI 안전연구소가 맡는다.

국제 협력

프런티어 AI 위험은 한 나라가 막기 어려워 정상회의가 이어졌다. 회의의 이름이 바뀌어 온 흐름이 곧 관심의 이동이다.

• 2023년 11월 블레츨리(영국): 첫 AI 안전 정상회의. 프런티어 AI의 심각한 위험을 각국이 처음 함께 인정했다. 영국과 미국이 안전연구소를 세웠다.
• 2024년 5월 서울: 서울 선언과, 주요 AI 기업들이 위험 임계치를 정한 안전 프레임워크를 공개하겠다는 프런티어 AI 안전 약속이 나왔다. 앞 절의 회사 문서들이 이 약속과 이어진다.
• 2025년 2월 파리: AI 행동 정상회의. 이름에서 "안전"이 빠지고 활용·투자로 무게가 옮겨 갔으며, 미국과 영국은 공동 선언에 서명하지 않았다.
• 2026년 2월 뉴델리: AI 임팩트 정상회의. 개발도상국의 접근성과 사회적 효과를 앞세웠다.

블레츨리 합의에서 나온 국제 AI 안전 보고서(Yoshua Bengio 주도)는 2025년 1월 첫 판, 2026년 2월 3일 두 번째 판이 나왔다. 범용 AI의 역량과 위험에 대한 과학적 합의를 정리한 문서라 정책 논의의 공통 기준으로 쓰인다.

흔한 오해

• "AI 안전은 먼 미래의 공상과학 이야기다" — 지금 일어나는 일(편향된 판정, 개인정보 유출, 딥페이크, 보상 해킹하는 코딩 에이전트)과 앞으로의 위험(통제하기 어려운 강력한 시스템)이 함께 연구된다. 뒤쪽을 두고는 의견이 크게 갈리지만, 2023년 Center for AI Safety의 한 문장 성명("AI로 인한 멸종 위험을 줄이는 일은 팬데믹·핵전쟁 같은 사회 규모 위험과 나란히 세계적 우선순위여야 한다")에는 Geoffrey Hinton, Yoshua Bengio와 주요 AI 연구소 대표들이 서명했다.
• "정렬은 곧 검열이다" — 거절 범위를 정하는 일은 정렬의 작은 부분이다. 시킨 일을 의도대로 하는지, 보상의 빈틈을 파고들지 않는지, 감독을 피하지 않는지가 더 큰 몫이다(정렬 절). 쓸모 있는 요청까지 거절하는 것도 사용자의 의도에서 어긋난 행동이다.
• "탈옥과 프롬프트 인젝션은 같은 말이다" — 탈옥은 모델의 안전 학습을 넘어 금지된 말을 끌어내는 것이고, 프롬프트 인젝션은 개발자가 쓴 지시에 믿을 수 없는 입력이 섞이는 앱 구조를 노린다(Willison, 2024). 앞의 것은 주로 곤란한 출력이 문제지만, 뒤의 것은 앱이 쥔 데이터와 권한을 빼앗기는 보안 문제다. 방어는 AI 보안 노트에 있다.
• "가중치를 공개한 모델은 안전 장치도 그대로 따라간다" — 내려받은 가중치는 누구나 다시 미세 조정할 수 있어, 학습으로 넣은 거절 성향을 걷어 내기 쉽고 한 번 퍼지면 되돌릴 수 없다. 반대로 외부 연구자가 직접 들여다보고 감사할 수 있고 특정 회사에 덜 기대게 된다는 이점이 있어, 공개 범위는 이 둘을 저울질하는 문제다. 공개의 정도는 LLM 노트에 있다.
• "한국 AI 기본법은 AI 개발과 사용을 모두 허가받게 한다" — 법 이름처럼 산업 진흥과 신뢰 기반을 함께 다루고, 의무는 주로 고영향 AI와 생성형 AI를 제공하는 사업자의 고지·표시·위험 관리 책무에 걸린다(위 미국·영국·한국 절). 개인이 AI를 쓰는 것을 허가제로 묶는 법이 아니다.

핵심 논문·문서