I Want AI Now
AI의 블랙박스, 정말 90%가 열렸을까요? 지난 10월 15일 해석가능성 스타트업 굿파이어의 연구자 닉 캐머라타가 에세이 「Neural Networks Are Already Clean(신경망은 이미 깨끗하다)」를 공개하자, 해외에서는 곧바로 'AI 뉴런의 90%는 더 이상 블랙박스가 아니다' 같은 제목이 붙었습니다.
2023년엔 1.7%밖에 못 읽던 뉴런을 이제 90% 이해한다는 이야기입니다. 그런데 세 줄 요약 말고 원문을 직접 열어 보면, 지금 퍼지는 '블랙박스 종말론'은 원문이 말한 것보다 한참 앞서 나가 있습니다. 숫자 하나하나가 무엇을 뜻하는지 차근차근 짚어 봅니다.
한 줄 요약 — 좋은 현미경을 찾았다는 신호이지, AI 블랙박스가 다 풀렸다는 승리 선언은 아닙니다.
1. 무슨 일이 있었나 — 축제 분위기의 반응
OpenAI 쪽 연구자로 알려진 룬(roon)은 이 작업이 과학사의 큰 순간으로 기억될 수 있다고까지 했습니다(The Decoder 보도 요지). 반면 구글 딥마인드의 닐 난다는 흥미롭지만 큰 그림을 바꾸진 않는다며 신중한 입장을 냈습니다. 같은 글을 두고 연구자들 사이에서도 평가가 갈린 셈입니다.
2. 1.7% → 90%, 같은 잣대가 아니다
그동안 해석가능성 연구의 가장 큰 벽은 다의성이었습니다. 뉴런 하나가 서로 상관없는 여러 개념에 함께 반응한다는 문제죠. 가장 유명한 예가 이미지 모델 인셉션 V1의 한 뉴런으로, 고양이 얼굴에도 자동차 앞면에도 반응했습니다.
캐머라타는 이 뉴런을 다시 들여다보고 V자 모양을 찾는 뉴런이었다고 설명합니다. 뾰족한 모양엔 켜지고 둥근 모양엔 음의 방향으로 반응하는, 한 가지 일을 하는 뉴런이었다는 거죠. 그는 오독의 원인을 '중첩'이 아니라 고칠 수 있는 평범한 문제, 특히 약했던 분석 도구에서 찾습니다. 원문에는 인셉션 V1의 한 층을 480개에서 10개 뉴런으로 줄여 다시 학습해도 뉴런이 뒤섞이지 않고 해석 가능하게 남았다는 실험도 실려 있습니다.
그래서 나온 숫자가 이것입니다. 알리바바의 오픈 모델 큐웬3-32B를 예비 감사해 보니 뉴런 극의 약 90%가 한 가지 주된 일을 하고, 약 7%는 서로 관련된 두 가지 일을, 2~4%만 아직 이해되지 않았다는 겁니다. 여기서 '극'은 뉴런이 양의 방향과 음의 방향으로 반응하는 두 쪽을 따로 센 단위입니다. 뉴런 하나가 극 둘이 되니, '뉴런의 90%'와는 세는 방식부터 다릅니다.
2023년의 1.7%는 OpenAI 자동 해석 프로젝트가 GPT-2 XL의 뉴런을 가장 후한 기준으로 잰 값입니다(그 논문은 GPT-2 뉴런 30만 7,200개 전체를 대상으로 했습니다). 실제로 캐머라타는 같은 GPT-2 XL을 새 도구로 다시 보니 약 70%가 대략 한 가지 일을 하더라고 썼습니다. 숫자가 뛴 건 모델보다 현미경이 바뀌었기 때문이라는 것이 원문의 논지입니다.
3. 함정 ① — 검증 전의 예비 추정
- 동료 검증을 거친 논문 수치가 아닙니다. 에세이는 스스로를 '작업 가설(A working hypothesis)'이라 부르고, 자세한 실험은 앞으로 나올 기술 논문에서 다룬다고 했습니다.
- 외부에서 재현한 결과는 아직 없습니다.
- 캐머라타는 각주에서 이 비율이 약한 반응을 어디까지 셀지, 무엇을 '한 가지'로 볼지에 따라 달라진다고 직접 적었습니다. 하나의 점수는 정밀한 값이 아니라 대략의 방향입니다.
- 수조 개 파라미터 모델(Kimi K3 등)에서도 비슷했다고 했지만, 같은 글에서 그 규모의 전수 감사는 아직 시작하지 않았다고 밝혔습니다.
4. 함정 ② — '한 가지 일'과 '해독'은 다르다
'뉴런의 90%가 한 가지 일을 한다'는 말이 '인간이 뉴런의 90%를 해독했다'로 바뀌어 퍼졌습니다. 외계 공장에 부품 100개가 있다고 해 볼까요. 90개가 각자 한 가지 동작만 되풀이한다는 걸 알아냈다고, 그 부품들이 무엇을 만드는지까지 안 건 아닙니다.
캐머라타 본인도 뉴런의 일은 입력에 이름을 붙이는 게 아니라 다음 뉴런이 쓸 구분선을 긋는 것이라고 설명합니다. 닐 난다는 단일 의미의 기준이 너무 느슨하다고 지적했습니다(The Decoder 보도 요지).
5. 함정 ③ — 아직 덜 풀린 어텐션
트랜스포머 모델은 층마다 두 부품이 번갈아 일합니다. 정보를 처리하고 저장하는 뉴런(MLP) 층, 그리고 단어와 문맥 사이로 정보를 옮기는 어텐션입니다. 이번 에세이가 깨끗하다고 말한 건 뉴런 쪽입니다. 어텐션에 대해서는 저자 스스로 '뉴런보다 진전이 적고 이 글의 범위 밖'이라고 적었습니다.
물론 반론도 함께 냈습니다. 어텐션도 주변 뉴런을 따라가면 상당 부분 읽히고, 헤드마다 이름이 없어서 놓치는 설명력은 5% 정도일 거라는, 저자도 확신이 낮다고 밝힌 추정입니다. 사전의 낱장이 깔끔하다는 것과 그 낱장을 엮어 문장을 만드는 원리까지 안다는 건 아직 다른 문제입니다.
6. 한눈에 정리 — 퍼진 해석 vs 원문
- 90%의 뜻: 뉴런을 인간 개념으로 해독 ✗ → 뉴런 극 대부분이 한 가지 주된 일을 한다는 예비 추정
- 데이터: 확정된 사실 ✗ → 임계값에 따라 달라지는, 독립 검증 전의 감사 결과
- 범위: 신경망 전체 ✗ → 뉴런(어텐션은 진전이 적음)
- 결론: 정렬 문제 해결 ✗ → 원문은 그렇게 말하지 않음. 해설이 붙인 결론
자주 묻는 질문 — Q. 그럼 이 에세이는 틀린 건가요?
A. 아닙니다. 원문은 조건과 한계를 스스로 밝혔습니다. 과장된 건 요약과 해설 쪽입니다.
Q. 1.7%와 90%를 비교하면 안 되나요? A. 모델(GPT-2 XL과 큐웬3-32B), 세는 단위(뉴런과 뉴런 극), 기준이 모두 달라 그대로 비교하기 어렵습니다. 같은 GPT-2 XL을 새 도구로 다시 본 값은 약 70%였습니다.
Q. 언제 확인할 수 있나요? A. 저자가 예고한 기술 논문과, 다른 연구자들의 외부 재현 결과가 나와야 합니다.
7. 결론 — 돋보기를 찾았다, 승리 선언은 아니다
그렇다고 이 에세이를 깎아내릴 이유는 없습니다. 신경망은 원래 뒤엉켜 있어 읽을 수 없다는 비관론에, 더 좋은 현미경으로 보면 생각보다 정돈돼 있다는 강력한 반론을 내놓았으니까요. 다만 그건 블랙박스를 들여다볼 좋은 돋보기를 찾았다는 신호입니다. 숫자에 취해 안전벨트를 풀기보다, 곧 나올 기술 논문과 외부 재현을 차분히 기다릴 때입니다.
오늘의 3줄 요약
- 90%는 큐웬3-32B의 '뉴런 극' 약 90%가 한 가지 주된 일을 한다는 예비 추정 — 1.7%와는 모델·단위·잣대가 다르다
- 작업 가설·기술 논문 예고·외부 재현 전·임계값에 따라 달라짐 — 확정된 사실이 아니다
- '한 가지 일'은 '인간이 해독'과 다르고, 어텐션은 저자도 진전이 적다고 했다
출처
- Nick Cammarata, “Neural Networks Are Already Clean”, Goodfire, 2026-10-15
- Bills, Cammarata, Mossing et al., “Language Models Can Explain Neurons in Language Models”, OpenAI, 2023
- The Decoder, “Is AI interpretability close to a breakthrough? A new essay has researchers divided”
- byteiota, “Goodfire: 90% of AI Neurons Aren’t Black Boxes”
※ 이 글은 AI 24시 핫클립 심층취재 영상을 바탕으로, 에세이 원문과 대조해 정리했습니다. 룬·닐 난다의 발언은 보도된 내용의 요지입니다. 영상 내레이션은 AI 음성(Gemini TTS)이고, 배경 영상은 AI로 만든 것입니다(Grok·Kling, 시작 그림 시온바나나). 도표는 직접 그렸습니다.
