ComfyUI: 노드 기반 AI 이미지 생성이 작동하는 원리

주류 AI 이미지 생성 도구는 하나같이 똑같은 상자를 줍니다: 문장을 입력하고, 기다리고, 그림을 받습니다. ComfyUI는 이런 걸 전혀 주지 않습니다 — 이건 노드 기반 AI 이미지 생성입니다. 열어보면 직접 선으로 이어 붙여야 하는 빈 캔버스가 보입니다 — 체크포인트 로더가 샘플러에 연결되고, 샘플러가 VAE 디코더에 연결되고, 다시 이미지 저장 노드로 이어지는 식으로, 입력과 출력을 가진 상자 하나하나가 눈에 보이는 선으로 줄줄이 엮여 있습니다.

여기서 살펴볼 만한 아이디어는 바로 이것입니다: 이미지 생성 파이프라인을 프롬프트 상자 뒤에 숨기는 대신, ComfyUI는 그 파이프라인을 눈으로 보고, 다시 연결하고, 저장하고, 파일로 공유할 수 있는 노드 그래프로 그대로 드러냅니다. 이건 3D·VFX 아티스트들이 블렌더(Blender)의 셰이더 에디터나 후디니(Houdini) 같은 툴에서 수년간 써온 비주얼 프로그래밍 패턴과 같은데, 텍스처 대신 디퓨전(diffusion) 모델에 적용했을 뿐입니다. 그리고 이 프로젝트는 그 엔진을 무료로 풀어주는 위에 특이한 양면 비즈니스를 쌓아 올렸습니다.

ComfyUI란 정확히 무엇인가

자체 GitHub 소개글에 따르면 ComfyUI는 "The most powerful and modular diffusion model GUI, api and backend with a graph/nodes interface."(그래프/노드 인터페이스를 갖춘, 가장 강력하고 모듈화된 디퓨전 모델 GUI·API·백엔드)입니다. README는 이 제안을 더 넓게 설명합니다: "The most powerful and modular AI engine for content creation."(콘텐츠 제작을 위한 가장 강력하고 모듈화된 AI 엔진.) 그리고 이렇게 덧붙입니다: "Its powerful and modular node graph interface empowers creatives to generate images, videos, 3D models, audio, and more..."(강력하고 모듈화된 노드 그래프 인터페이스가 창작자들이 이미지, 비디오, 3D 모델, 오디오 등을 생성할 수 있게 해준다...)

이건 소수가 쓰는 취미 프로젝트가 아닙니다. 이 저장소는 스타 143.3k개, 포크 16.9k개를 보유하고 있고, GPL-3.0 라이선스 아래 배포되며, Comfy Org가 관리합니다 — 이 저장소는 지금도 GitHub에서 comfyanonymous라는 가명을 쓰는 익명 개발자가 처음 시작했고, 현재는 Comfy Org가 그 저장소를 소유하고 있습니다. comfyanonymous는 팔로워 7.3k명, 고정된 저장소 2개(ComfyUI 본체와 워크플로 예제 저장소)를 가지고 있지만, 공개된 실명은 없습니다.

메커니즘: 프롬프트 상자 대신 노드 기반 AI 이미지 생성

프롬프트 하나로 끝내는 AI 도구는 모델 선택, 샘플러, 스텝 수, CFG 스케일, VAE, 업스케일러, 후처리까지 이어지는 전체 파이프라인을 텍스트 필드 하나와 서로 어떻게 연결되는지 보이지 않는 슬라이더 몇 개로 눌러 담습니다. ComfyUI의 노드 그래프는 이 각각의 단계를 따로 떼어내 들여다볼 수 있는 상자로 만듭니다.

이건 실제로 할 수 있는 일 자체를 바꿔놓습니다. 모델 로딩 노드는 그대로 둔 채 샘플러 노드만 바꿔 끼울 수 있습니다. 그래프의 한 가지를 복제해서 같은 캔버스 위에서 두 설정을 나란히 A/B 테스트할 수 있습니다. 다른 사람의 워크플로를 열어서 그 사람이 결과물을 어떻게 만들었는지 노드 하나하나를 그대로 따라가며 볼 수도 있습니다 — 전체 그래프가 평범한 JSON 파일로 저장되고 불러와지기 때문입니다.

여기서 두 가지 기능이 이걸 한 단계 더 밀고 나갑니다. README: "Reusable subgraphs, workflow templates, App Mode, and a local API for integrating workflows into applications."(재사용 가능한 서브그래프, 워크플로 템플릿, 앱 모드, 그리고 애플리케이션에 워크플로를 통합하기 위한 로컬 API.) 서브그래프(subgraph)는 복잡하게 뒤엉킨 노드 묶음을 함수 호출처럼 재사용할 수 있는, 접을 수 있는 블록 하나로 말아 넣게 해줍니다. 앱 모드(App Mode)는 그 체인의 다음 사람을 위해 정반대 역할을 합니다. README는 이렇게 밝힙니다: "The most sophisticated workflows can be exposed through a simple UI thanks to App Mode."(앱 모드 덕분에 가장 복잡한 워크플로도 단순한 UI로 노출시킬 수 있다.) 그래서 누군가 몇 시간을 들여 엮은 복잡한 그래프를, 기술을 모르는 사용자에게는 슬라이더 몇 개와 생성 버튼만으로 넘겨줄 수 있습니다. 복잡함이 사라지는 게 아니라, 그걸 만든 사람만 구축해야 했던 인터페이스 뒤로 숨겨질 뿐입니다.

여기서 진짜로 다른 곳에 옮겨 쓸 수 있는 아이디어는 "노드가 멋지다"가 아니라 이것입니다: 파이프라인을 만드는 사람과 그걸 실행하는 사람을 분리하면서도, 그 전체 파이프라인을 밑에서 여전히 들여다볼 수 있게 남겨두는 것 — 이건 "AI 도구가 사용자에게 얼마나 많은 것을 보여줘야 하는가"라는 질문에 대해, 거의 모든 소비자용 AI 앱이 내놓는 답과는 다른 답입니다.

다른 AI 도구들이 무시하는 하드웨어에서도 돌아갑니다

접근성이라는 각도는 단순히 UX 문제가 아니라 컴퓨팅 자원 문제입니다. README는 구체적인 주장을 내놓습니다: "Can run even the biggest open source models on as low as 4GB vram + 8GB ram relatively quickly (saturating your GPU compute) using our state of the art asynchronous weight streaming technology."(최첨단 비동기 가중치 스트리밍 기술을 이용하면, 가장 큰 오픈소스 모델도 VRAM 4GB + RAM 8GB라는 낮은 사양에서 GPU 연산을 최대로 활용하면서 비교적 빠르게 돌릴 수 있다.) 이건 독립적으로 벤치마크된 수치가 아니라 본인 발표 기준 엔지니어링 주장이지만, 평소와 다르게 폭넓은 하드웨어 지원이 이를 뒷받침합니다: Nvidia CUDA는 물론 AMD(ROCm), 인텔(XPU), 애플 실리콘(Apple Silicon), 화웨이 어센드(Huawei Ascend), 캄브리콘 MLU(Cambricon MLU), 일루베이터 코어엑스(Iluvatar Corex) GPU까지 작동하는 설치 사례를 문서화해 두었습니다 — 그냥 Nvidia 클라우드 연산을 빌려주는 것으로 끝나는 대부분의 폐쇄형 AI 이미지 도구들은 신경 쓸 필요도 없는 범위입니다.

비즈니스 모델: 무료 엔진, 유료 편의 기능

바로 이 부분이 ComfyUI를 단순히 잘 만든 UI 이상으로 만들어 줍니다. 엔진 자체는 무료이고 GPL-3.0이지만, Comfy Org는 엔진이 아니라 그 주변 레이어로 수익을 냅니다. README는 이렇게 밝힙니다: "Partner nodes provide access to the best closed source models such as Nano Banana, Seedance, Hunyuan3D, etc."(파트너 노드는 Nano Banana, Seedance, Hunyuan3D 등 최고의 폐쇄형(closed source) 모델에 접근할 수 있게 해준다.) 이 접근은 공짜가 아닙니다 — 같은 README는 "disable the optional paid Comfy API nodes"(선택 사항인 유료 Comfy API 노드를 끈다)라는 설명이 붙은 --offline 실행 플래그를 문서화하고 있는데, 이는 파트너 노드가 이미 오픈 모델로 만들어둔 바로 그 무료 그래프 안에 끼워 넣어진 유료 레이어라는 걸 확인해 줍니다.

그 옆에는 "Comfy Cloud"가 있는데, README는 이를 "Our official paid cloud version for those who can't afford local hardware"(로컬 하드웨어를 갖추기 어려운 사람들을 위한 공식 유료 클라우드 버전)라고 설명합니다 — 똑같은 소프트웨어를 호스팅해서, 'VRAM 4GB'라는 제안이 전혀 닿지 않는 사람들, 즉 GPU가 아예 없는 사람들에게 내놓는 것입니다.

이건 흔한 오픈소스 수익화 플레이북인 "오픈 코어, 유료 엔터프라이즈 티어"와는 정말로 다른 모양입니다. ComfyUI는 기능을 결제 장벽 뒤에 가두지 않습니다 — 그래프 에디터, 서브그래프, 앱 모드, 전부 무료 다운로드 안에 들어 있습니다. 대신 로컬 우선(local-first) 오픈 도구가 구조적으로는 공짜로 내줄 수 없는 두 가지에만 요금을 매깁니다: 다른 회사의 독점(proprietary) 모델에 대한 접근, 그리고 GPU가 없는 사람들을 위한 연산력입니다. 이게 비즈니스로서 지속 가능한지는 이 글이 답할 수 있는 질문이 아닙니다 — 이 글을 쓰는 과정에서 GitHub 자체 출처 어디에서도 공개된 매출이나 투자 수치는 찾지 못했습니다 — 하지만 모델을 만드는 도구를 파는 게 아니라 폐쇄형 모델로 가는 다리를 파는 이 메커니즘 자체는 그것만으로도 눈여겨볼 만합니다.

핵심 저장소 하나가 아니라, 진짜 생태계를 갖추고 있습니다

ComfyUI의 프런트엔드는 이제 자신만의 저장소 ComfyUI_frontend에 따로 살고 있고, 그 저장소 소개글은 "Official front-end implementation of ComfyUI."(ComfyUI의 공식 프런트엔드 구현체)라고 적혀 있습니다. 이 역시 GPL-3.0 라이선스이며 — 인터페이스가 파이썬 백엔드와 별도의 속도로 배포될 수 있도록 따로 떼어낸 것입니다. 서드파티 노드를 설치하고 관리하는 건 별도의 확장 프로그램 ComfyUI-Manager(스타 16.6k개, 포크 2.6k개)를 통해 이뤄지는데, 이 저장소 자체의 README에 따르면 파이썬 환경을 손으로 직접 건드리는 대신 앱 안에서 커스텀 노드를 설치·제거·비활성화·활성화할 수 있게 해줌으로써 "enhance[s] the usability of ComfyUI"(ComfyUI의 사용성을 끌어올린다)고 설명합니다.

유지보수 속도도 이 스타 개수를 뒷받침합니다. 이 글을 위해 확인한 커밋 히스토리에는 2026년 10월 25일, 26일, 27일 — 이 글을 쓰고 있는 바로 그날 — 에도 커밋이 올라와 있었고, 그중 2개는 프로젝트를 시작한 지 몇 년이 지난 지금도 활발히 기여 중인 comfyanonymous 본인이 올린 것이었으며, bigcat88, guill, AustinMroz 같은 다른 기여자들의 커밋도 함께 있었습니다. 릴리스는 이번 10월에만 대략 2~3일마다 하나씩 나왔습니다: v0.42.1(10월 19일), v0.42.0(10월 18일), v0.41.0(10월 15일), v0.40.0(10월 13일), v0.39.0(10월 5일) — 단순한 버전 올리기가 아니라 실제 모델 지원이 따라붙는 릴리스들입니다. 릴리스 노트에 따르면 Flux 3 Image 노드는 v0.39.0에서 처음 등장해 v0.41.0에서 성능 개선을 거쳤고, MOSS-image 지원은 v0.42.0에서 추가됐으며, v0.42.1은 같은 주에 나온 MOSS-template 크래시 패치였습니다.

이게 풀지 못하는 문제

전체 파이프라인을 다 드러내는 데는 솔직한 대가가 따릅니다. 대부분의 사람은 전체 파이프라인을 보고 싶어 하지 않는다는 것입니다. 노드 그래프는 텍스트 상자보다 첫 사용 경험이 분명히 더 나쁩니다 — VAE 디코더가 뭔지 이해해야 그걸 연결해 넣을 수 있고, 앱 모드는 완성된 워크플로를 받는 사람에게만 도움이 될 뿐, 처음부터 그걸 만드는 사람에게는 아무 도움이 안 됩니다. 이 글을 쓰는 시점 기준 프로젝트 자체의 열린 이슈 수는 4,408건에 달하는데, 이건 경고 신호라기보다는 인기에 따른 세금 같은 것에 가깝습니다 — 모델, 샘플러, 커스텀 노드, 하드웨어 백엔드까지 이렇게 움직이는 부품이 많은 그래프 기반 도구는, API 하나 뒤에 호스팅된 모델 하나보다 훨씬 더 많은 엣지 케이스를 만들어낼 수밖에 없습니다.

이게 일반화되면 어떤 이야기가 될까요

여기서 얻을 교훈은 "제품에 노드 에디터를 추가하라"가 아닙니다. ComfyUI가 소비자용 AI 전반과는 다르게 답하는 디자인 질문이 핵심입니다: 당신의 도구는 파이프라인을 블랙박스 입력 하나로 눌러 담나요, 아니면 파이프라인을 드러내서 사용자가 그 트레이드오프를 직접 쥐게 하나요? 프롬프트 상자는 배우기는 빠르지만 디버깅하기는 더 나쁩니다. 그래프는 배우기는 느리지만, 한 단계를 바꿨을 때 결과가 왜 바뀌었는지를 실제로 보여줍니다. 도구가 얼마나 많은 기계 장치를 숨길지 결정해야 할 때마다 똑같은 긴장이 나타납니다 — Diagram Design이 숫자로 된 규칙집을 한 줄짜리 프롬프트 뒤에 숨기는 방식으로 이 질문에 답하는 것과, Loop Habit Tracker가 전체 점수 공식을 숫자 하나로 눌러 담는 정반대의 방식으로 답하는 것과 같은 질문입니다. ComfyUI의 승부수는, 진지하고 반복 가능한 작업에서는 가시성(visibility)이 이긴다는 것입니다 — 그리고 그 승부수 위에, 무료 로컬 엔진에 유료 폐쇄형 모델 접근과 클라우드 호스팅을 더한 양면 비즈니스를 쌓아 올렸습니다.