intermedia 코드북 v1
인스타그램 인터랙티브/제너러티브/미디어아트 게시물을 분류하는 기준. 이 문서 자체가 분류자(사람 또는 Gemini)에게 주는 컨텍스트다 — 라벨 이름만 보지 말고 정의·포함기준·제외기준을 근거로 판단할 것.
사용 규칙
- 모든 축은 복수 라벨 허용.
- 각 라벨에는
evidence_type(observed=프레임에서 직접 관찰 / caption=캡션 본문 / hashtag=해시태그 / inferred=간접 추론)과 confidence(0~1)를 함께 표시한다.
- 시각 축(style, element, generative의 approach/technique)은 프레임에서 판단.
- software, modality는 캡션·해시태그 전용. software는 시각만으로 절대 추측하지 말 것.
- artifact_type, xr_type은 캡션이 기본이지만 프레임에 명백히 보이면(로봇팔, VR 헤드셋 등) observed로 표시해도 됨.
- 조건부 축(genre에 따라 활성화되는 approach/technique/modality/artifact_type/xr_type)은 해당 안 되면 빈 배열로 반환 — 키 자체를 생략하지 말 것.
- 각 게시물에
curator_summary(사실 요약 1문장)와 reference_value(참고 가치 1문장)를 한글로 작성.
- 모든 축(genre~software 포함)은 코드가 고정된 닫힌 목록이다 (아래 표에 없는 코드는 나올 수 없음 — 출력 스키마가 강제). 목록에 없는 게 보이면 해당 라벨을 만들어 붙이지 말고
new_software_suggestions(§8 참고)처럼 별도 제안 필드에만 남긴다 — 실제 라벨 추가는 사람이 승인 페이지에서 결정.
1. genre (장르) — 항상 평가, 10개
generative_art
- 정의: 시스템(코드·규칙·기계)이 자율성을 갖고 형태를 만들거나 만드는 데 기여하는 작업.
- 포함: 형태·움직임·구성이 실행 시점에 규칙/알고리즘/학습된 모델에 의해 자율적으로 결정됨 — 같은 소스를 다시 실행해도 결과가 달라지거나, 시스템이 판단해서 형태를 만드는 경우. 창작코딩 툴(TouchDesigner/Processing 등) 사용 여부가 아니라 "규칙이 형태를 결정했는가"가 기준.
- 제외: ① 사람이 프레임을 일일이 손으로 그렸거나 키프레임으로 고정한 애니메이션 →
video_animation. ② 창작코딩 툴로 만들었어도 무작위성/규칙 없이 항상 똑같은 결과만 재생되는 고정 스크립트는 자율성이 없어 제외(스왑 테스트: 다시 실행해도 결과가 매번 똑같다면 generative 아닐 가능성 높음).
interactive_art
- 정의: 관객의 실시간 입력에 반응하는 작업.
- 포함: 터치·음성·시선·제스처 등 관객 행동에 따라 결과가 바뀜.
- 제외: 관객 개입 없이 스스로만 변한다면 제외 →
generative_art.
audiovisual
- 정의: 소리와 그림이 대등하게(equally foregrounded) 하나로 작곡된 작업 — 그 특정 곡이 작품과 분리 불가능.
- 포함: 비주얼뮤직, 라이브 AV 퍼포먼스처럼 소리·이미지가 함께 설계된 경우.
- 제외 (스왑 테스트): "이 곡을 다른 곡으로 바꿔도 작품이 성립하나?" → 성립하면
audiovisual 아님, 대신 generative_art + approach data_driven(오디오리액티브)으로 분류. 성립 안 하면(그 곡이어야만 함) audiovisual.
installation
- 정의: 특정 물리적 공간을 위해 설계된 대규모 구성물.
- 포함: 전시장·공간 전체를 쓰는 환경적 작업.
- 제외:
kinetic_art와는 기준(공간 vs 움직임)이 달라 배타적이지 않음 — 움직이는 설치는 둘 다 태그.
kinetic_art
- 정의: 효과가 물리적 움직임에 의존하는 작업 — 모터·바람·자석 등으로 실물이 움직임.
- 포함: 화면 밖 실제 기계·오브젝트의 운동.
- 제외: 화면 속(스크린) 움직임은 여기 아님 →
generative_art 또는 video_animation.
video_animation
- 정의: 촬영된 영상이거나 프레임 단위로 손으로 만든 시간기반 무빙이미지. 잔여 버킷.
- 포함: 생성 시스템도 실시간 인터랙션도 없는 무빙이미지 전반.
- 제외: 시스템이 생성했다면
generative_art가 우선. 관객이 실시간으로 개입한다면 interactive_art가 우선.
immersive_xr
- 정의: 관객을 에워싸 여러 감각을 자극하는 몰입 환경.
- 포함: VR/AR/MR 헤드셋 착용, 또는 관객이 안에 들어가 둘러싸이는 프로젝션 룸(CAVE·돔·360).
- 제외: 관객이 밖에서 표면만 본다면 여기 아님 →
projection_mapping.
game
- 정의: 규칙·목표·플레이어 진행이 있는 인터랙티브 작업.
- 포함: 승패·점수·목표 달성 구조가 있는 비디오게임 형태.
- 제외: 목표 없이 반응만 한다면 제외 →
interactive_art.
physical_computing
- 정의: 센서·마이크로컨트롤러·액추에이터 등 물리 하드웨어로 실세계를 감지·반응하는 작업.
- 포함: 아두이노 등으로 만든 로봇, 웨어러블, 반응형 오브젝트.
- 제외: 순수 화면 기반 작업은 해당 없음.
projection_mapping
- 정의: 영상을 실물 표면·건물·오브젝트에 그 형태에 맞춰 투사.
- 포함: 관객이 밖에서 보는 표면 투사(건물 파사드, 조형물 등).
- 제외: 관객이 투사 공간 안에 둘러싸여 있다면 여기 아님 →
immersive_xr(xr_type=cave).
최종 제외된 장르(코드북에 없음, 참고용): sound_art(소리 중심이라 시각 아카이브에 부적합), data_art(데이터가 재료인 경우는 approach의 data_driven이 이미 커버, 별도 장르 불필요), net_art/creative_coding/algorithmic_art(방법론이지 장르가 아니거나 코퍼스에 거의 없음), digital_art/new_media_art/media_art(너무 넓어 변별력 없음, 서비스 범위 개념일 뿐).
2. generative 하위 — genre에 generative_art가 있을 때만 평가
2-1. approach (무엇을 하려는가)
| 코드 | 정의 | 포함 | 제외 |
|---|
pattern | 요소를 반복·격자·타일·대칭으로 배열 | 동일 모듈의 반복·타일링이 뚜렷 | 반복이 아니라 형태 자체가 바뀌면 transform |
transform | 기본 형태를 회전·스케일·왜곡 등으로 변형 | 하나의 형태가 기하 변형을 거침 | 변형이 데이터에 의해 결정되면 data_driven |
parameterize | 작가가 노출한 내부 변수(슬라이더·랜덤값·수식)가 형태를 결정 | 파라미터 조작으로 결과가 바뀜이 캡션 등에서 확인됨 | 외부 데이터가 구동하면 data_driven |
data_driven | 외부 데이터(데이터셋·센서·오디오·API·라이브피드)가 형태를 구동 | 오디오리액티브, 센서구동, 실시간 데이터 시각화 | 작가 내부 변수면 parameterize |
simulation | 자연·물리 현상을 모사 | 유체·성장·군집 등 자연 현상의 모사가 목적으로 보임 | 목적이 순수 장식적 반복이면 pattern |
2-2. technique (어떤 시스템으로)
| 코드 | 정의 | 포함 | 제외 |
|---|
particle | 다수의 단순 입자 | 입자 수가 많고 개별 움직임이 단순(공통 힘만 적용) | 서로를 인식해 무리 규칙을 따르면 autonomous_agents, 충돌·중력 등 물리 상호작용이 뚜렷하면 physics |
autonomous_agents | separation/alignment/cohesion 등 국소 규칙으로 스스로 움직이는 자율 개체 (예: flocking — 새떼·물고기떼류 무리 시뮬레이션) | 각 개체가 이웃을 인식해 무리행동을 보임 | 같은 힘만 받아 움직이면 particle |
cellular_automata | 이웃 규칙에 따라 매 프레임 바뀌는 격자 (Game of Life류) | 격자 칸이 이웃 상태에 따라 규칙적으로 변화 | 격자 구조가 없으면 해당 없음 |
fractal | 자기유사 재귀 구조 | 같은 패턴이 축소되며 반복 | 반복이 단순 나열이면 pattern(approach) |
l_system | 문자열 재작성 문법(rewriting grammar) — 시작 문자열에 규칙을 반복 적용해 세대를 거듭할수록 길어지는 문자열을 만들고, 이를 거북이 그래픽(전진·회전·분기)으로 해석해 그리는 기법. 생물학자 Lindenmayer가 식물 성장을 모델링하려고 1968년 고안 | 가지치기하듯 세대를 거듭하며 점점 복잡해지는 나무·식물·프랙탈형 구조(성장 과정 자체가 보이거나 캡션에 "L-system"/"Lindenmayer" 언급) | 성장 과정 없이 정적인 자기유사 패턴이면 fractal |
reaction_diffusion | 두 가상 물질이 반응+확산해 만드는 창발 무늬(튜링 패턴류) | 유기적인 얼룩·줄무늬 패턴이 서서히 형성됨 | 노이즈 기반 흐름이면 noise_field |
genetic | 선택·교배·변이로 세대를 거쳐 진화하는 형태 | 세대에 걸친 진화 과정이 보이거나 캡션에 언급됨 | 단순 랜덤 변형이면 parameterize(approach) |
physics | 물리 엔진(중력·충돌·스프링) 기반 움직임 | 중력·충돌·스프링 등 물리 법칙에 따른 움직임이 뚜렷 | 무리 규칙이 우선이면 autonomous_agents |
noise_field | Perlin/simplex 노이즈가 흐름·형태를 구동 | 유기적으로 흐르는 노이즈 기반 형태·궤적 | 명확한 반응-확산 패턴이면 reaction_diffusion |
ai_generative | 대량의 데이터로 사전학습된 신경망(디퓨전 모델·GAN 등)이 학습된 확률분포에서 샘플링해 형태를 생성 — 손으로 짠 규칙이 아니라 학습된 가중치가 생성을 결정. 디퓨전 모델은 노이즈에서 점진적 디노이징으로 이미지를 복원(Ho et al., Denoising Diffusion Probabilistic Models, 2020), GAN은 생성자·판별자의 적대적 경쟁으로 학습(Goodfellow et al., Generative Adversarial Networks, 2014) | Stable Diffusion/Midjourney/ComfyUI/GAN 등으로 텍스트·이미지·영상을 생성 — 실시간이든 사전 생성이든 무관. 캡션에 프롬프트, AI 툴명, "AI-generated" 언급도 근거 | 이름이 비슷한 reaction_diffusion(화학 반응-확산 시뮬레이션, 학습 없는 결정론적 편미분방정식)과 메커니즘이 다름 — 혼동 금지. 형태를 새로 생성하지 않는 단순 보정/필터(포토샵 AI 기능 등)면 제외 |
3. interactive 하위 — genre에 interactive_art가 있을 때만 평가
modality (입력 채널) — 보통 프레임만으론 안 보여서 캡션 필요
| 코드 | 정의 | 포함 | 제외 |
|---|
key_button | 물리 키·버튼을 눌러 이산적(on/off)으로 반응 | 키보드 타이핑/단축키, 아케이드형 버튼, 풋스위치 등 누름 자체가 입력, 종류별로 라벨을 늘리지 않고 이 하나로 통합 | 커서 이동·클릭이면 pointer; 화면을 직접 만지면 touch |
pointer | 마우스·트랙패드처럼 화면과 분리된 입력면에서 움직여 화면을 조작하는 간접(indirect) 포인팅 — 커서 위치뿐 아니라 드래그의 상대적 움직임(delta)으로 화면/카메라 앵글을 회전·줌하는 조작도 같은 채널. 화면을 직접 만지는 touch(direct)와 HCI에서 구분되는 카테고리 (Jacob; Hinckley & Wigdor, HCI Handbook) | 마우스/트랙패드 커서 위치·움직임에 반응하거나, 드래그로 3D 뷰·카메라 앵글을 회전시키거나 휠/스크롤로 줌하는 등 상대 이동량을 그대로 반영하는 조작 | 화면을 직접 만지면 touch; 카메라로 허공 제스처를 인식하면 gesture_tracking; 키보드/버튼으로 이산적으로 회전·이동시키면 key_button |
touch | 화면·표면 직접 접촉으로 반응 | 스크린이나 표면을 만져서 반응 | 접촉 없이 허공에서 인식되면 gesture_tracking; 화면과 분리된 입력면(마우스·트랙패드)이면 pointer |
voice | 관객이 능동적으로 내는 소리(발화·박수·구음 등) 입력 — 말의 의미 인식뿐 아니라 소리의 존재·크기·패턴 감지도 포함 | 발화·박수·환경음 등 관객이 그 순간 낸 소리에 따라 결과가 바뀜 | 작품 자체의 사운드 출력(→audiovisual)이나 사전 녹음된 배경음악/오디오 데이터 피드에만 반응하면 modality 아님(→approach data_driven) |
gaze | 시선(눈동자) 추적으로 반응 | 눈이 보는 방향에 따라 결과가 바뀜 | 단순히 카메라 앞에 서 있는 정도면 gesture_tracking |
gesture_tracking | 카메라·뎁스센서 등 컴퓨터 비전 기반 입력 전반 — 몸/손 제스처 인식, 실시간 추적, 사진/이미지 캡처를 모두 포함(같은 채널이라 통합) | 손·몸짓·자세를 비전 센서로 비접촉 인식해 반응하거나, 관객이 카메라 앞에서 사진/영상을 촬영해 그 결과를 입력·재료로 씀 | 화면을 직접 만지면 touch, 물리 오브젝트를 조작하면 tangible, 비전이 아닌 물리 센서(초음파 거리센서 등)면 sensor, 눈동자만 추적하면 gaze, 관객이 이미 가진 파일을 업로드만 하면(카메라가 실시간으로 새로 감지하지 않음) 실제 업로드 조작 수단(touch/pointer/key_button)으로 분류 |
sensor | 카메라(비전)나 마이크가 아닌 센서로 관객의 근접·움직임·환경 변화를 감지 | 거리·온도·습도·압력·기울기·조도·가스 등 물리량을 재는 센서 전반, 특정 종류로 한정하지 않음 | 카메라·뎁스센서로 몸/손을 인식하면 gesture_tracking, 마이크로 소리를 인식하면 voice, 화면을 직접 만지면 touch |
tangible | 센서 내장 물리 오브젝트를 손으로 조작 | 잡고 돌리고 옮기는 등 물리적 조작이 입력이 됨 | 화면 터치는 touch; 착용은 이 축이 아니라 physical_computing의 artifact_type(wearable) 문제 |
bci | 뇌-컴퓨터 인터페이스로 직접 제어 (드묾) | 뇌파 등 생체신호가 캡션에 명시됨 | 손동작 인식이면 gesture_tracking |
4. physical computing 하위 — genre에 physical_computing이 있을 때만 평가
artifact_type (물리 형태)
| 코드 | 정의 | 포함 | 제외 |
|---|
robotic | 모터 등으로 자율·원격 구동되는 로봇·로보틱 시스템 | 스스로 움직이거나 원격조작되는 기계 형태 | 사람이 착용하면 wearable, 손에 쥐는 고정형이면 tangible |
wearable | 몸에 착용하는 센서 내장 의류·액세서리(e-textile 포함) | 옷·액세서리 형태로 몸에 부착·착용됨 | 착용하지 않고 들고 쓰면 tangible |
tangible | 손으로 잡고 조작하는 물리 오브젝트·인터페이스 | 손에 쥐고 조작하는 독립 오브젝트 | 착용하면 wearable, 자율적으로 움직이면 robotic |
5. immersive/XR 하위 — genre에 immersive_xr이 있을 때만 평가
xr_type
| 코드 | 정의 | 포함 | 제외 |
|---|
vr | 완전 가상 (헤드셋, 현실 세계 시야 완전 차단) | 헤드셋 착용, 100% 가상 환경 | 현실이 일부라도 보이면 ar/mr |
ar | 실제 세계 위에 가상 콘텐츠를 겹쳐 보여줌 | 스마트폰/글래스로 현실 위에 가상 오브젝트 표시 | 현실을 완전히 차단하면 vr; 가상 오브젝트와 실시간 물리 상호작용까지 있으면 mr |
mr | 실제+가상이 혼합되어 서로 영향을 주고받는 상호작용 | 가상 오브젝트가 현실 공간·사물과 실시간으로 상호작용 | 그냥 겹쳐 보이기만 하면 ar |
cave | 관객을 둘러싸는 다면 투사 룸 (돔·360 포함) | 관객이 안에 들어가 여러 면의 투사로 둘러싸임 | 헤드셋 기반이면 vr/ar/mr; 관객이 밖에서 보면 genre projection_mapping |
6. style (스타일) — 항상 평가, 프레임에서 판단
| 코드 | 정의 | 포함 | 제외 |
|---|
realistic | 사실적 렌더 | 사실적인 재질감·조명 표현 | 만화적으로 단순화됐으면 cartoon |
cartoon | 만화풍 평면 음영 + 외곽선(셀 셰이딩) | 단순 색면 + 뚜렷한 외곽선 | 그림자·질감이 사실적이면 realistic |
low_poly | 적은 폴리곤, 각진 저해상 표면 | 폴리곤 면이 각지게 뚜렷이 보임 | 매끈한 곡면이면 realistic/geometric |
pixel | 저해상 픽셀 도트 | 개별 픽셀(도트)이 그리드로 뚜렷이 인식됨 | 고해상도로 매끈하면 다른 스타일 |
flat | 그림자 없는 평면 표현 | 입체 음영·그림자가 없는 2D 평면 | 음영이 있으면 realistic/cartoon |
wireframe | 선 골격만 표시 | 면 채움 없이 선(엣지)만으로 형태 표현 | 면이 채워져 있으면 해당 없음 |
sketch | 손그림·스케치풍 선 표현 | 거칠고 러프한 손그림 느낌의 선 | 정밀한 벡터 선이면 wireframe/geometric |
abstract | 현실을 재현하지 않고 형·색·선·붓질로만 구성 | 구체적 대상을 알아볼 수 없음 | 알아볼 수 있는 사물·인물이 있으면 realistic |
geometric | 원·사각·직선 등 정밀한 순수 기하 도형 중심 | 수학적으로 정밀한 도형이 중심 | 불규칙하고 유기적인 형태면 abstract |
7. element (요소) — 항상 평가, 프레임에서 판단 — 화면에 실제로 보이는 형태
| 코드 | 정의 | 포함 | 제외 |
|---|
line | 선 | 선이 화면의 주된 시각 요소 | 선들이 모여 면을 채우면 shape |
shape | 2D 면·도형 | 평평한 2D 면·도형이 주된 요소 | 원근감 있는 입체면 3d |
3d | 3D 입체·표면 (mesh, blob형 등 3D 형태 전반 포함) | 깊이감·원근감이 있는 입체 형태 | 완전히 평평하면 shape |
particle | 입자·점 군집 (point cloud 포함) | 다수의 이산적인 점이 흩어져 군집을 이룸 | 연속된 부피감(연기·유체)이면 volumetric |
volumetric | 연기·유체·구름 등 연속적 부피 | 경계가 흐릿한 연속적 부피 표현 | 개별 점이 뚜렷이 구분되면 particle |
typography | 문자·활자 | 문자·활자가 화면의 주된 요소로 등장 | 텍스트가 자막·워터마크 수준으로 부수적이면 태그하지 않음 |
8. software (도구) — 항상 평가, 캡션/해시태그 전용, 시각만으로 절대 추측 금지
저장 게시물 2,527개 캡션 해시태그 실측 빈도 기준 고정 목록 18개:
touchdesigner · p5js · processing · glsl_shader · adobe · openframeworks · unity · blender · threejs · unreal · arduino · cinema4d · aftereffects · stablediffusion · comfyui · maxmsp · madmapper · houdini
- 포함: 캡션·해시태그에 도구명이 명시적으로 언급된 경우만.
- 제외: 시각적으로 특정 툴 특유의 룩(예: TouchDesigner스러운 느낌)이 있어도 캡션에 명시되지 않았으면 태그하지 않는다 — 추측 금지가 원칙.
- 목록 외 도구 = 추가 아니라 제안: 캡션에 목록에 없는 다른 특정 툴 이름이 명확히 나와도
software 라벨에는 절대 넣지 않는다. 대신 new_software_suggestions에 원문 그대로(예: "TouchOSC") 적어 사람이 승인 페이지에서 검토 후 정식 라벨로 추가할지 결정하게 한다. 이 목록 자체를 스스로 넓히지 말 것.