AI 사진 편집을 처음 사용하면 기대보다 훨씬 근사한 결과에 놀라게 된다. 평범한 방 안에서 찍은 사진을 고급스러운 거실이나 여행지에서 촬영한 것처럼 바꿀 수 있고, 입고 있던 옷도 흰색 셔츠나 정장, 원피스로 순식간에 변경할 수 있다.
하지만 인물 사진을 수정하다 보면 곧 이상한 점을 발견하게 된다. 분명 “옷만 바꿔 주세요”라고 요청했는데 눈매와 코 모양이 달라지고, “배경만 교체해 주세요”라고 했는데 얼굴이 매끈하게 보정되면서 원래의 인상이 사라지는 것이다.
AI가 만든 얼굴은 객관적으로 예쁘고 자연스러울 수 있다. 문제는 사진 속 사람이 더 이상 나처럼 보이지 않는다는 데 있다. 눈과 코, 입을 하나씩 살펴보면 원본과 크게 다르지 않은 것 같은데 전체적인 인상은 묘하게 다른 사람이 된다. 가족이나 가까운 친구가 보면 “닮기는 했는데 네 얼굴은 아니다”라는 말을 하기도 한다.
나 역시 사진 속 인물의 얼굴은 그대로 두고 흰색 루즈핏 셔츠나 배경만 바꾸고 싶은데, 결과물에서는 얼굴형과 앞머리, 피부 질감까지 달라지는 상황을 여러 번 경험했다. “인물은 건드리지 말고 원본 그대로 유지해 달라”고 강조해도 완벽하게 지켜지지 않을 때가 있었다.
이는 AI가 사용자의 요청을 일부러 무시해서가 아니다. 생성형 AI가 사진을 수정하는 방식 자체가 우리가 생각하는 일반적인 사진 편집과 다르기 때문이다. 오늘은 AI로 인물 사진을 수정하면 왜 얼굴이 다른 사람처럼 변하는지에 대해서 탐구해보겠다. :)
※ 이 글은 2026년 7월 기준으로 작성했습니다. AI 사진 편집 기능과 얼굴 보존 성능은 서비스와 모델의 업데이트에 따라 달라질 수 있습니다.
AI는 사진을 오려 붙이지 않고 장면을 다시 만들어 낸다
우리가 “셔츠만 바꿔 주세요”라고 말할 때 머릿속으로 생각하는 작업은 비교적 단순하다. 원본 얼굴과 머리카락, 몸의 위치는 그대로 두고 옷이 있는 부분만 지운 다음 새로운 셔츠를 입히는 모습을 떠올린다. 포토샵으로 옷만 합성하는 전통적인 편집 방식에 가깝다.
그러나 생성형 AI는 기존 사진 위에 새 옷을 단순히 붙이는 것이 아니다. 원본 이미지를 분석한 뒤 사용자의 요청에 어울리는 새로운 이미지를 만들어 낸다. 사용하는 도구와 편집 방식에 따라 차이는 있지만, 수정 범위가 넓으면 인물과 배경을 포함한 장면 전체를 다시 계산하거나 재구성할 수 있다.
AI가 원본 사진에서 읽어 내는 것은 ‘ooo라는 사람의 얼굴’ 그 자체가 아니다. 사진에 나타난 눈과 코, 입, 머리카락, 피부색, 조명, 자세 등의 시각적 특징이다. 이 정보를 바탕으로 원본과 비슷하면서 요청에 어울리는 새로운 인물 이미지를 만들어 낸다.
문제는 원본과 비슷한 얼굴을 생성하는 것과 동일인의 얼굴을 정확하게 보존하는 것이 전혀 다른 과제라는 점이다. 생성형 AI는 자연스럽고 보기 좋은 인물 사진을 만드는 데에는 뛰어나지만, 한 사람만의 미세한 비대칭과 눈매, 입꼬리, 얼굴의 굴곡까지 그대로 재현하는 데에는 한계가 있다.
사람의 인상은 눈, 코, 입의 개별 모양만으로 결정되지 않는다. 두 눈 사이의 거리와 눈썹의 높이, 코와 입 사이의 간격, 입꼬리의 방향, 턱선의 각도, 광대의 높이, 피부의 미세한 주름과 좌우 비대칭이 함께 작용한다. AI가 이 가운데 몇 가지만 조금씩 바꾸어도 전혀 다른 인상으로 보일 수 있다.
예를 들어 눈의 크기가 아주 조금 커지고 눈썹의 각도가 완만해지며 턱선이 가늘어졌다고 해보자. 각각의 변화는 크지 않지만 세 가지가 동시에 바뀌면 원래 사진과 상당히 다른 사람이 된다. 피부 질감을 지나치게 매끄럽게 만들거나 얼굴의 좌우 비대칭을 없애는 것만으로도 본인 특유의 인상이 사라질 수 있다.
실제 AI 이미지 편집 연구에서도 사용자의 요청을 반영하는 능력과 원본을 충실하게 보존하는 능력 사이의 균형을 중요한 과제로 다룬다. 수정 명령을 강하게 반영할수록 원본 정보가 많이 달라질 수 있고, 원본을 지나치게 강하게 유지하면 사용자가 요청한 변화가 제대로 나타나지 않을 수 있기 때문이다.
AI 얼굴 편집에서 ‘동일인 보존’을 별도의 연구 주제로 다루는 이유도 여기에 있다. 원본 얼굴을 정확히 유지하려면 일반적인 이미지 생성 능력만으로는 부족하고 얼굴의 정체성을 나타내는 특징을 따로 추출해 결과물에 유지하는 기술이 필요하다. 최근 연구들은 얼굴 정체성 정보를 별도로 보존하거나 원본의 세부 특징을 다시 주입하는 방식으로 이 문제를 해결하려고 한다.
결국 AI가 만든 결과물이 자연스럽다고 해서 원본 인물이 정확히 보존된 것은 아니다. AI의 입장에서는 ‘원본과 비슷한 자연스러운 여성’을 잘 생성한 것이지만 사용자에게는 ‘나와 닮은 다른 사람’이 되어버릴 수 있다.
얼굴이 특히 많이 달라지는 사진과 요청이 있다
같은 AI 편집 도구를 사용해도 어떤 사진은 얼굴이 비교적 잘 유지되고, 어떤 사진은 전혀 다른 사람처럼 변한다. 원본 사진의 상태와 수정하려는 범위가 얼굴 보존에 큰 영향을 주기 때문이다.
먼저 사진에서 얼굴이 작게 나온 경우다. 전신사진이나 여러 사람이 함께 찍힌 사진은 얼굴이 차지하는 픽셀 수가 적다. AI가 눈매와 입술, 피부 질감 같은 세부 정보를 충분히 읽지 못하면 일반적인 얼굴 특징을 보충해 새로 만들어 낼 가능성이 커진다.
멀리서 촬영한 얼굴이나 해상도가 낮은 사진에서 동일인 보존이 특히 어렵다는 점은 관련 연구에서도 지적된다. 얼굴이 작거나 카메라와 인물 사이의 거리가 멀수록 신원을 나타내는 세부 특징이 부족해지기 때문이다.
얼굴이 흐리거나 흔들린 사진, 강한 필터가 적용된 사진도 원본 보존에 불리하다. 앞머리나 손, 안경, 마스크가 얼굴의 일부를 가린 사진에서는 AI가 보이지 않는 부분을 추정해 채운다. 이때 실제 얼굴이 아니라 학습 데이터에서 익힌 자연스러운 얼굴 형태가 들어갈 수 있다.
옆얼굴이나 고개를 많이 기울인 사진도 정면사진보다 어려울 수 있다. 한쪽 눈과 얼굴 윤곽이 충분히 보이지 않으면 AI가 반대쪽 얼굴을 추측해야 한다. 조명이 너무 어두워 코와 턱선의 경계가 사라진 사진도 마찬가지다.
옷을 바꾸는 작업이라고 해서 얼굴과 완전히 분리되는 것은 아니다. 셔츠의 목깃은 목과 턱선 바로 아래에 있고, 긴 머리카락은 옷 위로 내려온다. AI가 옷을 자연스럽게 바꾸려면 목선과 어깨, 머리카락 끝부분까지 함께 다시 만들어야 할 수 있다.
수정 영역이 턱이나 머리카락까지 걸쳐 있으면 얼굴 윤곽도 편집 대상에 포함될 수 있다. 셔츠 깃을 높이거나 목 부분의 디자인을 크게 바꾸면 목의 길이와 턱의 위치를 다시 계산하면서 얼굴형까지 달라지기도 한다.
배경 교체도 얼굴과 완전히 무관하지 않다. 실내 배경을 햇살이 들어오는 야외로 바꾸면 AI는 새로운 배경에 맞추어 얼굴의 빛과 그림자, 피부색을 조정하려 할 수 있다. 배경의 색과 밝기가 달라지면 인물이 장면에 자연스럽게 어울리도록 전체 색감을 다시 만들면서 얼굴이 함께 변할 수 있다.
요청문에 들어간 표현도 예상치 못한 영향을 준다. 다음과 같은 단어는 옷이나 배경뿐 아니라 얼굴까지 바꾸는 지시로 해석될 수 있다.
젊고 세련된 분위기
우아하고 아름다운 여성
화보 같은 인물 사진
환한 미소의 자연스러운 표정
깨끗하고 매끄러운 피부
동안으로 보이게
전문 모델 같은 이미지
사용자는 전체적인 분위기만 설명했다고 생각하지만 AI는 ‘젊고 세련된 여성’을 만들기 위해 주름을 줄이고 눈을 크게 하거나 턱선을 가늘게 만들 수 있다. ‘우아한 분위기’라는 표현도 눈썹과 표정, 화장, 얼굴 각도를 바꾸는 방향으로 작용할 수 있다.
머리 모양을 변경하는 요청 역시 얼굴에 영향을 주기 쉽다. 앞머리와 옆머리는 눈썹, 이마, 광대, 귀, 턱선과 맞닿아 있다. “옆머리의 빈 부분을 자연스럽게 채워 달라”는 작은 요청이라도 AI가 머리카락 주변의 이마와 눈매를 함께 다시 생성하면 얼굴이 달라질 수 있다.
수정 요구가 많을수록 원본이 변할 가능성도 커진다. 한 번에 옷과 배경, 머리 모양, 피부, 조명, 자세를 모두 바꾸면 원본에서 그대로 남겨야 할 부분보다 새로 만들어야 할 부분이 많아진다. 결국 AI는 사진을 부분 수정하기보다 새로운 인물 사진을 생성하는 방향으로 움직일 수 있다.
생성 강도나 변화 강도를 조절할 수 있는 도구에서는 강도가 높을수록 요청한 변화가 분명해지는 대신 원본 얼굴이 많이 달라질 수 있다. 반대로 강도를 낮추면 얼굴은 비교적 잘 보존되지만 새 옷이나 배경이 원하는 만큼 바뀌지 않을 수 있다.
따라서 얼굴이 달라졌다고 해서 요청문이 무조건 잘못된 것은 아니다. 도구가 얼굴 보존 기능을 어느 정도 지원하는지, 수정 영역을 직접 선택할 수 있는지, 원본 사진이 신원 특징을 충분히 담고 있는지를 함께 살펴봐야 한다.
원본 얼굴을 최대한 지키는 요청 방법과 편집 순서
AI 사진 편집에서 얼굴을 지키는 가장 효과적인 방법은 “얼굴을 바꾸지 마세요”라는 문장을 여러 번 쓰는 것보다 수정할 영역을 좁게 지정하는 것이다.
사용하는 도구에 선택 영역이나 마스크 기능이 있다면 옷만 바꿀 때는 옷 부분만 선택해야 한다. 얼굴과 머리카락, 목, 배경까지 넓게 선택하면 AI가 그 영역 전체를 다시 생성할 수 있다. Adobe의 생성형 채우기 기능도 사용자가 변경하려는 영역을 먼저 선택한 다음 해당 부분을 생성하도록 안내한다.
배경만 바꾸고 싶다면 인물을 정확하게 분리하고 배경 영역만 선택한다. 머리카락 가장자리나 어깨 주변의 선택이 거칠면 인물 일부가 배경과 함께 다시 만들어질 수 있으므로 경계를 세심하게 조정하는 것이 좋다.
AI에게 요청할 때는 바꿀 부분과 보존할 부분을 분리해 적는 것이 효과적이다. 예를 들어 옷만 바꾸고 싶다면 다음과 같이 쓸 수 있다.
원본 인물 사진을 부분 수정해 주세요. 현재 옷만 흰색 루즈핏 셔츠로 변경해 주세요. 얼굴 전체와 이목구비, 얼굴형, 눈썹, 눈, 코, 입, 턱선, 피부 질감, 표정은 원본 그대로 유지해 주세요. 헤어스타일과 앞머리, 인물의 자세와 크기, 위치도 변경하지 마세요. 얼굴과 머리카락은 새로 생성하지 말고 옷 영역만 수정해 주세요.
배경만 변경할 때는 다음과 같이 요청할 수 있다.
인물은 원본 그대로 보존하고 배경만 밝은 크림색 거실로 교체해 주세요. 얼굴과 머리카락, 옷, 손, 체형, 자세, 인물의 크기와 위치는 수정하지 마세요. 얼굴 보정이나 피부 보정, 표정 변경도 하지 마세요. 배경의 색과 조명이 얼굴에 영향을 주지 않도록 인물 영역은 그대로 유지해 주세요.
‘예쁘게’, ‘젊게’, ‘화보처럼’ 같은 표현은 가능하면 빼는 것이 좋다. 옷의 색과 소재, 형태를 바꾸고 싶다면 얼굴이나 인상에 관한 형용사 없이 옷만 구체적으로 설명한다.
예를 들어 “우아하고 젊어 보이는 흰색 셔츠를 입혀 주세요”보다 “광택이 적고 주름이 많지 않은 흰색 루즈핏 셔츠로 바꾸되, 소매와 팔 부분은 여유 있게 표현해 주세요”라고 쓰는 편이 수정 범위를 옷에 집중시키기 쉽다.
한 번에 한 가지만 수정하는 것도 중요하다. 먼저 옷을 바꾸고 결과를 확인한 뒤, 그 사진에서 배경만 교체하는 방식이 좋다. 옷과 배경을 동시에 바꾸면 결과가 마음에 들지 않을 때 어느 요청 때문에 얼굴이 변했는지 알기 어렵다.
수정 순서는 다음처럼 정할 수 있다.
얼굴이 선명한 원본 사진을 준비한다.
옷이나 배경 중 한 가지만 먼저 수정한다.
선택 영역 기능이 있다면 수정할 부분만 표시한다.
얼굴과 머리카락을 보존해야 한다고 구체적으로 적는다.
여러 결과 중 얼굴이 원본과 가장 가까운 것을 고른다.
선택한 결과를 바탕으로 다음 요소를 수정한다.
마지막 단계에서 밝기와 색감을 약하게 조정한다.
원본 사진은 얼굴이 충분히 크게 보이고 초점이 선명한 것이 좋다. 가능하면 정면 또는 약간 비스듬한 각도에서 촬영하고 눈과 코, 입, 턱선이 가려지지 않은 사진을 사용한다. 해상도가 지나치게 낮다면 먼저 일반적인 해상도 개선 기능을 사용하되, 얼굴 복원 기능이 이목구비를 새로 만들어 낼 수 있으므로 결과를 원본과 비교해야 한다.
참조 이미지를 추가할 수 있는 도구라면 같은 사람의 얼굴이 잘 나온 사진을 함께 제공하는 방법도 있다. 한 장의 사진만으로는 가려진 얼굴이나 입체적인 구조를 정확히 알기 어렵지만, 여러 각도의 참조 사진이 있으면 동일인 특징을 파악하는 데 도움이 될 수 있다. 다만 참조 이미지를 넣었다고 해서 얼굴 보존이 완벽히 보장되는 것은 아니다.
일부 도구는 ‘원본 유지 강도’, ‘이미지 영향력’, ‘변화 강도’와 같은 설정을 제공한다. 원본 얼굴 보존이 우선이라면 변화 강도를 낮게 시작해 조금씩 높이는 편이 좋다. 한 번에 강도를 최대로 설정하면 옷은 잘 바뀌더라도 얼굴까지 크게 재생성될 수 있다.
아무리 요청문을 자세히 작성해도 얼굴이 계속 달라진다면 그 도구가 부분 편집보다 전체 이미지 재생성에 더 적합한 것일 수 있다. 이때는 같은 요청을 반복하기보다 선택 영역을 정밀하게 지정할 수 있는 편집 도구를 사용하거나, AI로 배경과 옷만 만든 뒤 원본 얼굴 부분을 전통적인 사진 편집 방식으로 합성하는 편이 정확할 수 있다.
또한 사진을 업로드하기 전에는 해당 서비스가 이미지를 얼마나 보관하는지, 학습에 사용하는지, 삭제 기능을 제공하는지도 확인하는 것이 좋다. 신분증 사진이나 자녀 사진처럼 민감한 이미지는 공개형 서비스에 무심코 올리지 않는 편이 안전하다.
AI 사진 편집에서 가장 어려운 일은 예쁜 인물을 만드는 것이 아니라 ‘바로 그 사람’을 유지하는 것이다. 생성형 AI는 자연스러운 얼굴을 새로 만드는 데 능하지만, 원본 얼굴의 미세한 비대칭과 고유한 인상까지 완벽하게 고정하는 것은 여전히 어려운 과제다.
옷이나 배경만 바꾸고 싶다면 AI가 알아서 얼굴을 보존할 것이라고 기대하기보다 수정할 영역을 최대한 좁혀야 한다. 바꿀 부분과 건드리지 말아야 할 부분을 나누어 쓰고, 한 번에 하나씩 수정하며, 매 단계에서 원본 얼굴과 비교하는 것이 좋다.
결국 “얼굴은 그대로 두고 옷만 바꿔 주세요”라는 한 문장보다 중요한 것은 AI가 얼굴을 다시 만들 필요가 없도록 편집 범위를 제한하는 일이다. AI에게 더 많은 것을 만들어 달라고 요청하는 것보다, 무엇을 절대로 새로 만들지 말아야 하는지를 정확하게 알려줄 때 원래의 나와 가까운 사진을 얻을 가능성이 높아진다.