딥페이크란 무엇인가요? 정의 및 실제 사례

딥페이크라는 용어 2017년 레딧에 처음 등장했습니다.같은 화면 이름을 가진 사용자가 처음에는 성인 콘텐츠에서 AI를 사용해 얼굴을 바꾼 변조된 동영상을 공유하기 시작했습니다. 

Reddit은 원래의 서브 레딧을 금지했지만, 이 아이디어는 이미 널리 퍼져 있었습니다. 

하지만 이 기술의 뿌리는 훨씬 더 거슬러 올라갑니다.

1997년에 이미 연구원들은 머신러닝을 통한 비디오 편집을 실험하기 시작했습니다. 

초기 립싱크 도구인 비디오 다시 쓰기 는 누군가가 하지 않은 말을 한 것처럼 보이게 만들 수 있습니다.

오늘날의 기준으로는 엄밀히 말해 딥페이크는 아니었지만, 앞으로 등장할 딥페이크의 토대를 마련한 것이죠.

오늘의 블로그에서는 이 진화하는 기술이 어떻게 작동하는지, 일상 생활에서 어떻게 나타나는지, 그리고 어떤 위험과 이점이 있는지에 대해 설명합니다. 

딥페이크가 실제로 무엇인지 이해하는 것부터 시작하겠습니다.

---

주요 요점:

• 딥페이크는 사람들이 실제로 하지 않은 말이나 행동을 하는 것처럼 보이게 하는 AI 생성 미디어입니다.

• 이제 무료 도구와 기본적인 기술만 있으면 거의 모든 사람이 그럴듯한 딥페이크 동영상, 이미지 또는 오디오 클립을 만들 수 있습니다.

• 딥페이크는 창의적이거나 재미있을 수 있지만 사기, 명예훼손, 잘못된 정보와 같은 심각한 위험을 초래할 수도 있습니다.

• 탐지 도구를 사용하거나 시각적 및 행동적 불일치를 면밀히 관찰하면 대부분의 딥페이크는 발견할 수 있습니다.

---

딥페이크란 무엇인가요?

딥페이크는 일반적으로 비디오, 오디오 클립 또는 이미지와 같은 가짜 미디어로, 인공 지능을 사용하여 누군가가 실제로 하지 않은 행동이나 말을 하는 것처럼 보이거나 들리도록 변조한 것입니다. 

포토샵을 잘못 사용했거나 음성이 어설프게 녹음된 것으로 착각하지 마세요.

여기서는 AI의 하위 집합인 딥러닝이라는 기술을 사용하여 높은 수준의 조작을 이야기하고 있습니다.

'딥페이크'라는 용어는 딥러닝과 가짜 콘텐츠라는 의미를 담고 있습니다.

딥페이크의 목표는 일반적으로 사람들을 속일 수 있을 만큼 진짜처럼 보이는 것을 만드는 것입니다.

유명인이 기괴한 행동을 하거나 정치인이 실제로는 절대 하지 않을 터무니없는 발언을 하는 바이럴 동영상을 본 적이 있을 것입니다. 

이는 전형적인 딥페이크 사용 사례입니다. 여러분이 보고 있는 것은 진짜가 아니지만, 그 뒤에 숨어 있는 기술이 충분히 발전하여 실제로 보지 않는 한 여러분의 뇌가 가짜를 즉시 알아채지 못합니다.

실제로 언디텍터블 AI의 연구팀에 따르면, 미국인의 85%는 딥페이크로 인해 온라인 정보에 대한 신뢰가 약해졌다고 답했습니다..

딥페이크 동영상이나 미디어가 실제로 무엇인지 알아보았다면, 이제 사람들이 딥페이크 동영상을 어떻게 만드는지 알아보겠습니다.

딥페이크 제작 방법

대부분의 딥페이크의 기반이 되는 기술은 생성적 적대적 네트워크(GAN)라고 하는 머신러닝 알고리즘의 한 범주입니다. 

GAN은 제너레이터와 판별기의 두 부분으로 구성됩니다. 

생성기는 복제하도록 학습된 내용을 기반으로 가짜 미디어를 생성하고, 감별기는 가짜로 보이는 것을 가려내는 역할을 합니다. 

생성기가 감별사의 테스트를 통과할 수 있는 가짜 콘텐츠를 만드는 데 더 능숙해질 때까지 계속 반복합니다. 

시간이 지남에 따라 이러한 오락가락은 충격적일 정도로 사실적인 미디어로 이어집니다.

딥페이크 동영상 생성 프로세스란 무엇인가요?

딥페이크 동영상을 제작할 때 시스템은 다양한 각도에서 동영상을 분석하고, 인물의 말투, 얼굴의 움직임, 몸의 움직임을 연구합니다. 

이 모든 정보는 제너레이터로 전달되어 이러한 행동을 모방한 콘텐츠를 만들 수 있습니다. 

그런 다음 판별기는 최종 결과가 올바르게 보일 때까지 잘못된 부분을 지적하여 미세 조정하는 데 도움을 줍니다.

그렇기 때문에 환상이 움직이는 동안에도 잘 유지됩니다.

딥페이크 동영상의 목적에 따라 몇 가지 다른 기법이 사용됩니다. 

실제로 말하거나 하지 않은 것을 동영상에서 말하거나 행동하는 것처럼 보이게 하는 것이 목적이라면 소스 동영상 딥페이크에 해당합니다. 

인코더와 디코더로 구성된 딥페이크 자동 인코더는 원본 영상을 학습하여 대상의 표정, 제스처, 미묘한 머리 움직임 등을 적용합니다. 

오디오 딥페이크

오디오 딥페이크는 자연스러운 말투를 녹음한 내용을 바탕으로 GAN을 사용하여 사람의 목소리를 복제하는 방식으로 작동합니다. 

일단 훈련된 모델은 사람이 실제로 그 단어를 말한 적이 없더라도 그 목소리로 새로운 음성을 생성할 수 있습니다. 

종종 추가되는 또 다른 레이어는 립싱크입니다. 

여기서 시스템은 생성되거나 미리 녹음된 오디오를 비디오에 매핑합니다.

목표는 비디오의 입술이 오디오의 단어와 일치하도록 만드는 것입니다. 

딥페이크의 실제 사례

딥페이크는 요즘 모든 곳에서 나타나고 있습니다. 

딥페이크 기술이 얼마나 발전했는지 보여주는 인기 딥페이크 몇 가지를 소개합니다.

우크라이나 군대에 항복하라는 젤렌스키 대통령의 딥페이크

2022년 3월, 러시아-우크라이나 전쟁의 초기 단계에 온라인에 다음과 같은 동영상이 등장했습니다. 우크라이나 대통령 볼로디미르 젤렌스키를 보여주는 모습 병사들에게 항복을 촉구했습니다. 

젤렌스키의 목소리와 매너리즘으로 완성된 대국민 연설처럼 보였습니다. 

이 동영상은 소셜 미디어 플랫폼에 퍼져나갔고 심지어 해킹된 우크라이나 뉴스 웹사이트에 게시되기도 했습니다. 

트위터는 신속하게 대응하여 인증된 채널을 통해 공식 성명을 발표하고 해당 영상을 반박했습니다. 

디자이너 패딩 재킷을 입은 프란치스코 교황의 바이럴 딥페이크 이미지

때로는 딥페이크 이미지가 악의적이지 않아도 혼란을 야기할 수 있습니다.

2023년 바이럴 사진 세련된 화이트 발렌시아가 패딩 재킷을 입고 걸어 다니는 프란치스코 교황 는 인터넷을 강타했습니다.

수천만 조회수를 기록했으며 여러 플랫폼에서 널리 공유되었습니다.

이 이미지는 시카고에 거주하는 익명의 사용자가 Midjourney라는 AI 도구를 사용하여 만든 것입니다. 

온라인 사기에 사용된 엘론 머스크 딥페이크

2024년 엘론 머스크가 등장하는 딥페이크 는 여러 대규모 온라인 사기의 중심이 되었습니다. 

페이스북, 틱톡 및 기타 플랫폼에서 가짜 암호화폐 경품 및 투자 사기를 홍보하는 머스크의 AI 생성 동영상이 등장하기 시작했습니다. 

이 클립은 놀라울 정도로 실제처럼 보이고 들립니다.

피해는 이론적인 것만이 아니었습니다. 한 고령의 은퇴자는 이러한 동영상에 현혹되어 약 1,700만 달러를 잃은 것으로 알려졌습니다. 

미국 유권자를 표적으로 삼은 조 바이든 딥페이크 로보콜

2024년 초, 뉴햄프셔 프라이머리 직전, 유권자 로보콜 수신 조 바이든 미국 대통령과 똑같이 들렸습니다. 

이 통화에서 조 바이든은 유권자들에게 11월 총선을 위해 집에 머물면서 투표를 하라고 촉구했습니다. 유권자들이 예비선거를 건너뛰도록 혼란을 주고 오해를 불러일으키려는 의도였습니다.

이 사건을 계기로 규제가 필요하다는 목소리가 커졌습니다. 옹호 단체들은 미국 연방선거관리위원회에 개입할 것을 촉구했지만, FEC는 권한의 한계를 이유로 결국 이를 거부했습니다.

한편, 로보콜을 배포한 통신사는 다음과 같이 밝혔습니다. 벌금 $1백만 달러 지불에 동의했습니다..

2020년 인도 선거에서의 정치적 딥페이크 사용

딥페이크 기술의 모든 사용이 유해하거나 기만적인 의도로 사용되는 것은 아닙니다(이에 대해서는 블로그 뒷부분에서 자세히 설명합니다).

2020 델리 주의회 선거 기간 동안, 델리 주의회는 바라티야 자나타 당은 AI를 사용하여 캠페인 광고를 맞춤화했습니다. 다양한 언어권의 사용자를 대상으로 합니다. 

이 당은 리더인 마노즈 티와리가 영어로 말하는 영상을 찍고 딥페이크 립싱크를 사용해 지역 방언인 하리안비어로 버전을 제작했습니다.

음성 해설은 배우가 제공했지만, 티와리의 실제 영상으로 학습된 AI를 사용하여 새로운 오디오에 맞게 비주얼을 수정했습니다. 

당원들은 후보자가 유창하게 말하지 못하더라도 유권자가 이해할 수 있는 언어로 유권자와 소통할 수 있는 기술을 긍정적으로 활용했다고 생각했습니다.

딥페이크는 위험한가요? 위험 및 우려 사항

지금까지 딥페이크가 무엇인지, 어떻게 만들어지는지, 실제 세계에서 딥페이크가 이미 나타난 사례는 어디인지 살펴봤습니다. 

이 기술은 분명 인상적이지만, 이와 관련된 위험은 심각하고 빠르게 증가하고 있습니다. 

딥페이크는 여러 가지 방법으로 무기화될 수 있습니다. 다음은 몇 가지 주요 우려 사항입니다.

명예 훼손

특히 모욕적이거나 논란의 여지가 있는 가짜 발언, 성명서 또는 동영상을 만드는 데 누군가의 모습이나 목소리를 사용하면 평판이 순식간에 나빠질 수 있습니다. 

또한 오래된 가짜 뉴스나 가짜 인용문과 달리 설득력 있는 딥페이크는 시청자의 마음에 의심의 여지를 거의 남기지 않습니다.

이러한 점에서 딥페이크는 분노를 불러일으키고 관계를 파괴하거나 단순히 해로운 내러티브를 퍼뜨릴 수 있습니다. 

특히 우려되는 점은 딥페이크가 완벽할 필요조차 없다는 점입니다.

인물이 유명하고 콘텐츠가 충분히 믿을 만하다면 여론에 지속적인 영향을 미칠 수 있습니다.

정보의 신뢰성

또 다른 주요 우려 사항은 딥페이크가 진실이라는 개념을 어떻게 훼손하는가 하는 점입니다. 

딥페이크가 점점 더 보편화되면서 우리가 보고 듣는 것이 진짜인지 아닌지 알기가 점점 더 어려워지고 있습니다. 시간이 지남에 따라 모든 형태의 디지털 커뮤니케이션에 대한 신뢰가 더 광범위하게 약화될 수 있습니다.

이러한 신뢰성의 위기는 개별적인 사건을 넘어서는 것입니다.

민주주의 사회에서 사람들은 공유된 사실에 의존하여 의사 결정을 내리고, 이슈에 대해 토론하고, 집단 문제를 해결합니다. 

하지만 유권자, 시청자 또는 시민이 모든 것에 의문을 갖기 시작하면 여론을 조작하거나 불편한 진실을 "또 다른 딥페이크"로 치부하기가 훨씬 쉬워집니다. 

협박

AI가 생성한 미디어는 개인이 불법적이거나 비윤리적이거나 부끄러운 일을 한 것처럼 보이게 하여 거짓으로 비난하는 데 사용될 수 있습니다. 

이렇게 조작된 증거는 사용자를 위협하거나 통제하는 데 사용될 수 있습니다.

그리고 이는 양쪽 모두에 도움이 됩니다. 딥페이크는 이제 매우 현실적이기 때문에 실제 협박을 당하는 사람은 증거가 가짜가 아니더라도 가짜라고 주장할 수 있습니다. 

이를 협박 인플레이션이라고도 하는데, 믿을 수 있는 가짜 자료의 양이 너무 많으면 실제 증거 자료의 가치가 떨어지게 됩니다. 

실제 증거의 신뢰성은 안개 속에서 사라지고, 이는 잘못을 폭로할 때 또 다른 복잡성을 가중시킬 뿐입니다.

사기 및 사기

사기범들은 AI가 생성한 동영상이나 신뢰할 수 있는 유명인의 목소리를 사용하여 믿을 수 없을 정도로 그럴듯한 사기 수법을 만들어내고 있습니다.

엘론 머스크, 톰 행크스, 오프라 윈프리와 같은 유명인의 딥페이크가 들어본 적도 없는 제품이나 서비스를 홍보하는 데 사용되는 경우도 있습니다.

이러한 동영상은 소셜 플랫폼에 푸시되어 수백만 명의 시청자에게 도달합니다.

특히 조작하거나 속이기 위해 설계된 개인화된 콘텐츠로 특정인을 대상으로 하는 스피어피싱 캠페인의 경우 개인도 위험에 노출됩니다.

에 따르면 2024년 포브스 보고서에 따르면 딥페이크에 의한 사기로 인해 이미 전 세계적으로 약 1조 7천억 달러의 손실이 발생했으며, 이 수치는 향후 몇 년 내에 3배 이상 증가할 것으로 예상됩니다. 

딥페이크의 긍정적이고 창의적인 사용 사례

이 기술의 모든 적용이 부정적인 것은 아니라는 점에 주목할 필요가 있습니다. 

딥페이크가 무엇인지 설명하는 많은 블로그가 오용에 초점을 맞추고 있지만, 딥페이크가 창의적이고 생산적으로 활용되는 방법도 점점 늘어나고 있습니다. 

다음은 몇 가지 주목할 만한 예시입니다.

영화 및 연기 공연

스튜디오는 다음과 같은 작업에 딥페이크 기술을 사용하기 시작했습니다: 

• 시각 효과 향상
• 생산 비용 절감
• 더 이상 존재하지 않는 캐릭터 되살리기 

디즈니는 인상적인 사실감으로 배우의 얼굴을 바꾸고 노화를 방지하는 고해상도 딥페이크 모델을 개선하고 있습니다.

이 기술은 1024 x 1024 해상도에서 작동하며 얼굴 표정을 정확하게 추적하여 캐릭터를 더 젊어 보이게 하거나 표현력을 높일 수 있습니다.

딥페이크는 할리우드 외에도 다음과 같은 글로벌 캠페인 작업을 가능하게 했습니다. 데이비드 베컴은 디지털 복제로 탄생했습니다. 를 사용하여 여러 언어로 건강 메시지를 전달할 수 있습니다.

예술

2018년 멀티미디어 아티스트 조셉 아이얼은 딥페이크 기술을 사용하여 이탈리아 영화배우 오르넬라 무티의 얼굴과 켄달 제너의 몸을 합성한 AI 배우를 만들었습니다. 

그 결과 세대의 정체성과 예술적 도발에 대한 초현실적인 탐구가 Un'emozione per sempre 2.0이라는 제목의 비디오 아트 작품으로 탄생했습니다.

딥페이크는 풍자와 패러디에도 등장했습니다. 

사우스 파크의 제작자 트레이 파커와 맷 스톤이 제작한 2020년 웹 시리즈 '새시 저스티스'가 대표적인 예입니다. 

딥페이크된 유명 인물을 사용하여 시사 이슈를 조롱하는 동시에 기술 자체에 대한 인식을 높였습니다. 

고객 서비스

크리에이티브 산업 외에도 기업들은 고객 대면 서비스에서 딥페이크의 유용성을 발견하고 있습니다. 

현재 일부 콜센터에서는 딥페이크 기술로 구동되는 합성 음성을 사용하여 계정 문의나 불만 접수와 같은 기본적인 요청을 자동화하고 있습니다. 

이러한 경우 악의적인 의도가 아니라 단순히 간소화를 위한 것입니다.

발신자 응답 시스템을 AI 생성 음성을 사용하여 개인화하여 자동화된 서비스가 더욱 자연스럽고 매력적으로 들리도록 할 수 있습니다.

처리되는 작업은 일반적으로 위험이 낮고 반복적이기 때문에 이러한 맥락에서 딥페이크는 비용을 절감하고 인간 에이전트가 더 복잡한 문제에 집중할 수 있도록 도와줍니다.

교육

교육 플랫폼에서도 딥페이크 기반 튜터를 도입하여 학습자를 보다 인터랙티브한 방식으로 지원하기 시작했습니다. 

이러한 AI 기반 튜터는 합성 음성과 개인화된 가이드를 사용하여 수업을 제공할 수 있습니다.

딥페이크 탐지 도구 및 기법

딥페이크가 점점 더 발전하고 접근성이 높아짐에 따라 피해를 입히기 전에 이를 식별해야 할 필요성도 커지고 있습니다. 

사람과 조직도 한 발 앞서 나가기 위해서는 적절한 도구와 기술이 필요합니다. 그래서 몇 가지 도구와 기법을 소개합니다.

감지 불가능한 AI 이미지 검출기

언디텍터블 AI의 AI 이미지 감지기를 사용하면 기술적 배경 지식이 없는 사람도 딥페이크 탐지가 더 쉬워집니다. 

감지기는 업로드된 이미지의 색상 패턴, 질감, 얼굴 특징, 구조적 불일치 등 다양한 요소를 분석하여 작동합니다. 

다음과 같이 가장 잘 알려진 AI 이미지 생성기를 사용하여 생성된 미디어에 대한 감지를 지원합니다. 

• MidJourney 
• DALL-E
• 안정적인 확산 
• 표의 문자
• GAN 기반 모델

사용 방법은 이미지를 업로드하고 도구가 분석하여 신뢰도 점수와 함께 명확한 판정을 내리기만 하면 됩니다.

접한 이미지가 진짜인지 확실하지 않은 경우, AI 이미지 감지기 체험하기 를 사용하여 AI 변조 징후가 있는지 확인합니다.

예를 들어, 다음은 안정적 확산을 사용하여 생성된 플라밍고의 AI 이미지입니다.

이제 언디텍터블의 AI 탐지기 를 테스트에 추가하여 이미지가 AI로 생성된 이미지인지 정확하게 구분할 수 있는지 확인합니다.

보시다시피, 언디텍터블 AI의 이미지 AI 감지기는 이 이미지를 100% AI 생성 이미지로 표시했습니다.

트루스 스캔

딥페이크와의 싸움에서 주목할 만한 또 다른 도구는 다음과 같습니다. 트루스 스캔. 

트루스캔은 위험도가 높은 동영상 분석을 위해 제작되었습니다. 디지털 플랫폼 전반에서 비디오 사기, 신원 스푸핑, 잘못된 정보 캠페인으로부터 조직을 보호하는 데 중점을 두고 있습니다.

트루스캔은 다양한 기능을 제공합니다:

• 얼굴 교체 탐지 기능은 프레임 단위 분석을 사용하여 얼굴 교체 및 재연 공격의 징후를 찾습니다.
• 얼굴 인증은 사람의 얼굴과 표정이 진짜인지 합성으로 생성된 것인지 확인하는 데 도움이 됩니다.
• 라이브 스트림 분석은 영상 통화나 라이브 이벤트에 특히 유용하며, 짧은 지연 시간으로 딥페이크가 실시간으로 감지됩니다.
• 비디오 포렌식은 압축 아티팩트, 프레임 불일치, 편집 흔적을 드러낼 수 있는 디지털 지문을 조사합니다.

수동 탐지를 위한 시각적 및 행동적 기법

특히 즉각적인 분석이 필요한 상황에서 개인이 딥페이크를 수동으로 탐지하는 데 사용할 수 있는 실용적인 기술도 있습니다.

몇 가지 시각적 위험 신호는 다음과 같습니다:

• 어색한 얼굴 위치 또는 이상한 표정.
• 이미지 또는 동영상의 여러 부분에서 조명이나 색상이 일관되지 않습니다.
• 특히 움직일 때 얼굴이나 헤어라인 주변이 깜빡입니다.
• 자연스러운 눈 깜빡임이 부족하거나 눈동자가 불규칙하게 움직입니다.
• 오디오와 음성이 일치하지 않을 때 립싱크가 불일치합니다.

행동 측면에서 보면 딥페이크는 인간의 미묘한 특성을 모방하는 데 어려움을 겪는 경우가 많습니다. 몸짓, 감정 표현, 습관적인 제스처에 주의를 기울이세요.

실시간 대화, 특히 라이브 동영상에서는 사이드 프로필 보기를 요청하세요.

많은 딥페이크 모델은 여전히 90도 얼굴 각도나 고개 돌리기 같은 복잡한 동작을 자연스러운 표정을 유지하면서 정확하게 렌더링하는 데 어려움을 겪고 있습니다.

텍스트 및 컨텍스트에서 딥페이크 발견하기

딥페이크는 비주얼에만 국한되지 않습니다. 일부 버전은 누군가의 커뮤니케이션 스타일을 모방한 합성 텍스트, 음성 또는 행동을 포함합니다.

텍스트 콘텐츠나 대화를 분석할 때는 다음 사항을 주의하세요:

• 맞춤법 오류 및 이상한 문법.
• 억지로 느껴지거나 자연스럽게 흐르지 않는 문장.
• 비정상적인 이메일 주소 또는 일관성 없는 문구.
• 문맥에 맞지 않거나 상황과 관련이 없는 메시지.

맥락도 중요합니다. 정치인이 저화질 영상으로 주요 결정을 아무렇지 않게 발표하는 등 이해가 되지 않는 설정에서 동영상이나 메시지가 등장한다면 그 진위를 의심해 볼 필요가 있습니다.

AI 디텍터와 휴머나이저가 궁금하신가요? 아래 위젯에서 사용해 보세요!

딥페이크 관련 자주 묻는 질문

최종 생각

이제 일반적으로 딥페이크 이미지 또는 미디어가 무엇인지 알 수 있습니다. 딥페이크는 AI와 딥러닝의 복잡한 조합으로, 종종 당사자 모르게 또는 동의 없이 시각적으로나 청각적으로 사람을 모방할 수 있습니다. 

위험은 매우 현실적이지만 창의적인 활용도 또한 적지 않습니다.

마지막으로 딥페이크는 더 이상 사라지지 않을 것입니다. 기술이 계속 발전함에 따라 이를 인식하고 대응하는 능력도 발전해야 합니다. 

이미지가 AI로 생성되었는지 여부를 간단하고 효과적으로 확인할 수 있는 방법을 찾고 있다면 Undetectable AI의 AI 이미지 감지기를 사용해 보세요. 

빠르고 정확하며 누구나 쉽게 사용할 수 있습니다.

지금 AI 이미지 감지기로 이미지를 확인하고 어떤 내용을 확인할 수 있는지 확인하세요.