AI 알고리즘: 알아야 할 모든 것

휴대폰 는 사용자가 입력하려는 내용을 미리 알고 있습니다. 넷플릭스 다음에 어떤 콘텐츠를 폭음할지 알고 있습니다. 은행 대출금을 상환할지 여부를 알 수 있습니다. Spotify 는 반복 재생할 노래를 알고 있습니다.

하지만 어떻게요? 누가 우리 모두를 몰래 지켜보고 있을까요?

초능력 비둘기? 마음을 읽는 사람들의 비밀 모임? 아니면 엄마가 어떻게든 항상 알고 있기 때문인가요?

아니요. AI 알고리즘입니다.

이러한 시스템은 섬뜩할 정도로 정확한 예측 수많은 데이터를 읽고 패턴을 분석합니다.

그렇다면 AI 알고리즘이란 정확히 무엇일까요? 어떻게 작동할까요?

다양한 유형에는 어떤 것이 있으며 실제 애플리케이션에서 어떻게 사용되고 있을까요? 오늘 블로그에서 그 모든 것을 알아보세요. 

처음부터 다시 시작하겠습니다.

AI 알고리즘이란 무엇인가요?

AI 알고리즘은 일상에서 사용됩니다. 기술 - Google 검색, Siri, Netflix 추천은 물론 사기 탐지, 자율 주행 자동차, 의료 진단 등에도 사용됩니다. 

AI의 뿌리는 1940년대 앨런 튜링이 질문을 던진 1940년대로 거슬러 올라갑니다, "기계도 생각할 수 있나요?" 

그는 1950년대에 튜링 머신을 고안해 냈고, 이 머신은 나중에 튜링 테스트. 기계가 논리적 단계를 따라 문제를 해결하는 방법을 보여주었습니다. 

1950년대와 60년대에는 일부 프로그램(논리 이론가)으로 수학 정리를 증명할 수 있었습니다. 

하지만 한 가지 문제가 있었습니다. 모든 규칙을 일일이 수동으로 프로그래밍해야 했습니다.

AI의 핵심은 다음과 같습니다. 일련의 지침만 있으면 됩니다.-알고리즘은 기계가 의사 결정을 내리는 데 도움을 줍니다.

스팸 이메일 필터링과 같이 간단한 것도 있습니다. 의료 기록을 기반으로 질병 위험을 예측하는 것과 같이 더 복잡한 기능도 있습니다.

하지만 분명히 말씀드리자면, 인공지능은 스스로 생각하지 않습니다. 다음 사항에 따라 달라집니다. 인간 프로그래밍 및 일관된 학습 더 나은 서비스를 제공하기 위해 노력하고 있습니다.

이를 다음과 같은 예시를 통해 이해해 보겠습니다. 예제, 

AI는 중요한 의사 결정에 도움을 줍니다. 은행에서 대출을 승인한다고 가정해 보세요. 은행은 의사 결정 트리 (순서도처럼 작동하는 간단한 AI 모델):

• 신청자가 안정적인 수입을 가지고 있나요? 아니요 → 대출을 거부합니다. 예 → 신용 점수를 확인합니다. 
• 신용 점수가 좋은가요? 아니요 → 재검토. 예 → 기존 대출 확인.
• 대출이 너무 많나요? 위험도가 높습니다. 대출이 적습니까? 위험이 낮습니다. 

프로세스가 끝나면 AI는 구조화된 논리에 따라 대출을 승인하거나 거부합니다.

이제 다음 부분으로 넘어가겠습니다... 

AI 알고리즘으로 머신러닝 및 자동화를 구현하는 방법

이렇게 생각하세요. 

아이에게 개를 인식하는 방법을 가르친다고 상상해 보세요.

교사가 사진을 보여주고 주요 특징을 짚어주면 시간이 지나면서 아이들은 실제 생활에서 특징을 더 잘 찾아낼 수 있게 됩니다. 

AI 알고리즘은 동일한 방식으로 학습합니다. 방대한 양의 데이터에서 학습하여 예측하고 작업을 자동화합니다.

1 - 예측

회귀 알고리즘은 과거 정보를 학습하여 실시간 자동 예측을 수행합니다. 

예를 들어 넷플릭스는 예측을 기반으로 프로그램을 추천합니다. 마음에 드는 경우 기묘한 이야기, 제안할 수 있습니다. 다크 또는 엄브렐러 아카데미 좋아하는 사람들이 낯선 것들 도 시청했습니다.

2 - 머신 러닝

하지만 AI는 예측에 그치지 않고 적응합니다. 

머신 러닝을 통해 컴퓨터는 명시적으로 프로그래밍하지 않아도 경험을 통해 학습하고 개선할 수 있습니다. 

예를 들어 기묘한 이야기'는 공상과학 요소만 좋아하고 공포물은 싫어한다면 어떨까요? 느리게 진행되는 드라마보다 짧고 빠르게 진행되는 쇼를 선호한다면 어떨까요? 넷플릭스의 알고리즘이 사용자의 심층적인 활동을 분석하여 추천 프로그램을 조정합니다. 

3 - 자동화

그리고 자동화가 있습니다. 

자동화는 기술을 사용하여 사람의 개입을 최소화하면서 작업을 수행하는 프로세스입니다. 

예를 들어 자율 주행 자동차는 컴퓨터 비전을 사용하여 도로를 '보고', 정지 신호를 인식하고, 주행하는 모든 마일에서 학습하는 등 비슷한 작업을 수행합니다. 

더 많은 데이터를 처리할수록 더 스마트해집니다.

AI 알고리즘의 작동 방식(단계별)

사람이 새로운 기술을 배우는 것처럼 AI도 단계적으로 기술을 습득합니다.

Google 검색 엔진의 이미지 인식 기능을 사용하여 분석해 보겠습니다.

1단계 # 1 - 데이터 수집

모든 것은 데이터에서 시작됩니다. AI는 학습을 위해 수십만 개의 예시가 필요합니다. 이미지 인식도 마찬가지입니다:

• 수백만 개의 라벨이 지정된 이미지(예: '고양이'라고 라벨이 지정된 고양이 사진, '개'라고 라벨이 지정된 개 사진).

• 조명, 각도, 화질이 다양합니다.

• 같은 개체의 크기, 색상, 모양이 다릅니다. 

• 엣지 케이스(흐릿한 이미지, 부분적으로 숨겨진 개체, 낮은 대비).

1단계 # 2 - 전처리

원본 이미지에는 흐릿하거나 화질이 낮은 이미지, 관련 없는 물체, 어수선한 이미지 등 불필요한 정보가 많이 포함되어 있습니다.

AI를 학습시키기 전에 데이터를 정리하고 표준화해야 합니다. 여기에는 다음이 포함됩니다: 

• 일관되게 처리할 수 있도록 이미지 크기를 균일한 크기로 조정합니다.

• 그레이 스케일 또는 색상 정규화를 통해 밝기와 대비가 AI를 오도하지 않도록 합니다. 

• 객체 식별에 기여하지 않는 불필요한 배경 요소와 같은 노이즈를 제거합니다.

# 3단계 - 교육

AI는 "참조" 이미지를 사람처럼 인식합니다. 이미지의 밝기와 색상을 나타내는 값을 가진 수천 개의 픽셀을 숫자로 인식합니다. 

이를 이해하기 위해 AI는 이미지 인식을 위해 구축된 특수한 유형의 딥러닝 모델인 컨볼루션 신경망(CNN)을 사용합니다.

CNN이 이미지를 분석하는 방법은 다음과 같습니다:

• 컨볼루션 레이어: AI는 이미지를 부분적으로 스캔하여 먼저 단순한 모양(선, 곡선)을 감지하고 나중에 복잡한 특징(눈, 귀, 수염)을 인식합니다.
  
• 레이어 풀링: 이렇게 하면 이미지가 축소되어 필수적인 디테일은 유지하면서 불필요한 픽셀은 삭제됩니다.
  
• 완전히 연결된 레이어: AI는 감지된 특징을 연결하여 최종 예측을 내리는데, 뾰족한 귀와 수염이 보이면 고양이를 식별합니다.

이 프로세스에는 다음이 포함됩니다. epochs. 

여러 종류의 새를 구별하는 법을 배운다고 상상해 보세요. 참새와 비둘기를 처음 봤을 때 둘을 혼동할 수 있습니다. 

하지만 사진을 보고, 기능을 연구하고, 피드백을 받으면 실력이 향상됩니다.

AI도 같은 방식으로 학습합니다. 

에포크는 AI가 모든 학습 데이터를 살펴보고, 예측하고, 실수를 확인하고, 조정하는 하나의 완전한 주기를 의미합니다. 

기술을 더 잘하기 위해 여러 번 연습하는 것처럼 이 작업을 반복해서 수행합니다.

# 4단계 - 테스트

AI를 실제로 사용할 준비가 되기 전에 테스트를 거쳐야 합니다. 여기에는 다음이 포함됩니다:

• 이전에 본 적이 없는 이미지를 피드합니다.
  
• 정확도 측정 - 고양이를 고양이로 정확하게 표시하나요?
  
• AI가 학습 데이터를 암기했지만 새로운 이미지에 어려움을 겪는 과적합을 확인합니다.
  

AI가 너무 자주 실패하면 한 번도 본 적이 없는 이미지를 안정적으로 식별할 수 있을 때까지 더 많은 학습을 거칩니다.

# 5단계 - 배포

학습과 테스트가 완료되면 AI 모델이 배포됩니다. AI 모델에 이미지를 입력합니다. 그럴 겁니다: 

1. 픽셀 값으로 세분화
2. 모든 학습된 레이어를 통해 실행
3. 가능한 각 레이블에 대한 확률 점수 생성하기
4. 가장 가능성이 높은 분류를 선택하세요.

일반적인 결과는 다음과 같습니다:

• 고양이: 99.7% 확률
• 개: 0.2% 확률
• 기타 0.1% 확률

AI 알고리즘의 유형 및 사용 방법

사람마다 학습하는 방식이 다른 것처럼(일부는 독서를 통해, 일부는 행동을 통해), 인공지능은 특정 작업에 적합한 다양한 유형의 알고리즘을 가지고 있습니다.

1 - 지도 학습

사과와 오렌지를 구별하는 방법을 배우는 어린이를 상상해 보세요. 교사는 그림에 다음과 같이 라벨을 붙입니다:

"이것은 사과입니다."

"이것은 오렌지색입니다."

시간이 지남에 따라 인공지능은 그 차이를 구분하는 방법을 배웁니다. 이것이 바로 지도 학습으로, AI는 레이블이 지정된 데이터를 학습하고 예측하는 방법을 배웁니다.

예를 들어

의 AI 알고리즘은 스팸 필터 는 '스팸' 또는 '스팸 아님'으로 분류된 수천 개의 이메일을 스캔하여 패턴을 학습합니다. 

• 이메일에 특정 키워드가 포함되어 있나요? 
• 의심스러운 발신자로부터 온 메일인가요? 

시간이 지남에 따라 스팸이 받은 편지함에 도착하기 전에 스팸을 잡아내는 능력이 향상됩니다.

지도 학습은 주택 가격 등을 예측하는 회귀 모델과 이메일이 스팸 메일에 속하는지 기본 받은 편지함에 속하는지를 결정하는 분류 모델을 강화합니다.

2 - 비지도 학습

이제 같은 아이에게 과일 바구니를 주면서 어떤 과일이 사과인지 오렌지인지 말하지 않는다고 상상해 보세요. 

대신 색상, 모양, 질감 등 유사성을 기준으로 그룹화합니다.

인공지능이 레이블 없이 데이터에서 패턴을 찾아내는 비지도 학습이 바로 그것입니다.

예를 들어

은행은 거래가 사기인지 항상 즉시 알 수 있는 것은 아닙니다. AI는 사기를 예방하는 데 도움이 될 수 있습니다.

수백만 건의 구매 내역을 스캔하여 각 고객에게 '정상'인 것과 그렇지 않은 것을 파악합니다.

매주 식료품과 기름을 구입한다고 가정해 봅시다. 그런데 갑자기 다른 나라에서 $5,000달러짜리 고급 자동차를 사고 싶다고 가정해 보겠습니다. 

AI가 의심스러운 것으로 표시하고 카드를 동결하거나 빠른 알림을 보낼 수 있습니다. "너였어?" 메시지.

3 - 강화 학습

이제 아이에게 사과를 정확하게 따면 사탕을 받는 도전 과제를 주었다고 가정해 보겠습니다. 잘못된 과일을 따면 사탕을 잃게 됩니다. 

시간이 지남에 따라 아이들은 사탕을 가장 많이 얻는 가장 좋은 방법을 배웁니다.  그것은 강화 학습. 

AI는 다양한 행동을 테스트하고 실수를 통해 학습하며 보상과 처벌에 따라 조정하는 등 동일한 작업을 수행합니다.

예를 들어

자율 주행 자동차 운전할 줄 모르고 시작하지 마세요. 

하지만 수백만 마일의 도로 데이터를 분석한 결과, 제동, 교통 흐름에 합류, 장애물 회피에 더 능숙해졌습니다. 

모든 실수는 교훈이 됩니다. 성공할 때마다 더 똑똑해집니다.

4 - 신경망 및 딥러닝

어떤 문제는 단순한 규칙으로 풀기에는 너무 복잡합니다. 바로 이때 신경망이 등장합니다. 

인간의 두뇌처럼 작동하도록 설계되어 일일이 설명하지 않아도 패턴을 인식하고 의사 결정을 내릴 수 있습니다.

예를 들어

A 기존 컴퓨터 는 다양한 각도, 조명 또는 표현에 어려움을 겪을 수 있습니다. 

하지만 딥러닝 모델(여러 계층으로 구성된 신경망)은 조건에 관계없이 얼굴을 인식하는 방법을 학습할 수 있습니다.

사람마다 학습하는 방식이 다른 것처럼(일부는 독서를 통해, 일부는 행동을 통해), 인공지능은 특정 작업에 적합한 다양한 유형의 알고리즘을 가지고 있습니다.

실제 애플리케이션에서의 AI 알고리즘

AI 이미지 감지기가 알고리즘을 사용하여 AI가 생성한 이미지를 발견하는 방법

AI가 생성한 이미지는 이제 사람들이 실제 사진과 거의 구분할 수 없을 정도로 사실적입니다. 

하지만 AI 이미지 감지기는 표면 너머를 볼 수 있도록 훈련되어 있습니다.

기술 # 1 - 이상 징후 탐지

이 프로세스는 소속되지 않은 모든 것을 찾는 이상 징후 탐지로 시작됩니다.

이미지에 부자연스러운 질감, 일관되지 않은 조명 또는 흐릿한 가장자리가 있는 경우. AI 이미지 디텍터 는 적신호가 켜집니다.

기술 # 2 - 생성적 적대적 네트워크

AI가 생성한 이미지를 감지하는 한 가지 방법은 이미지를 생성하는 기술이 남긴 숨겨진 패턴을 살펴보는 것입니다.

이러한 패턴은 대부분의 AI 이미지를 구동하는 생성적 적대적 네트워크(GAN)에서 비롯됩니다.

모든 아티스트가 고유한 스타일을 가지고 있듯이, GAN은 실제 사진에는 없는 패턴을 만들어냅니다.

AI 이미지 디텍터 는 이러한 패턴을 인식하도록 학습되어 이미지가 인공 지능에 의해 생성되었는지 여부를 판단하는 데 도움이 됩니다.

기술 # 3 - 메타데이터

단순히 픽셀을 보는 것 외에도 AI 이미지 디텍터 는 이미지의 디지털 지문과 같은 역할을 하는 메타데이터도 검사합니다.

이 데이터에는 사진을 찍은 시간과 장소, 사진을 캡처한 디바이스 등의 세부 정보가 포함됩니다. 

2010년에 만들어진 이미지라고 주장하지만 실제로는 지난 주에 AI 도구로 만든 이미지인 경우, AI 이미지 디텍터 를 누르면 의심스러운 것으로 표시됩니다. 

AI 알고리즘의 편향성 및 이를 줄이는 방법

AI는 공정해야 하지만 때로는 공정하지 않을 수 있습니다. AI 편향은 두 가지 방식으로 발생할 수 있습니다:

• 데이터 편향 - 특정 그룹이 학습 데이터에서 과소 대표될 때 발생합니다.
  
• 모델 편향 - AI가 한 그룹에 대해 다른 그룹보다 더 많은 실수를 범하여 불공정한 결과를 강화할 때 발생합니다.
  

아마존의 편견 없는 채용 도구

2014년에 아마존은 AI 채용 툴을 폐기해야 했습니다. 여성에 대한 편견이 있었기 때문입니다. 

이 시스템은 기술직에 남성이 더 많이 채용된 과거 채용 데이터를 학습하여 남성 지원자를 선호하고 '여성'과 같은 단어가 포함된 이력서('여성 체스 클럽'과 같은)에 불이익을 주기 시작했습니다. 

AI는 불공평하게 행동하려고 한 것이 아니라 편향된 데이터를 통해 학습하고 그 편견을 그대로 이어갔습니다.

AI 데이터 수집 시 개인정보 보호 문제

앱을 사용하거나 웹을 탐색하거나 구매할 때마다 데이터가 수집되고 있습니다. 

이름, 이메일, 결제 정보 등 일부는 명백한 정보입니다. 

하지만 GPS 위치, 구매 내역, 타이핑 행동, 검색 습관과 같은 숨겨진 데이터도 있습니다. 

기업은 이 정보를 사용하여 경험을 개인화하고, 제품을 추천하고, 서비스를 개선합니다. 

데이터가 너무 많이 떠돌아다니면 위험은 피할 수 없습니다: 

• 데이터 유출 - 해커가 사용자 정보를 훔칠 수 있습니다.

• 재식별 - 익명화된 데이터도 개인과 다시 연결될 수 있습니다. 

• 무단 사용 - 기업은 이익이나 영향력을 위해 데이터를 오용할 수 있습니다.
  

기업이 데이터를 익명화한다고 주장하더라도, 연구 결과에 따르면 패턴을 통해 충분한 정보만 있으면 사용자 신원을 파악할 수 있습니다. 

사용자 개인정보를 보호하기 위해 기업에서는 다음과 같은 방법을 사용하고 있습니다:

• 익명화 - 데이터 집합에서 개인 정보를 제거합니다.

• 연합 학습 - AI 모델은 원시 데이터를 중앙 서버로 보내지 않고 디바이스에서 학습합니다. (예: Google의 Gboard).

• 차별적 개인정보 보호 - 추적을 방지하기 위해 수집 전에 데이터에 무작위 노이즈를 추가합니다(예: Apple의 iOS 시스템).

AI 알고리즘은 완전히 중립적일 수 있을까요?

AI는 진공 상태에서 만들어지지 않습니다. 

인간이 만들고, 인간의 데이터로 학습하며, 인간 사회에서 사용됩니다. 그렇다면 과연 중립적일 수 있을까요?

짧은 답변입니다: 아니요. 적어도 아직은 그렇지 않습니다.

AI는 실제 데이터를 통해 학습하며, 그 데이터에는 데이터를 만든 사람의 편견, 가정, 불완전성이 모두 포함되어 있습니다. 

COMPAS 재범률 도구를 사용해 보세요, 예를 들어 

어떤 범죄자가 재범할 가능성이 가장 높은지 예측하기 위해 고안되었습니다. 

간단해 보이시죠? 

그러나 연구에 따르면 이 알고리즘은 백인 피고인에 비해 흑인 피고인을 고위험군으로 분류하는 비율이 불균형적으로 높았습니다. 

누군가 프로그래밍해서 편향된 것이 아니라 결함이 있는 형사 사법 시스템의 패턴을 그대로 물려받았기 때문입니다.

그렇다면 AI를 공정하게 만들 수 있을까요? 

일부 전문가들은 그렇게 생각합니다. 

연구자들은 공정성 제약 조건, 즉 AI 모델이 서로 다른 그룹을 보다 동등하게 대우하도록 설계된 수학적 기법을 개발했습니다. 

편향성 감사 및 다양한 교육 데이터 세트도 왜곡된 결과를 줄이는 데 도움이 됩니다.

하지만 이러한 모든 안전장치가 있더라도 진정한 중립성은 까다롭습니다. 

인공지능을 완벽하게 만들 수 있다고 해도 "중립" 해야 할까요?

AI는 거품 속에서 결정을 내리지 않습니다. 실제 사람들에게 실제적인 방식으로 영향을 미칩니다. 

현실적으로 AI는 우리가 입력하는 세상을 반영합니다. 

편견 없는 AI를 원한다면 먼저 시스템의 편향성을 해결해야 합니다. 

그렇지 않으면 기계가 우리의 결함을 더 빠르고 대규모로 반영하도록 가르치는 것에 불과합니다.

AI 알고리즘에 관한 자주 묻는 질문

아래 위젯에서 AI 디텍터와 휴머나이저를 사용해 경험을 향상시켜 보세요!

최종 생각: AI 알고리즘의 미래

그렇다면 이 모든 것이 우리에게 무엇을 의미할까요?

AI는 매일 우리의 의사 결정에 영향을 미치고 있습니다. 무엇을 보고, 무엇을 구매하고, 심지어 은행 계좌가 얼마나 안전한지까지 결정합니다.

하지만 여기 질문이 있습니다...

인공지능이 우리에게서 학습한다면, 우리는 무엇을 가르치고 있을까요?

공정하고, 편견 없이, 도움이 되도록 하고 있나요? 아니면 인간이 저지르는 실수를 그대로 답습하도록 내버려두고 있나요?

AI가 계속 더 똑똑해진다면 그 다음에는 어떻게 될까요? 인공지능은 항상 우리가 통제할 수 있는 도구일까요, 아니면 언젠가 우리가 완전히 이해하지 못하는 선택을 하기 시작할까요?

어쩌면 가장 큰 문제는 AI가 무엇을 할 수 있느냐가 아니라 무엇을 할 수 있도록 해야 하는가일지도 모릅니다.

어떻게 생각하시나요?