전체 글 6

딥러닝 기술 종류 1

Overview딥러닝과 인공지능은 정말 흥미로운 분야인것 같습니다. 이 기술들을 이해하기 위해서는 여러 관점으로 나누어 보는 것이 도움이 됩니다. 특히 가장 기본이 되는 세 가지 관점이 있는데요, 바로 데이터, 학습 방식, 그리고 Task입니다.AI 구분법데이터 관점정형(Tabular) 데이터엑셀이나 데이터베이스처럼 잘 정리된 형태의 데이터를 말합니다각 열과 행이 명확하게 구분되어 있죠Vision 데이터이미지나 영상과 같은 시각적 데이터입니다사진 한 장도 수많은 픽셀 값으로 이루어져 있어요Text 데이터책, 문서, 웹페이지 등의 텍스트 정보입니다자연어 처리의 기본이 되는 데이터죠Speech 데이터음성이나 소리 데이터를 말합니다시간에 따른 음파의 변화를 담고 있어요학습 방식 관점지도 학습 입력과 정답을 쌍..

딥러닝 발전 5단계

전체 한 판안녕하세요! 오늘은 딥러닝의 발전 과정과 프로그래밍 패러다임의 변화에 대해 자세히 알아보도록 하겠습니다.😁 마치 아이가 성장하면서 점점 더 복잡한 문제를 스스로 해결할 수 있게 되는 것처럼, 인공지능도 비슷한 발전 과정을 거쳐왔습니다. 이를 이해하기 위해 Rule-Based Programming부터 Deep Learning까지의 진화 과정을 함께 살펴보겠습니다.Rule-Based Programming (SW 1.0)먼저 가장 초기 단계인 Rule-Based Programming에 대해 이야기해보겠습니다. 이는 마치 요리 레시피처럼 모든 단계를 사람이 일일이 정해주는 방식입니다. 예를 들어, 고양이 사진을 인식하는 프로그램을 만든다고 생각해봅시다."삼각형 모양의 귀가 있고, 수염이 있으며, 동..

정보검색 시스템의 이론부터 평가까지

안녕하세요~! 딥롱롱입니다! 오늘은 정보검색 시스템의 이론부터 평가에 대한 내용을 가져와보았습니다! 😁 1. 역색인과 정보검색 기초정보검색 시스템(Information Retrieval System)은 대량의 문서에서 사용자가 원하는 정보를 빠르고 정확하게 찾아주는 시스템입니다. 현대의 검색 엔진들은 이 기술을 기반으로 작동하고 있습니다.1.1 색인(Indexing)의 기본 개념색인은 문서 검색의 효율성을 높이기 위한 전처리 과정입니다. 도서관의 카탈로그와 유사하게, 문서의 내용을 쉽게 찾을 수 있는 형태로 구조화합니다.색인 과정은 다음과 같은 단계로 이루어집니다:텍스트 추출: 다양한 형식(PDF, DOC, HTML 등)의 문서에서 순수 텍스트를 추출토큰 추출: 텍스트를 의미 있는 단위로 분해불용어 처..

현대 검색 시스템의 진화(IR부터 LLM까지)

검색 시스템은 우리 일상에서 없어서는 안 될 중요한 도구가 되었습니다. 하지만 혹시 수많은 문서 중에서 어떻게 우리가 원하는 정보를 찾아내는지 궁금해하신 적이 있으신가요? 오늘은 검색 시스템의 핵심 기술부터 최신 트렌드까지 함께 알아보도록 하겠습니다.1. 검색의 기본 과제우리가 인터넷에서 정보를 찾을 때 마주치는 첫 번째 화면은 검색창입니다. 이 작은 입력창 뒤에서는 어떤 일이 벌어질까요?1.1 핵심 도전 과제검색 시스템이 해결해야 할 가장 큰 과제는 다음과 같습니다:속도: 수백만 개의 문서 중에서 1초 이내에 결과를 찾아내야 합니다정확성: 사용자의 의도를 정확히 파악하고 관련된 정보를 제공해야 합니다확장성: 계속해서 늘어나는 데이터를 효율적으로 처리할 수 있어야 합니다마치 도서관에서 수만 권의 책 중에..

자연어처리에서 언어 모델의 다양한 활용(Task와 응용 분야 둘러보기)

2024.12.04 - [NLP] - 언어 모델(Language Model)의 이해자연어처리의 세 가지 핵심 영역1. 자연어처리 (NLP)컴퓨터가 인간의 언어를 다루는 전체 과정언어 데이터 수집부터 전처리, 분석, 결과 도출까지예: 스팸 메일 필터링, 번역, 음성 인식 등 모든 언어 관련 작업2. 자연어 이해 (NLU)입력된 텍스트의 의미를 파악하는 과정문맥 이해, 감성 분석, 의도 파악 등예시 Task:감성 분석: 리뷰의 긍정/부정 판단문서 분류: 뉴스 기사 주제 분류정보 추출: 문장에서 핵심 정보 추출3. 자연어 생성 (NLG)컴퓨터가 인간이 이해할 수 있는 텍스트 생성대화, 요약, 번역 등 텍스트 출력 작업예시 Task:대화 생성: 챗봇 응답문서 요약: 긴 문서의 핵심 추출콘텐츠 생성: 글쓰기, 광..

언어 모델(Language Model)의 이해

안녕하세요~! 오늘부터 블로그를 시작하게된 딥롱롱입니다.😁저는 현재 업스테이지 AI LAB이라는 패스트 캠퍼스에서 운영하고 있는 부트캠프에서 공부 중입니다.들어가기 전에 언어 모델을 배워야하는 이유문서 작성 시 자동완성 기능이 있다는 걸 아시나요? 이러한 기능들의 핵심에는 바로 “언어 모델”이 있습니다. 오늘은 이 언어 모델이 무엇이고, 어떻게 발전해왔는지 함께 알아보는 글을 작성했습니다.언어 모델이란?언어 모델은 자연어를 이해하고 처리하기 위한 지식 표현 체계입니다. 자연어와 기계어(0과 1) 사이를 이어주는 중요한 다리 역할을 하며, 언어를 이루는 다양한 구성 요소(글자, 형태소, 단어, 문장, 문단 등)에 확률값을 부여하여 다음 요소를 예측하거나 생성하는 기능을 수행합니다.조금 더 쉽게 글을 정리..