AI Developer

LLM이 스스로 더 똑똑해지는 방법: Meta-Rewarding과 Self-Discover

최근 생성형 AI, 특히 대규모 언어 모델(LLM)의 발전 속도가 놀랍습니다. 하지만 여전히 LLM은 까다로운 문제에 직면하면 잘못된 답변을 내놓거나 비논리적인 판단을 하기도 합니다. 이런 한계를 극복하기 위해 등장한 두 가지 획기적인 방법론을 소개하겠습니다. 바로 Meta-Rewarding과 Self-Discover입니다.  Meta-Rewarding: 모델이 스스로를 평가하고 학습하는 방식 Meta-Rewarding이란 한마디로 "모델이 스스로 생성한 결과를 직접 평가하고, 그 평가 결과를 학습하여 지속적으로 성능을 높이는 방법"입니다. 즉, LLM이 동시에 "학생이자 선생님" 역할을 수행하는 것입니다. Meta-Rewarding의 단계적 프로세스답변 생성(Actor): LLM이 하나의 질문에 다양한..

MCP는 Model Context Protocol의 약자로, 대형 언어 모델(LLM)이 외부 데이터 소스나 도구와 원활하게 상호작용할 수 있도록 돕는 개방형 표준 프로토콜입니다. 쉽게 말해, AI 모델이 필요한 정보를 외부에서 가져오거나 특정 작업을 수행하기 위해 다른 프로그램과 협력할 수 있게 해주는 통역사 역할을 합니다.​기존의 AI 모델은 훈련된 데이터에 기반하여 작동하기 때문에, 최신 정보나 특정한 외부 데이터에 접근하는 데 한계가 있었습니다. 예를 들어, AI에게 "현재 서울의 날씨는 어때?"라고 물어보면, 모델이 최신 날씨 정보를 직접 가져올 수 없었죠. 이러한 문제를 해결하기 위해 MCP가 등장했습니다. MCP를 통해 AI 모델은 외부의 다양한 도구와 데이터를 활용하여 더 정확하고 풍부한 답..

개발을 하면서 가장 공포스러운 순간 중 하나는 파일을 실수로 삭제했을 때입니다. 단순한 텍스트 파일이라면 다시 작성하면 되겠지만, 몇 시간, 며칠을 고민하며 짠 코드라면 이야기가 다릅니다. 저는 얼마 전 VSCode에서 작업 중이던 폴더를 삭제하는 바람에 .py 파일과 .ipynb 파일을 한순간에 날려버렸습니다.당연히 Ctrl + Z를 눌러봤지만 아무 소용 없었고, 휴지통을 확인해봐도 아무것도 남아있지 않았습니다. 깃(Git)에도 커밋하지 않은 상태. 순간 머리가 새하얘졌습니다. (이제 어쩌지.....)그러나 이대로 끝이 아니었습니다. 다행히도 VSCode에는 파일 복구 방법이 있었습니다.  VSCode의 숨겨진 기능: Local History 활용법대부분의 개발자가 VSCode의 Local Histor..

Q1) 사내 서버에서 GPU를 사용하려고했던 경우 A1) https://pytorch.org/get-started/previous-versions/ 에 들어가서 어떤 버전을 설치해야 할지가 가장 고민이었는데 여러 블로그를 참고해 보니 보통 다 nividia-smi를 출력 후 나온 Version보다 낮은 걸 받길래 처음에는 낮은걸 받았다가 torch 버전이 너무 낮아 호환성 문제로 상위 버전을 돌려봤는데 돌아갔음 이건 추후에 공부 예정 1) cuda 사용 여부 확인 ex) import torch device = torch.device("cuda" if torch.cuda.is_available() else "cpu") print(device) 2) 터미널에서 nividia-smi를 출력 후 Version ..

Q1) 사내 서버에 conda가 설치되어 있다고 해서 ssh로 서버를 접속해서 conda를 쳤는데 무반응이었던 경우(보통은 다 잘됐음) A1) 나같은 경우에는 직접 conda.sh 파일을 찾아 활성화 시킨 후 가상환경을 생성해서 업무를 수행했다. 우선 conda.sh 파일을 찾아야했는데 보통 /opt/etc 경로에 있다는 글을 참고해서 찾았다 ex) source /opt/miniconda3/py37/etc/profile.d/conda.sh 1) source /opt/miniconda3/py37/etc/profile.d/conda.sh 2) conda env list (생략해도 되는데 혹시 중복 이름이 있을까 봐 항상 확인하는 편) 3) conda create -n [ENV_NAME] python=[버전]..

본격적으로 블로그에 코드를 자주 작성하기 위해 코드 블럭을 바꾸고 싶다는 생각이 들었다. 그래서 바로 실행에 옮겼다. 그러면 머라구 가보자구 1) 톱니바퀴를 누르면 블로그관리 홈 창이 뜬다 2) 왼쪽 목록중 플러그인을 클릭한다 3) 그러면 6번째쯤에 코드문법강조가 보일꺼다 이렇게 4) 테마에서 원하는걸로 바꾸면 된다 나는 원래 변경전에는 Darcula를 쓰다가 변경후에는 Atom One Dark를 사용중이다 그러면 흉해보이는 테두리를 없애보겠다 5) 다시 톱니바퀴를 눌러서 블로그관리 홈으로 들어와서 왼쪽 목록에서 스킨 편집을 클릭한다 6) 왼쪽에 html 편집을 누른후 다시 CSS를 클릭한다 7) 찾기 단축키를 눌러서 article-view pre를 검색한다 (혹시 설마 찾기 단축키를 모르지는 않겠지? ..

공유기가 책상 아래쪽에 붙어있어 비밀번호 확인할 때마다 귀찮았다. 그래서 간단하게 파이썬 코드로 구현해 와이파이 QR 코드를 만들어 보았다. 역시 편하고 좋았다. 오늘도 노잼 말투 대성공 그럼 코드 구현 가보자구 아 참고로 나는 코랩에서 실행했고 코드를 실행하면 아래처럼 QR 코드가 png 파일로 생성된다. !pip install pyqrcode !pip install pypng import pyqrcode as pq ssid = 'SK_WiFiGIGA_5G' #SSID security = 'WPA2' #암호화방식 (ex:WPA,WPA2,WPA2-PSK,TKIP,AES...) password = '12345678' #패스워드 qr = pq.create(f'WIFI:S:{ssid};T:{security};..

요즘 Transformer랑 STT, TTS 분야에 관심이 생겨 간단하게 구현을 해보고 본격적으로 파보고 싶어서 코랩 환경에서 간단하게 구현을 해보았다. 1) 한국어 유투브 영상을 wav 파일로 다운한다 2) wav 파일을 텍스트로 변환한다 3) 한국어 텍스트를 영어로 번역한다 4) 텍스트를 다시 wav 파일로 변환한다 그럼 코드 실습 가보자구 !pip install pytube !pip install -qq git+https://github.com/openai/whisper.git !pip install SpeechRecognition !pip install gtts !pip install googletrans==4.0.0-rc1 from pytube import YouTube import os fro..

현재 재직 중인 회사에서 나는 도메인 지식이 없는 비전공자 + 학부 졸업생이다. 하지만 회사 업무 특성상 논문 서치가 필요할 떄가 많았고 그것을 코드로 구현하려면 논문을 읽는 연습을 자주 해야 했다. 연습은 현재 진행 중이고 그동안 하면서 필요하다고 생각한 부분만 글로 작성해 보려고 한다. 1. 원문 논문을 준비한다. 2. 논문 제목을 구글에 검색하면, 해당 논문에 대한 한글 리뷰가 있는 블로그 글을 찾아준다. 3. 한글 리뷰를 먼저 읽고, 동시에 원문도 비교하여 이해하기 어려운 부분이나 번역 오류를 확인한다. 4. 허깅페이스나 예제 코드를 실행하여 어떻게 동작되고 출력 되는지 눈으로 확인한다. 5. 논문에서 다루는 개념과 어려운 부분을 공부합니다. 6. 나중에 다시 참고하기 위해 간결한 요약을 작성하고..

안녕하세요 저의 정보처리기사 필기 합격 경험을 공유해 보려고 글을 작성했습니다. 이 글은 시험기간이 얼마 남지 않으신 분이나 벼락치기 스킬을 탑재하고 있으신 분만 참고하셨으면 좋겠고 절대 이 글을 읽고 짧게 준비를 안 하셨으면 좋겠다는 말씀을 꼭 드리고 싶습니다. 직장인이 어떻게 순공 시간을 7~8시간이 가능하지? 궁금하실 텐데요 저는 7일이라는 핸디캡을 어떻게든 극복하고 싶어서 주말 + 칼퇴 + 반차 2회를 도서관과 스터디카페에서 공부를 했습니다. 제가 글을 잘 쓰는 타입이 아니어서 이런 식으로 정리하였는데 혹시 궁금하신 부분이 생기시면 댓글에 남겨주시면 최대한 자세하게 답변 꼭 드리겠습니다. 그리고 만약 저와 같이 벼락치기를 시작하셨으면 잠은 사치입니다 아시겠죠 공부순서 및 참고 사이트 : (+1일 ..