AI Developer

Qwen2.5는 알리바바 클라우드가 개발한 최신 오픈소스 대규모 언어 모델(LLM) 시리즈로, 다양한 크기와 용도로 구성되어 있습니다. 기본 모델 외에도 코딩(Qwen2.5-Coder), 수학(Qwen2.5-Math), 멀티모달(Qwen2.5-VL), 초장문 처리(Qwen2.5-1M), 엣지 디바이스 최적화(Qwen2.5-Omni) 등 특화된 모델들이 포함되어 있습니다. 초장문 컨텍스트 처리Qwen2.5-1M은 최대 100만 토큰의 컨텍스트 길이를 지원하여, 방대한 문서나 긴 대화 기록을 효과적으로 처리할 수 있습니다. 이는 RAG 시스템에서 대규모 지식 베이스를 활용할 때 큰 이점을 제공합니다.​멀티모달 입력 지원Qwen2.5-VL과 Qwen2.5-Omni는 텍스트, 이미지, 오디오, 비디오 등 다양..

​ TensorRT-LLM은 NVIDIA의 고성능 추론 엔진인 TensorRT를 기반으로 하여, LLM의 추론을 최적화하고 가속화하는 데 중점을 둔 라이브러리입니다. 이를 통해 GPT-J, LLaMA, Falcon, Mistral 등 다양한 모델을 NVIDIA GPU에서 효율적으로 실행할 수 있습니다 .​ + NVIDIA에서 개발한 오픈 소스 라이브러리로, 대규모 언어 모델(LLM)의 추론 성능을 NVIDIA GPU에서 최적화하고 가속화하기 위해 설계되었으며, 이 라이브러리는 Python API를 통해 LLM을 정의하고, TensorRT 엔진을 구축하여 효율적인 추론을 수행할 수 있도록 지원한다고 합니다. + TensorRT-LLM은 다양한 LLM을 지원하며, NVIDIA H100 GPU에서 A100 ..

최근 생성형 AI, 특히 대규모 언어 모델(LLM)의 발전 속도가 놀랍습니다. 하지만 여전히 LLM은 까다로운 문제에 직면하면 잘못된 답변을 내놓거나 비논리적인 판단을 하기도 합니다. 이런 한계를 극복하기 위해 등장한 두 가지 획기적인 방법론을 소개하겠습니다. 바로 Meta-Rewarding과 Self-Discover입니다.  Meta-Rewarding: 모델이 스스로를 평가하고 학습하는 방식 Meta-Rewarding이란 한마디로 "모델이 스스로 생성한 결과를 직접 평가하고, 그 평가 결과를 학습하여 지속적으로 성능을 높이는 방법"입니다. 즉, LLM이 동시에 "학생이자 선생님" 역할을 수행하는 것입니다. Meta-Rewarding의 단계적 프로세스답변 생성(Actor): LLM이 하나의 질문에 다양한..

MCP는 Model Context Protocol의 약자로, 대형 언어 모델(LLM)이 외부 데이터 소스나 도구와 원활하게 상호작용할 수 있도록 돕는 개방형 표준 프로토콜입니다. 쉽게 말해, AI 모델이 필요한 정보를 외부에서 가져오거나 특정 작업을 수행하기 위해 다른 프로그램과 협력할 수 있게 해주는 통역사 역할을 합니다.​기존의 AI 모델은 훈련된 데이터에 기반하여 작동하기 때문에, 최신 정보나 특정한 외부 데이터에 접근하는 데 한계가 있었습니다. 예를 들어, AI에게 "현재 서울의 날씨는 어때?"라고 물어보면, 모델이 최신 날씨 정보를 직접 가져올 수 없었죠. 이러한 문제를 해결하기 위해 MCP가 등장했습니다. MCP를 통해 AI 모델은 외부의 다양한 도구와 데이터를 활용하여 더 정확하고 풍부한 답..

개발을 하면서 가장 공포스러운 순간 중 하나는 파일을 실수로 삭제했을 때입니다. 단순한 텍스트 파일이라면 다시 작성하면 되겠지만, 몇 시간, 며칠을 고민하며 짠 코드라면 이야기가 다릅니다. 저는 얼마 전 VSCode에서 작업 중이던 폴더를 삭제하는 바람에 .py 파일과 .ipynb 파일을 한순간에 날려버렸습니다.당연히 Ctrl + Z를 눌러봤지만 아무 소용 없었고, 휴지통을 확인해봐도 아무것도 남아있지 않았습니다. 깃(Git)에도 커밋하지 않은 상태. 순간 머리가 새하얘졌습니다. (이제 어쩌지.....)그러나 이대로 끝이 아니었습니다. 다행히도 VSCode에는 파일 복구 방법이 있었습니다.  VSCode의 숨겨진 기능: Local History 활용법대부분의 개발자가 VSCode의 Local Histor..

Q1) 사내 서버에서 GPU를 사용하려고했던 경우 A1) https://pytorch.org/get-started/previous-versions/ 에 들어가서 어떤 버전을 설치해야 할지가 가장 고민이었는데 여러 블로그를 참고해 보니 보통 다 nividia-smi를 출력 후 나온 Version보다 낮은 걸 받길래 처음에는 낮은걸 받았다가 torch 버전이 너무 낮아 호환성 문제로 상위 버전을 돌려봤는데 돌아갔음 이건 추후에 공부 예정 1) cuda 사용 여부 확인 ex) import torch device = torch.device("cuda" if torch.cuda.is_available() else "cpu") print(device) 2) 터미널에서 nividia-smi를 출력 후 Version ..

Q1) 사내 서버에 conda가 설치되어 있다고 해서 ssh로 서버를 접속해서 conda를 쳤는데 무반응이었던 경우(보통은 다 잘됐음) A1) 나같은 경우에는 직접 conda.sh 파일을 찾아 활성화 시킨 후 가상환경을 생성해서 업무를 수행했다. 우선 conda.sh 파일을 찾아야했는데 보통 /opt/etc 경로에 있다는 글을 참고해서 찾았다 ex) source /opt/miniconda3/py37/etc/profile.d/conda.sh 1) source /opt/miniconda3/py37/etc/profile.d/conda.sh 2) conda env list (생략해도 되는데 혹시 중복 이름이 있을까 봐 항상 확인하는 편) 3) conda create -n [ENV_NAME] python=[버전]..

본격적으로 블로그에 코드를 자주 작성하기 위해 코드 블럭을 바꾸고 싶다는 생각이 들었다. 그래서 바로 실행에 옮겼다. 그러면 머라구 가보자구 1) 톱니바퀴를 누르면 블로그관리 홈 창이 뜬다 2) 왼쪽 목록중 플러그인을 클릭한다 3) 그러면 6번째쯤에 코드문법강조가 보일꺼다 이렇게 4) 테마에서 원하는걸로 바꾸면 된다 나는 원래 변경전에는 Darcula를 쓰다가 변경후에는 Atom One Dark를 사용중이다 그러면 흉해보이는 테두리를 없애보겠다 5) 다시 톱니바퀴를 눌러서 블로그관리 홈으로 들어와서 왼쪽 목록에서 스킨 편집을 클릭한다 6) 왼쪽에 html 편집을 누른후 다시 CSS를 클릭한다 7) 찾기 단축키를 눌러서 article-view pre를 검색한다 (혹시 설마 찾기 단축키를 모르지는 않겠지? ..

공유기가 책상 아래쪽에 붙어있어 비밀번호 확인할 때마다 귀찮았다. 그래서 간단하게 파이썬 코드로 구현해 와이파이 QR 코드를 만들어 보았다. 역시 편하고 좋았다. 오늘도 노잼 말투 대성공 그럼 코드 구현 가보자구 아 참고로 나는 코랩에서 실행했고 코드를 실행하면 아래처럼 QR 코드가 png 파일로 생성된다. !pip install pyqrcode !pip install pypng import pyqrcode as pq ssid = 'SK_WiFiGIGA_5G' #SSID security = 'WPA2' #암호화방식 (ex:WPA,WPA2,WPA2-PSK,TKIP,AES...) password = '12345678' #패스워드 qr = pq.create(f'WIFI:S:{ssid};T:{security};..

요즘 Transformer랑 STT, TTS 분야에 관심이 생겨 간단하게 구현을 해보고 본격적으로 파보고 싶어서 코랩 환경에서 간단하게 구현을 해보았다. 1) 한국어 유투브 영상을 wav 파일로 다운한다 2) wav 파일을 텍스트로 변환한다 3) 한국어 텍스트를 영어로 번역한다 4) 텍스트를 다시 wav 파일로 변환한다 그럼 코드 실습 가보자구 !pip install pytube !pip install -qq git+https://github.com/openai/whisper.git !pip install SpeechRecognition !pip install gtts !pip install googletrans==4.0.0-rc1 from pytube import YouTube import os fro..