Node.js와 JavaScript를 공부하면서 작은 예제를 실행해보려고 했습니다. index.js 파일에 간단하게 console.log("안녕")을 입력하고, 터미널에서 node index.js를 실행했죠. 그런데, 아무 반응이 없었습니다. 😨 아무 메시지도, 에러도 없이 그냥 터미널이 조용히 있었습니다...'어? 도대체 무슨 문제지?' 원인을 찾기 위해 여기저기 검색도 해보고, 설정도 몇 번 만져봤는데 쉽게 답이 나오지 않았습니다ㅠㅠ 원인은 "바탕 화면" 경로 🤔나중에 알고 보니 문제의 원인은 정말 예상하지 못했던 곳에 있었습니다. 바로 파일 경로때문이었어요! 💡 제 PC에서 파일을 바탕 화면에 저장해두고 작업하고 있었는데, "바탕 화면"이라는 이름이 문제였던 겁니다. Windows에서는 바탕 ..

개요vLLM은 OpenAI API 스타일의 서버를 실행할 수 있는 강력한 LLM 서빙 라이브러리입니다. 이 가이드에서는 vLLM을 Docker 컨테이너로 배포하는 방법을 소개합니다. Docker를 사용하면 GPU 리소스를 효율적으로 활용할 수 있으며, 설정과 배포 과정을 간소화할 수 있습니다😎Docker로 vLLM 실행 스크립트다음은 vLLM 서버를 바로 실행할 수 있는 Docker 실행 스크립트(run_vllm_docker.sh)입니다:# Script to run vLLM Docker container with NVIDIA runtime and custom settings# Load environment variables from .env filesource .env# Set variablesGPU_..

4 GPTQ논문: https://arxiv.org/abs/2210.17323 GPTQ: Accurate Post-Training Quantization for Generative Pre-trained TransformersGenerative Pre-trained Transformer models, known as GPT or OPT, set themselves apart through breakthrough performance across complex language modelling tasks, but also by their extremely high computational and storage costs. Specifically, due to their massarxiv.org GPTQ는 대규..

👋 안녕하세요, 오늘은 "A Survey on Model Compression for Large Language Models"라는 논문을 📖 리뷰해보려고 합니다. 이 논문은 2023년에 발표되었으며, 2024년 11월 기준, 188회 인용될 정도로 주목받고 있는 최신 리뷰 논문입니다. 대형 언어 모델(LLM)에서 모델 압축 기술이 점차적으로 중요해지는 상황에서, 이 논문은 다양한 모델 압축 방법론에 대한 포괄적인 탐색을 제공하고 있습니다. 꽤나 요약이 잘되어있어서 리뷰를 진행합니다! 대표적인 압축 예시로는, 앤트맨이 있습니다ㅎㅎ 모델 압축의 필요성 최근 LLM은 갈수록 더 거대해지고 있으며, 이러한 확장된 모델들은 우수한 성능을 제공하는 반면, 상당한 컴퓨팅 자원을 요구합니다. 예를 들어, GPT-3..

컴퓨터 과학과 머신러닝, 특히 대규모 언어 모델(LLM, Large Language Model)에서 데이터 타입(data type)의 설정은 성능과 효율성을 결정짓는 중요한 요소입니다!  본 글에서는 FP32, FP16, INT4와 같은 데이터 타입이 무엇인지, 각각의 장단점과 활용 사례를 부동소수점 표현 방식과 연계하여 이해해 보겠습니다😎 드롭 더 Bit!컴퓨터에서 숫자를 다루는 방식: 부동소수점 수란?부동소수점 수는 컴퓨터가 실수를 표현하고 연산하는 데 사용하는 중요한 방식입니다. 이 방식은 크게 부호(Sign), 지수(Exponent), 가수(Fraction)라는 세 가지 구성 요소로 이루어져 있습니다. 이들 각각의 역할을 먼저 간단히 살펴보겠습니다.부호(Sign): 숫자가 양수인지 음수인지를 나..

대규모 언어 모델(LLM)을 다뤄보면 그 성능이 얼마나 잘 나오는지, 실제로 얼마나 유용한지를 확인하는 과정이 중요하죠. 그래서 요즘 많은 개발자들이 성능 평가 도구에 관심을 갖고 있어요. 검색해 보면 평가 툴이 정말 많은데, 이걸 다 쓸 수는 없으니 인기 있고 검증된 툴들부터 살펴보는 게 좋습니다. 특히 GitHub에서 평가 도구 몇 가지를 발견했는데, 직접 써볼 가치가 충분해 보이더라고요✨ 그럼 이제, LLM 성능 평가 도구와 대표적인 리더보드까지 하나하나 알아보겠습니다.1. 대표적인 LLM 평가 도구: lm-evaluation-harness와 DeepEvalLLM 성능 평가 도구를 찾기 위해 GitHub에서 검색해 보니, lm-evaluation-harness와 DeepEval이라는 두 가지가 특히..

안녕하세요! 저는 요즘 부쩍 사이드 프로젝트에 대한 열정이 커진 한 개발자입니다. 늘 마음 한구석에 ‘내가 기획하고 만든 무언가가 사람들에게 실질적인 도움이 된다면 얼마나 뿌듯할까?’ 하는 생각을 갖고 있었어요. 그리고 마침내 도전해 보기로 했습니다! 도전~~!!✨ 제 프로젝트의 목표는 어르신들을 위한 취미 공유 플랫폼을 만드는 것입니다. 쉽게 말해 어르신 맞춤형 크몽 같은 느낌인데요, 취미와 관심사를 공유하고 서로 교류할 수 있는 공간을 만들어보고 싶었어요. 어르신들이 취미를 통해 서로 소통하고 새로운 즐거움을 찾을 수 있는 곳이라면 좋겠다는 생각이 들었거든요ㅎㅎ 웹사이트로 시작할까, 앱으로 시작할까?처음엔 웹사이트로 시작할지, 앱으로 시작할지 고민이 많았습니다. 아시다시피 요즘 모든 것이 앱으로 중심..

안녕하세요! 이번 글에서는 Windows 환경에서 Flutter를 설치하는 방법을 자세히 설명해 드리겠습니다. Flutter는 Google에서 개발한 오픈 소스 UI 툴킷으로, 모바일, 웹, 데스크톱에서 동작하는 아름다운 애플리케이션을 손쉽게 개발할 수 있습니다. 이 가이드를 따라 Flutter를 설치하고 첫 번째 프로젝트를 🚀 시작해 보세요! 본 가이드는 Flutter 공식 사이트 설치 가이드를 따라 진행했습니다!  1. 사전 준비Flutter를 설치하기 전에, 몇 가지 사전 준비가 필요합니다:Windows 운영체제: Windows 10 이상이 필요합니다.디스크 공간: Flutter SDK와 Android Studio를 설치하기 위해 약 2.5GB 이상의 여유 공간이 필요합니다.(+ Visul Stu..

Ruff 패키지를 사용해 코드 linter와 formatter를 적용한 경험을 공유해보고자 합니다. 코드 작성을 마친 후, Ruff를 통해 한 번 검토를 거치면 코드가 훨씬 읽기 쉽고 깔끔해지며, 필요 없는 함수나 import 구문도 제거되어 최적화된 코드가 완성됩니다. 저뿐만 아니라 다른 사람들과 협업할 때에도 통일된 코드 스타일을 유지하는 것이 중요합니다. Ruff를 통해 이를 손쉽게 구현할 수 있을 것 같아, 설치와 사용 방법을 정리해 보았습니다. 아래는 제가 따라 한 튜토리얼을 참고해 보시면 도움이 될 것입니다. 튜토리얼 중 제가 필요한 기능만 뽑아봤습니다!! 튜토리얼 링크 Tutorial | RuffThis tutorial will walk you through the process of int..

오늘은 VSCode 터미널에서 Anaconda Prompt 환경을 사용하는 방법에 대해 자세히 설명해드리려고 해요. conda init을 활용해 PowerShell에서 Anaconda 환경을 설정하는 방법을 중점적으로 다룰 거예요. 만약 여러분도 Anaconda를 사용 중이라면, 이 방법을 통해 더욱 편리하게 개발 환경을 구축할 수 있을 거예요! 1. Anaconda 설치 및 경로 확인우선, 여러분이 Anaconda를 설치한 상태여야 합니다. 만약 아직 설치하지 않았다면, Anaconda 공식 사이트에서 다운로드하고 설치하세요.기본적으로 Anaconda는 C 드라이브의 사용자 폴더 안에 설치됩니다:C:\Users\\anaconda3\이 설치 경로는 이후 PowerShell에서 conda를 사용할 때 필요..

안녕하세요! 오늘은 제가 Windows10 노트북에 개발 환경을 어떻게 설치했는지 소개해 드리려고 해요. 저처럼 용량 걱정이 많은 분들께 특히 도움이 될 것 같아요. 제 노트북에는 딱 24GB 정도밖에 남아 있지 않아서, 아주 알차게 필요한 것들만 설치해야 했어요. 그럼 본격적으로 시작해 볼게요! 1. 필수 프로그램, VSCode 설치개발할 때 제일 먼저 생각나는 건 역시 VSCode죠. 가볍고 다양한 확장 기능을 지원해서 개발자들 사이에서 인기가 많아요. 우선, VSCode 공식 사이트에 가서 간단히 다운로드했어요. 용량도 1GB도 채 안 되니까 부담 없이 설치할 수 있어요. 2. Python 개발 환경 구축 (+Github Copilot) 저는 주로 Python을 사용하기 때문에, VSCode Mar..

나는 석사 때 컴퓨터 비전으로 연구를 했고, 한화오션의 디지털솔루션 연구 직무가 내 전공과 맞아보여서 지원하게 되었다. 특히 안전 관련 컴퓨터 비전을 연구했어서 더더욱 연관성이 있어 보였다. 2023 하반기 한화오션 R&D 석박사 신입사원 채용 후기를 공유해보려고 한다 ~🛳️  참조: https://jasoseol.com/recruit/87681  📋 전형 절차한화오션 R&D 채용 절차는 서류전형 > 1차 면접 > 2차 면접 > 입사 순으로 진행되었다. 여기서 가장 좋았던 점은 코딩테스트가 없었다는 것이다! 코딩테스트가 없으니 부담이 확 줄어들어서 너무 좋았다. 😌 ✍️ 자기소개서 작성자기소개서에서 물어본 질문들은 크게 세 가지였다.지원동기와 기여할 수 있는 바본인의 성격의 장단점, 단체 활동에서 ..