Log, Etc

ElasticSearch는 루씬 기반의 오픈 소스 검색 엔진입니다. JSON 기반으로 문서를 저장하고 검색할 수 있으며 쿼리를 통해 문서를 검색할 수 있습니다. 이번 포스팅은 ElasticSearch 기초에 대해 설명드리고자 합니다. ElasticSearch의 특징준 실시간 검색 엔진: 실시간이라고 생각할만큼 색인된 데이터가 매우 빠르게 검색됨. ElasticSearch 클러스터가 실행되고 있는 동안에는 계속해서 데이터가 입력(색인)되고 실시간에 가까운 속도로 색인된 데이터의 검색이 가능하다.클러스터 구성: 한대 이상의 노드를 클러스터로 구성하여 높은 수준의 안정성을 이루고 부하를 분산할 수 있음클러스터: 여러대의 컴퓨터 혹은 구성 요소들을 논리적으로 결합하여 전체를 하나의 컴퓨터로 사용할 수 있게 해주..

개요주요 용어DAG: Directed Acyclic Graph(대그), 방향성 비순환 그래프DAG 파일은 파이썬으로 이루어져있음backfilling(백필): DAG의 과거 시점을 지정해 실행하는 프로세스태스크오퍼레이터그래프 기반 표현의 특성독립적인 태스크의 경우 태스크를 병렬로 실행할 수 있음날씨 예보 가져오기, 판매 데이터 가져오기는 독립적임모놀리식(단일) 스크립트가 X, 점진적인 태스크로 명확하게 분리할 수 있음중간에 실패하면 실패한 태스크만 재실행하면 됨주요 구성 요소Airflow 스케줄러: 현재 시점에서 DAG의 스케줄이 지난 경우 Airflow 워커에 DAG의 태스크를 예약함Airflow 워커: 예약된 태스크를 선택하고 실행함Airflow 웹 서버: 스케줄러에서 분석한 DAG를 시각화하고 DAG..

✨ 딥러닝 모델을 다루게 되면서 CPU, GPU, 메모리 등에 대한 사양을 중요하게 보게 됩니다. 그렇다면 이 컴퓨터 사양들이 무조건 높으면 좋을까요? 왜 좋을까요? 멀티프로세스와 멀티스레드는 정확히 어떤 차이가 있을까요? 컴퓨터 구조와 운영체제를 공부하게 된다면 문제 상황을 빠르게 진단할 수 있고 문제해결의 실마리를 다양하게 찾을 수 있습니다. 결국 컴퓨터 안에서 프로그램이 실행되기 때문입니다. 파이썬을 주로 사용하게 되면서 접하는 에러들을 보며 컴퓨터에 대해 더 공부하면 좋겠다는 생각에 혼자 공부하는 컴퓨터 구조+운영체제 책을 읽으며 주요한 내용들을 정리하였습니다. 책의 제목대로 혼자서 공부할 수 있게 쉽게 설명해주어 정말 재밌게 읽었던 책입니다. 이번 글에서는 컴퓨터 구조 파트를 다루겠습니다.컴퓨터..

docker image를 build했더니 build에 실패했는데 원인은 no space left on device 공간이 없어서이다. docker system df -v로 확인해보니 엄청나게 많은 cache가 쌓여있었다. docker는 layer를 쌓을 때 cache를 이용해 이미지 빌드와 컨테이너 생성 시간을 줄이기 때문이다.$docker system df -vImages space usage:REPOSITORY TAG IMAGE ID CREATED SIZE SHARED SIZE UNIQUE SIZE CONTAINERSsnapshot latest 35grewd50504 12 days ago 14.97GB 0B ..

이전 포스팅에선 병렬처리를 위해 multiprocessing을 사용했지만 요즘 들어서는 ray를 활용하고 있습니다. 왜 multiprocessing에서 ray로 갈아탔는지에 대한 이유와 ray 사용법에 대해 정리하였습니다.🙋🏻‍♀️ multiprocessing이란?multiprocessing은 프로세스 스포닝(process spawning)을 통해 여러 프로세서를 활용한다. 여기서 말하는 프로세스 스포닝에 대해 설명하자면 우선, 스포닝은 알을 낳는다란 의미이다. 즉 부모 프로세스가 자식 프로세스를 만드는 과정을 의미한다. Pool 객체를 통해 병렬 처리를 하며 비동기처리, 이터레이터 등의 차이에 따라 map, imap, map_async, imap_unordered 등의 메서드를 사용한다.multip..

이미지를 구글 클라우드 스토리지에 올릴때 파일의 픽셀값이 전체 원소의 약 9%가 변경됐다. 이로 인해 이미지를 통해 inference를 수행할 때 값이 달라지는 문제가 발생했다😣 이미지의 원소 하나하나에 큰 영향을 받는 이미지 분류 모델이기 때문에 이 부분은 빠르게 수정해야 했다.# 파일이 같지 않음AssertionError: Arrays are not equal to 7 decimalsMismatched elements: 215247 / 2362368 (9.11%)Max absolute difference: 255Max relative difference: 255. x: array([[[ 0, 0, 4], [ 5, 6, 10], [ 8, 9, 13],...

회사에서 데이터분석 업무를 함께 하면서 pandas를 활용해 다양한 데이터 처리를 해보았다. 그 중에서 자주 사용하는 것들 위주로 공유해보려한다.read_csv, to_csv파일을 dataframe으로 변환하는 데는 여러가지 방법이 있지만 excel과 csv 파일을 불러올 수 있다. excel 파일일 때 보통 csv 파일로 변환 후 data를 read한다. 이 부분만 보면 csv 파일이 용량이 더 작아서라고 생각할 수 있지만 실제론 excel 파일이 csv 파일보다 용량이 더 작다. 그럼에도 csv 파일을 사용하는 이유는 첫번째로 csv 파일은 plain text이며 주로 comma를 separate로 가지고 있다. excel 파일은 microsoft excel로 flexible하지 않다. 즉, 간단한 ..

회사에서 자주 사용하는 module은 ubuntu의 특정 버전에서만 사용할 수 있습니다. 현재 사용하고 있는 ubuntu 버전과 맞지 않고 업그레이드도 불가능한 상황이라 도커를 사용하여 ubuntu 20.04 컨테이너를 만들게 되었고 배우게 된 내용을 공유하고자 합니다. 도커란? 컨테이너 기반의 오픈소스 가상화 플랫폼이다. 컨테이너란 배에 실는 네모난 화물 수송용 박스를 생각할 수 있는데 각각의 컨테이너마다 옷, 신발, 전자제품 등 다양한 화물을 넣을 수 있고 다양한 운동수단으로 쉽게 옮길 수 있다. 서버에서 이야기하는 컨테이너도 다양한 프로그램, 실행환경을 컨테이너로 추상화하고 동일한 인터페이스를 제공하여 프로그램의 배포 및 관리를 단순하게 해준다! 도커가 있기 전 기존의 방식 주로 가상화를 하였다. ..

사람들과 협업하다 보면 배포되는 코드가 꼬이거나 더러워지지 않게 각자 자신만의 repository를 만들고 fork하여 작업 후 중심 repository에 PR을 보내 merge할 때가 있다. 다른 사람의 PR이 merge된 후 충돌되지 않기 위해선 나의 repostiory에 최신 버전의 중심 repostiory를 업데이트해야한다. 자동으로 업데이트하는 방식도 있지만 이 글에선 수동으로 업데이트하는 방법에 대해 얘기하려 한다. upstream(fork한 branch)을 remote로 등록한다. git remote add upstream "upstream git 주소" upstream 내용을 fetch (최신 버전으로 업데이트한다는 뜻) git fetch upstream 내 브랜치와 upstream 브랜치..

git으로 작업하다보면 merge되지 않은 소스들을 함께 작업하는 경우가 있습니다. 팀원과 같이 일할 경우, 코드를 받아 테스트를 하거나 수정할 수도 있죠. 또는 아직 merge되지 않은 소스들을 다른 환경에서 이어 작업하고 싶을 때도 있어요. 그럴때 branch를 pull 해야하는데 방법은 아주 간단합니다! 먼저, 원격 브랜치를 갱신해야합니다. 아래의 명령어를 적어주시면 됩니다. 로컬에 원격 브랜치들이 생길거에요! git remote update git branch -a로 원격 브랜치들이 pull 됐는지 확인해주고 git checkout -t로 원격 브랜치와 동일한 이름의 브랜치를 생성하며 checkout하게 됩니다. git branch -a git checkout -t origin/[branch이름]

jupyter에서 로컬로 작업한 모듈을 직접 불러오기 위해선 pythonpath 설정이 필요합니다. pycharm의 경우 자동으로 현재 폴더 path를 python path로 설정해주지만 vscode는 따로 설정이 필요합니다. 방법은 매우 간단합니다! jupyter setting에 아래를 추가해주면 끝이에요. code-preferences-settings-jupyter 검색-edit in setting.json 클릭 아래의 코드를 적어주면 됩니다. 이미지에서 맨 아랫줄에 적혀있는 코드예요. "jupyter.notebookFileRoot": "${workspaceFolder}" 아래처럼 tree 구조를 가지고 있을 때 notebook에서 문제없이 불러올 수 있는 것을 확인하실 수 있습니다! 이 문제를 못 ..

파이썬을 사용하다보면 불편해질때가 있다. 스크립트 코드를 바꾸고 주피터 노트북에서 반영된 코드를 불러오기 위해선 restart 버튼을 눌러야하고 기존에 할당된 변수들이 다 사라지는 경험.. 이럴 때 autoreload 설정을 해주면 restart를 해주지 않아도 주피터 노트북에서 반영된 코드를 바로 사용할 수 있다. 먼저 profile을 생성한다. 생성해줌과 동시에 파일 위치도 알려준다. ipython profile create # 결과 [ProfileCreate] Generating default config file: PosixPath('/Users/username/.ipython/profile_default/ipython_config.py') [ProfileCreate] Generating defa..