디큐로그

인공지능이 우리 생활에 더 깊숙히 스며들면서, 데이터 사이언티스트가 되고자 하는 사람들도 많아지고 있습니다. 가끔 후배들에게 진로에 대해 조언을 해줄 기회가 있는데, 기회가 될 때마다 블로그에 "데이터 사이언티스트의 길" 이라는 제목으로 적어보려고 합니다. 실무에서 경험하는 현실과 취업을 준비하는 분들의 정보의 차이가 꽤나 많다는 걸 알게 되었고, 저도 더 좋은 조언을 해주고자 기록을 하는 것이니 이 시리즈가 많은 분들에게 도움이 되었으면 하는 바람입니다. 비전공 문과인데, 데이터 직무로 취업이 가능할까요? 비전공자의 경우, 많은 분들이 서류 전형에서의 필터링을 걱정합니다. 하지만 대부분의 경우, 전공만으로 서류전형에서 탈락시키는 경우는 없습니다. 비전공자임에도 불구하고 조직에서 훌륭한 역할을 하고 계시..

AWS 인스턴스를 사용하는 방법은 정말 다양해서 무엇이 옳다, 그르다 할 수 없지만, 개인적인 생각으로는 EC2나 Lightsail 위에 작업중인 코드를 직접 올리지 않는 dockerize 방식이 마음에 들어 쭉 사용해오고 있다. 회사의 여러 이슈로, 지난 반년간 EC2 셋업을 여러번 하면서 세팅 명령어를 계속 구글링하는 나 자신을 발견하면서, 이를 내 블로그 글로 하나 정리해두는게 좋겠다는 생각을 했다. 나는 크게 2가지를 세팅하고, 세팅 이후에는 ssh 접속을 최소화 시키는 편이다. 1. docker 설치 2. gitlab-runner 설치 이렇게 2가지를 세팅해두면, gitlab CI 파이프라인 -> docker compose 로 이어지는 파이프라인을 통해서 ssh 접속을 최소화 시킬 수 있다. 옵..

목차 1. Fast API 를 도입할 절호의 기회가 왔다. 2. Implicit 을 통한 추천 결과 얻어내기 3. 로컬 환경에서 Fast API 서버로 추천 결과 받기 4. 도커(docker) + 깃랩CI (gitlab ci) 로 배포 자동화 5. 아쉬운 점과 Future work #FastAPI #Implicit #추천서버 #도커 #깃랩CI 1. Fast API 를 도입할 절호의 기회가 왔다 소규모 스타트업이 으레 그러하듯이 새로운 언어, 새로운 기술을 사용하는 것은 개발자의 욕심이 없으면 진행조차 되기 어렵다 (legacy 살려줘...). 우리 팀도 typescript 로 모든 코드 베이스가 짜져있었고, 파이썬 코드는 내가 합류한 뒤 아주 작은 모듈 정도만 존재하고 있었다. 하지만 나 역시 pytho..

인공지능이 우리 생활에 더 깊숙히 스며들면서, 데이터 사이언티스트가 되고자 하는 사람들도 많아지고 있습니다. 가끔 후배들에게 진로에 대해 조언을 해줄 기회가 있는데, 기회가 될 때마다 블로그에 "데이터 사이언티스트의 길" 이라는 제목으로 적어보려고 합니다. 실무에서 경험하는 현실과 취업을 준비하는 분들의 정보의 차이가 꽤나 많다는 걸 알게 되었고, 저도 더 좋은 조언을 해주고자 기록을 하는 것이니 이 시리즈가 많은 분들에게 도움이 되었으면 하는 바람입니다. 방학 시즌에 할 수 있는 데싸 준비 대학생의 경우 방학때 정말 많은 일들을 할 수 있는데, 데이터 사이언티스트로서 역량을 기르고 싶다면 어떻게 해야할까요? 어떻게 준비하느냐에 따라 크게 2가지, 무엇을 준비하느냐에 따라 2가지로 나누어 볼 수 있겠습니..

가독성을 개편하여 글을 새로 작성했습니다. 참고 바랍니다. https://brunch.co.kr/@author-dq/2 한달 10만원으로 추천시스템 구축하기 AWS PERSONALIZE 도입 후기 with python SDK | 목차 0. 추천시스템, 어디 싸고 쉽게 만들 방법 없나요?1. AWS Personalize, 쓰지 않을 이유가 하나도 없습니다2. 여러분은 데이터만 준비해주세요 (데이터 전처리)3 brunch.co.kr 목차 0. 소규모 스타트업에서 추천시스템을 만드는 어려움 1. AWS Personalize 외않써? 2. 데이터 전처리 방법 3. AWS Personalize 자동화 (Python SDK 이용) 4. 가성비 좋게 서빙하는 방법 Batch inference 5. 한계와 Future..

gitlab-runner 가이드대로 설치하는데, 막상 CI 를 돌려보면 안돼서 남기는 포스팅 케이스 1, docker 관련 permission denied Solution # docker 그룹에 gitlab-runner 유저를 넣어준다. sudo usermod -aG docker gitlab-runner # docker 를 재시작한다 sudo service docker restart 케이스2. 위와 같은 에러가 떴을때 Solution # 요 파일을 삭제해준다 sudo rm -rf /home/gitlab-runner/.bash_logout 도움이 되셨다면 카누 한잔 어떠신가요? 카누로부터 돈을 받지는 않았지만 제가 카누를 좋아합니다. “파트너스 활동을 통해 일정액의 수수료를 제공받을 수 있음"

개발 환경 MacOS Catalina python 3.9 들어가며... 먼저 용어부터 깔끔하게 정리하자. 웹 크롤링이라는 용어가 웹 사이트들을 돌아다니는 것 자체를 의미한다면, 웹 스크래핑이 우리가 생각하는 웹 사이트들의 정보를 모으는 것을 의미한다. 우리가 사용할 framework 인 scrapy 도 웹 스크래핑을 위해 태어난 프레임워크이다. 여기서 드는 의문점 왜 Beautifulsoup 안쓰나요? - 안다. 유명한거. 그렇지만 몇번의 리서치 결과 나는 프로젝트 단위에서 자주 사용 + 성능 이슈 때문에 scrapy 를 선택하게 되었다. 관련된 내용은 아래 이미지를 참고하자. (출처 영어 주의) 아무래도 scrapy 가 프레임워크의 성격을 갖고 있는지라, 초기에 세팅하는데에 진입장벽이 조금 있다. 그래..