종종

Write now? Right now!

ETC/데이터 분석

출처: 캐글 1위와 풀어보는 머신러닝 입문 트레이닝 Global Expert 📌 코드 정리 주소(깃 허브) GitHub - minjeongss/Kaggle Contribute to minjeongss/Kaggle development by creating an account on GitHub. github.com 🪄 데이터 사이언티스트란? 데이터에서 인사이트를 얻어 유용한 스토리를 만드는 사람이다. 과정 시각화>분석>인사이트>스토리 🪄 캐글이란? 데이터 분석 대회 사이트이다. 사용하는 이유 1. 대회이기에 자기 검증 가능 2. 다양하고 높은 퀄리티의 데이터 존재 데이터 활용 과정 캐글 가입 > 타이타닉 내용 복사해서 내 계정으로 옮기기 > 대회 참가 동의 구글 콜랩 가입 > 캐글에 있는 타이타닉 내용 다..

2022. 1. 9.

ETC/데이터 분석

데이터 분석을 하기 위해선 우선 데이터가 필요하다. 그렇다면 이 데이터는 과연 어디서 얻을 수 있는가? 이 질문에 대한 해답은 오픈 공공 데이터 포털이다. 1. 각 나라의 정부 🌏 대한민국 일본 미국 영국 유럽 연합 회원국(EU) 중국 홍콩 대만 🐱‍🚀 통합 : 지도상에서 각 나라를 선택하여 원하는 사이트로 들어가는 곳 2. 국제 조직 🗽 경제 협력 개발 기구(OECD) 각국의 인구, 세금, 수출입, 경제상황, 글로벌 경제상황 등의 경제데이터 한 번에 여러 나라를 비교하고자 할 경우, 1번에 비해 더 유리함을 갖고 있음. 세계 은행 기후, 대출, 경제, 교육, 인구 세계 보건 기구(WHO) 건강과 관련된 정보 AI와 관련된 발전에 의해 예방접종, 질병의 전처리, 약물, 영양에 대한 정보가 늘어나고 있는 ..

2021. 12. 5.

ETC/데이터 분석

데이터 사이언스를 구현하는 언어에 대해 알아볼 것이다. 기본 뼈대를 구성하고 있는 SQL부터 가장 많이 활용되는 파이썬, 통계를 위한 R, SAS을 살펴본 후, Scala, Julia에 대해 알아보도록 하겠다. 1. SQL 데이터 사이언스의 핵심이라고 볼 수 있다. 관계형 데이터베이스라고 불리는 조작화된 데이터 소스에서 데이터를 검색하기 위한 데이터베이스 언어이다. 즉, 데이터베이스의 업데이트, 쿼리 및 조작을 위한 용도로 활용된다. 제한된 기능을 제공하지만 특정 역할에 필수적이다. MySQL, SQLite, PostgreSQL과 같은 다양한 구현이 존재한다. 2. Python : 다양한 라이브러리를 지원한다. 데이터 사이언스 문제 해결을 위해선 데이터 사전 처리, 분석, 시각화, 예측, 데이터 보존이 ..

2021. 11. 21.

ETC/데이터 분석

데이터 분야의 직군은 크게 데이터 엔지니어, 데이터 분석가, 머신러닝 엔지니어, 데이터 사이언티스트로 구분된다. 이때, 데이터 엔지니어와 데이터 분석가는 유사하지만 개발자, 연구자의 성격을 갖는 것에서 차이가 존재한다. 데이터 엔지니어 → 데이터 분석가 → 머신러닝 엔지니어 → 데이터 사이언티스트 순으로 설명하겠다. 이 순서는 데이터를 가지고 오는 것부터 시작하여 데이터를 처리하는 것의 전과정이 이루어지는 순서와도 유사하다. 1. 데이터 엔지니어(개발자적 성향) 앱 또는 웹에서 발생하는 데이터들을 파이프라인을 통해 저장소에 저장 즉, 대용량 데이터를 수집하고 관리하며 유지하는 직군 (1) 분류 (1) 백엔드 개발 (2) 머신러닝/딥러닝 (3) 데이터 엔지니어링 위주 (2) 업무 웹, 앱에 존재하는 빅데이..

2021. 11. 14.

ETC/데이터 분석

데이터 시각화에 활용되는 태블로(Tableau)를 소개하고자 한다. 파이썬을 활용하여 주피터 노트북을 통해 시각화를 진행할 수 있지만 태블로는 언어를 작성하지 않고 더 간단히 시각화를 진행할 수 있는 유용한 도구이다. (단, 데이터셋이 사용하기에 결측값 또는 집합이 정확하지 않은 경우 파이썬 전처리의 과정을 진행한 후에 태블로를 활용한 데이터 시각화를 진행하게 된다.) 모든 정리는 '태블로 굿모닝 굿애프터눈'이라는 교재를 바탕으로 작성이 되었다. 1. 태블로란? 데이터 분석 및 시각화를 하는 Business Intelligence(BI) 솔루션이라고 한다. 즉, 데이터를 활용해 의사 결정을 내린 후 결과적으로 비지니스 목표를 달성하게 하는 과정과 방법이다. 본인은 데이터 시각화의 용도로 태블로를 사용하게..

2021. 10. 3.