[Bigdata] 5. 맷플롯립 알아보기
·
Data/Bigdata
5.1 데이터 시각화컴퓨터 화면에 시각적 이미지 이용하여 데이터를 효과적으로 보여주는 방법데이터 시각화의 필요성복잡한 데이터에 대한 이해를 돕는다의사결정을 지원한다효과적인 커뮤니케이션 수단이 된다데이터 수집과 전처리 못지 않게 시각화를 통해서 그 의미를 잘 전달하는 것 역시 데이터 과학자가 해야할 중요한 일들 중 하나5.2 matplotlib의 다양한 기능 맛보기맷플롯립 코드 살펴보기import matplotlib.pyplot as pltyears = [2015, 2016, 2017, 2018, 2019, 2020, 2021, 2022]ranks = [5,3,2,3,4,6,7,4]# 그래프 그리기 plt.plot(x축데이터, y축데이터, 선의 색상, 마커 정보)plt.plot(years, ranks, c..
[Bigdata] 4. 넘파이의 세계로
·
Data/Bigdata
4.1 다차원 배열의 최대값, 최소값, 평균값 구하기와 정렬최대값, 최소값, 평균값a = np.array([10, 20, 30])a.max(), a.min(), a.mean()np.max(a), np.min(a), np.mean(a)원소들의 자료형을 변환하려고 한다면 astype() 함수를 이용a.astype(np.float64)정렬c = np.array([35,24,55,69,19,99])c.sort() # 오름차순# [19, 24, 35, 55, 69, 99]d = c[::-1] # 내림차순# [99, 69, 55, 35, 24, 19]c_flip = np.flip(c) # 내림차순# [99, 69, 55, 35, 24, 19]sort(): 오름차순배열[::-1]: 내림차순np.flip(배열): 내림..
[Bigdata] 슬라이싱 정리
·
Data/Bigdata
파이썬 / 넘파이 슬라이싱 완전 정리1. 슬라이싱 기본 구조[시작:끝:간격]시작: 어디서부터 가져올지 (포함)끝: 어디까지 가져올지 (끝 인덱스는 포함하지 않음)간격: 몇 칸씩 건너뛸지 (생략하면 1칸씩)2. 1차원 배열(리스트) 슬라이싱 예시arr = [0, 1, 2, 3, 4, 5] arr[1:4][1, 2, 3]1번 인덱스부터 3번까지 가져오기arr[:3][0, 1, 2]처음부터 2번까지 가져오기arr[2:][2, 3, 4, 5]2번부터 끝까지 가져오기arr[::2][0, 2, 4]2칸씩 건너뛰며 가져오기arr[::-1][5, 4, 3, 2, 1, 0]역순으로 가져오기 3. 2차원 배열(넘파이 배열) 슬라이싱 예시import numpy as nparr = np.array([[ 1, 2, 3, ..
[Bigdata] 3. 넘파이 시작하기
·
Data/Bigdata
3.1 데이터 분석에서 중요한 넘파이빅데이터의 분석의 대상이 되는 데이터는 한 두개 정도의 간단한 수치 데이터가 아니라 많은 양의 연속적인 데이터가 많다. 이러한 연속적인 데이터를 다룰 수 있는 파이썬의 대표적인 자료구조는 리스트(list)다만, 대규모 수치 데이터를 다루는 과학 분야에서 파이썬의 리스트는 성능 측면에서 만족스럽지 못한 경우가 많다. 이 때문에 과학기술 분야에서 수치를 다룰 때는 파이썬의 리스트 보다는 넘파이(numpy)에서 제공하는 다차원 배열을 선호넘파이의 주요 특징들고성능 다차원 배열 객체를 제공빠른 배열 연산백터화와 브로드캐스팅 기능다양하고 강력한 수학 함수C, C++ 포트란 코드와의 통합기계학습 라이브러리의 기반C/C++, 자바와 같은 많은 프로그래밍 언어에서의 배열은 동일한 자..
[Bigdata] 2. 데이터 분석을 위한 도구
·
Data/Bigdata
2.1 강력한 객체 지향 프로그래밍 언어: 파이썬파이썬 개발자: 귀도 반 로섬파이썬의 특징정수, 부동소수점, 문자와 같은 전통적인 자료형 기본으로 제공데이터 묶음을 처리하기에 편리한 리스트, 튜플, 딕셔너리, 집합과 같은 자료형 기본으로 제공파이썬은 객체지향프로그래밍 언어파이썬이 다루는 모든 자료형, 함수, 모듈은 객체animals = ['lion', 'cat', 'dog']animals.sort() # ['cat', 'dog', 'lion']animals.append('rabbit') # ['cat', 'dog', 'lion', 'rabbit']animals.reverse() # ['rabbit', 'lion', 'dog', 'cat']메소드: 특정한 클래스에 속한 객체들이 사용할 수 있는 함수2.3 ..
[Bigdata] 1. 빅데이터로 통하는 세상
·
Data/Bigdata
1.1 데이터와 정보, 그리고 지식산업혁명18세기 중반에서부터 19세기 초반까지 영국에서 시작된 기술 혁신, 새로운 제조 공정으로의 전환과 이로 인해 일어난 사회, 경제 등의 큰 변화 1차 산업 혁명: (석탄) 증기기관 기반의 기계화 혁명 / 공업 생산력 향상 / 가내 수공업 ➡️ 대량 생산+대량소비2차 산업 혁명: (석탄+석유) 석유와 전기 에너지 기반의 대량 생산 혁명 / 전기의 과학적 이용 ➡️ 자동차, 전차, 비행기 등3차 산업 혁명: (컴퓨터+인터넷) 정보혁명 / 정보 통신 기술의 발전과 확산 /정보혁명: 컴퓨터를 이용하여 빠르고 많은 정보의 처리가 가능해지면서 시작된 큰 사회 변화데이터와 정보, 지식데이터: 현실 세계에서 측정하고 수집한 사실이나 값정보: 어떠한 목적이나 의도에 맞게 데이터를 ..