빅데이터, 데이터 분석 간단개념
* 빅데이터: 기존 DB관리도구의 능력을 넘어서는 대량의 정형, 심지어 DB형태가아닌 비정형의 데이터 집합조차 포함한 데이터로부터 가치를 추출, 결과를 분석하는 기술 - 특성 [3V] 1. 볼륨(Volume) 2. 다양성(Variety) 3. 속도(Velocity) * 하둡: 아파치 하둡 에코시스템 -> 대량의 데이터를 병렬 분산 처리 * AWS의 빅데이터 서비스 1. EMR(Elastic MapReduce): AWS에서 제공해주는 빅데이터 플랫폼 - 클러스터 - 노드(마스터, 코어, 작업) 2. AWS Glue: AWS의 추출(Extract), 변환(Transform), 적재(Load) 서비스 다양한 소스에서 데이터를 검색, 추출, 강화, 정리, 정규화 및 결합하고 DB, 데이터웨어하우스, 데이터레이크..
클라우드 자원 모니터링
* 모니터링(Monitoring) - 쿼리카운트, 에러카운트, 처리시간, 서버의 활성시간과 같은 시스템에 관련된 정량적 수치를 실시간으로 수집, 처리, 집계, 보여주는 모든 행위 -> Signal, Telemetry, Trace 등을 수집, 집계하는 행위(Logging 포함) -> 임계점을 넘어가는 상태에 대한 알림 및 조치 * 관측성, 관측가능성(Observability) - 모니터링은 관측성의 하위 집합 - 시스템의 잠재적인 문제와 실패를 빠르게 예측하기 위해 모든 서비스들의 동작을 추적해야 함 - 모니터링을 통해 상태를 확인하고, 특정 임계치에 대한 알람을 발생하기 위해 매트릭을 수집/집계 - 관측성은 예측 불가능한 모든 장애 가능성을 알 수 없다는 것을 전제로 함 - 관측성을 확보하기 위해서는 세..
