본문 바로가기

전체

 (96)
빅데이터, 데이터 분석 간단개념 * 빅데이터: 기존 DB관리도구의 능력을 넘어서는 대량의 정형, 심지어 DB형태가아닌 비정형의 데이터 집합조차 포함한 데이터로부터 가치를 추출, 결과를 분석하는 기술 - 특성 [3V] 1. 볼륨(Volume) 2. 다양성(Variety) 3. 속도(Velocity) * 하둡: 아파치 하둡 에코시스템 -> 대량의 데이터를 병렬 분산 처리 * AWS의 빅데이터 서비스 1. EMR(Elastic MapReduce): AWS에서 제공해주는 빅데이터 플랫폼 - 클러스터 - 노드(마스터, 코어, 작업) 2. AWS Glue: AWS의 추출(Extract), 변환(Transform), 적재(Load) 서비스 다양한 소스에서 데이터를 검색, 추출, 강화, 정리, 정규화 및 결합하고 DB, 데이터웨어하우스, 데이터레이크..
클라우드 자원 모니터링 * 모니터링(Monitoring) - 쿼리카운트, 에러카운트, 처리시간, 서버의 활성시간과 같은 시스템에 관련된 정량적 수치를 실시간으로 수집, 처리, 집계, 보여주는 모든 행위 -> Signal, Telemetry, Trace 등을 수집, 집계하는 행위(Logging 포함) -> 임계점을 넘어가는 상태에 대한 알림 및 조치 * 관측성, 관측가능성(Observability) - 모니터링은 관측성의 하위 집합 - 시스템의 잠재적인 문제와 실패를 빠르게 예측하기 위해 모든 서비스들의 동작을 추적해야 함 - 모니터링을 통해 상태를 확인하고, 특정 임계치에 대한 알람을 발생하기 위해 매트릭을 수집/집계 - 관측성은 예측 불가능한 모든 장애 가능성을 알 수 없다는 것을 전제로 함 - 관측성을 확보하기 위해서는 세..
CI/CD 기본 개념 * 배경 목표: 사용자들에게 뛰어난 품질의 서비스를 보다 빠르게 전달하자! 방법: 협업, 커뮤니케이션, 빠른피드백, 자동화, 마이크로서비스 * CI/CD? CI/CD Pipeline? - CI/CD: 민첩한 개발을 구현하기 위해 올바른 자동화 및 테스트 도구를 사용하는 전략 1. 지속적인 통합(Continuous Integration): 지속적으로 테스트 및 패키징 실행 - 개발자를 위한 자동화 프로세스, 즉 코드를 업데이트하면 자동으로 빌드, 통합, 테스트를 하는 과정 - 개발자는 코드를 자주 푸시 - 테스트/빌드 서버는 푸시되는 즉시 코드를 확인 - 개발자는 통과/실패한 테스트 및 검사에 대한 피드백을 받음 - 버그를 조기에 찾아 버그 수정 - 코드가 테스트 됨에 따라 더 빠르게 제공 - 자주배포 2..
코드형 인프라(IaC) * 개념 기존에는 많은 수동 작업 수행, 이 수동 작업은 재현이 매우 어려움 코드라면? => IaC(Infrastructure as Code) 인프라 환경 요구사항을 표현하기 위해 코드를 작성하고 도구를 사용해 변경사항을 원하는 환경에 적용하는 개념 코드를 통해 인프라를 생성, 업데이트, 삭제할 수 있음 * 구조 - Ad hoc 스크립트 셀스크립트부터 파이썬 등을 활용한 코드 간당하지만 규모가 커지면 대응이 어려운 문제 - 구성 관리 도구 구성내용을 관리하는 코드 작성 분산 환경에서 동작가능 확장의 편리함 - 서버 템플릿 도구 서버 템플릿을 이미지화 Iac의 근간 - 프로비저닝 도구 서버 자체를 구성하기 위한 도구 서버뿐만 아니라, 네트워크, 서브넷, DB 등도 구성 => Iac는? - 인프라를 애플리케..
클라우드 보안과 엑세스 관리 * Shared Responsibility Model(책임 공유 모델) - Customer: 클라우드에서의 보안 - Cloud Service Provider: 클라우드의 보안 Access Application OS/System Cloud Service ... 서로 책임져야할 영역이 있다! => 책임지는걸 도와주는 것이 있다? * AWS IAM - AWS 리소스를 사용하기 위해 필요한 자격 증명 및 권한 체크, 할당 등을 설정가능한 서비스 [9강 캡쳐] IAM 사용자 권한 > Policy IAM 사용자 > MFA 인증 * AWS KMS(Key Management Service) - 암호화/복호화를 위한 키를 관리해주는 서비스! - 데이터에 대한 엑세스를 제어하는 쉬운 방법 - 승인을 위해 IAM 서비스와 ..

티스토리툴바