Just Fighting

하둡이란? 아팟치 하둡은 대규모 검색 색인을 구축하려고 만든 자바기반의 오픈 소스 분산 컴퓨팅 플랫폼. 후에 다방면으로 활용되고 개선되면서 대규모 원시 데이터를 처리하고 분석하는 데이터 센터 운영 시스템의 핵심 소프트웨어 생태계를 이룸. 하둡의 핵심기술 - 분산 파일 시스템 - 리소스 관리자와 스케줄러 - 분산 데이터 처리 프레임워크 HDFS 하둡 분산 파일 시스템. 하둡의 핵심 파일 시스템. 데이터의 중복 저장이란 개념을 바탕으로 한 대규모 분산파일 시스템. 일반적인 파일 시스템을 가진 여러 노드를 묶어 하나의 분산 파일 시스템을 구축하도록 설계됨. YARN 가장 효율적인 방법으로 계산 리소스를 할당하고 사용자 애플리케이션을 스케줄링하는 시스템 스케줄링과 리소스 관리. 데이터 지역성 극대화. 계산량 많..