하둡(Hadoop)보다 100배나 빠른 아파치 스파크 공개

아파치 소프트웨어 파운데이션(Apache Software Foundation)은 "Super fast, Open Soure, large scale data processing and advanced analytics engine"이라고 불리는 아파치 스파크 1.0을 공개했습니다. 아파치는 스파크가 메모리에서 하둡보다 100배나 빨리 동작할 수 있다고 합니다.

인텔의 Michael Greene은 "아파치 스파크는 IT산업에서 고성능의 분석 솔루션을 기반으로한 중요한 빅데이터 기술 솔루션이며, 나날히 성장하는 고객의 빠른 요구사항을 충족시킬 수 있습니다."라고 말했습니다.

스파크의 타겟은 무엇일까요?

아파치 스파크는 기계학습(Machine Learning), 양방향 쿼리(Interactive queries)와 스트리밍 프로세싱에 활용도가 높습니다. 스파크는 하둡의 분산 파일 시스템, HBase, Cassandra, 하둡 스토리지 시스템 등과 완벽히 호환이 가능합니다. 또한, 스파크는 SQL 쿼리, 스트리밍 데이터, 복잡합 분석 등에 활용할 수 있습니다.

아파치 스파크 1.0의 배포 관리자인 Patrick Wendell은 오랜기간 안정화된 Spark의 Core API 뿐만 아니라 몇가지 신규 피처를 지원한다고 합니다.
"스파크 1.0은 로컬 머신, Mesos, Yarn 또는 Dedicated Clouster에 애플리케이션을 적용하기 위한 통합된 툴을 제공합니다. 스파크에서 지원하는 Spark SQL을 지원합니다. 스파크의 스트리밍과 그래프 라이브러리 역시 중요한 업데이트 중 하나이며, 대용량의 데이터를 그래프로 나날이 체크할 수 있는 빌딩 툴(Building tool)을 제공합니다."

스파크에서 대한 자세한 기술적 사항은 아래 링크를 참조하시기 바랍니다.

http://www.cs.berkeley.edu/~marmbrus/sparkdocs/_site/index.html

By Unknown with No comments