AWS

AWS Glue, 서버리스 스트리밍 ETL 지원

Data : Apr 27, 2020

AWS Glue에서 이제 서버리스 스트리밍 ETL을 지원합니다. 이 기능을 사용하면 스트리밍 데이터를 즉시 준비하고 몇 초 내에 분석하는 연속 수집 파이프라인을 쉽게 설정할 수 있습니다. AWS Glue의 스트리밍 ETL 작업은 Amazon Kinesis 및 Apache Kafka와 같은 스트리밍 소스의 데이터를 소비하고, 전송 중에 해당 데이터 스트림을 정리 및 변환하며, Amazon S3 데이터 레이크, 데이터 웨어하우스 혹은 기타 데이터 스토어에 결과를 지속적으로 로드할 수 있습니다.

고객은 이 기능을 사용하여 IoT 이벤트 스트림, 클릭스트림 및 네트워크 로그와 같은 이벤트 데이터를 처리합니다. AWS Glue의 스트리밍 ETL 작업은 Apache Spark Structured Streaming 엔진에서 실행되므로 고객은 이를 사용하여 스트리밍 데이터를 강화, 집계 및 결합할 수 있을 뿐 아니라 다양하고 복잡한 분석 및 기계 학습 작업을 실행할 수 있습니다.

이전에는 스트리밍 데이터 수집 파이프라인을 구축하려면 스트림 처리 및 모니터링 시스템을 직접 구성하고 연결해야 했습니다. AWS Glue의 스트리밍 ETL 작업은 AWS Glue의 서버리스 인프라를 활용하여 리소스 관리를 단순화하고, 비용을 최적화하며, 코드를 작성하지 않고도 지속적 수집 파이프 라인을 설정할 수 있게 해주므로 평균 구현 시간을 몇 개월에서 며칠로 줄일 수 있습니다.

이 기능은 이제 AWS Glue와 같은 AWS 리전에서 이용 가능합니다.

이 기능에 대해 자세히 알아보려면 설명서를 참조하십시오.