구글 클라우드 관련 기사(2022.11.22)

구글 클라우드, "CSAP 완화되면 공공고객 혁신 도울것" (naver.com)

구글 클라우드, "CSAP 완화되면 공공고객 혁신 도울것"

클라우드의 데이터 지배자 '아파치 아이스버그' - ITWorld Korea

 

 

1. 개념 정리

- 클라우드 : 컴퓨터 통신망이 복잡한 네트워크 및 서버 구성을 알 필요 없이, 일반 사용자는 복잡한 내부구조를 알 필요 없이, 어디에서나 컴퓨터 자원으로 자기가 원하는 작업을 할 수 있어 인터넷이 연결된 어디에서나 동일한 체험을 보장해주는 기술. 즉, 인터넷 통신망 어딘가에서 구름에 싸여 보이지 않는 컴퓨팅 자원을 원하는 대로 가져다 쓸 수 있는 서비스.

 

- 벤더 : IT업체에서의 벤더란 판매인, 판매업자 혹은 제조업자를 의미.

- 록인(Lock-in) : 록인 효과, 경영 분야에서는 특정 제품이나 서비스에 소비자를 묶어두는 효과를 의미함. 어떤 서비스를 구매해서 이용하기 시작하면 더 뛰어난 제품이 시장에 출시되어도 이미 투자된 비용 혹은 복잡함, 귀찮음으로 인해 다른 제품 및 서비스로 옮겨가지 않는 경로 의존성에 의해 발생.

- 에코 시스템 : 자연계의 생태계처럼 관련 기업이 협력하여 공생하는 시스템

- 빅쿼리 : 머신러닝, 지리정보 분석, 비즈니스 인텔리전스와 같은 기본 제공 기능으로 데이터를 관리하고 분석할 수 있게 해주는 완전 관리형 엔터프라이즈 데이터 웨어하우스 , 즉 엄청나게 큰 데이터에 대한 SQL쿼리를 빠르게 수행해주는 구글의 클라우드 플랫폼 서비스 중 하나로 데이터 분석에 집중할 수 있어 많은 기업들이 데이터웨어하우스로 도입.

 

 

- 아파치 아이스버그

개방형 데이터 테이블 포맷, 지난 20년에 걸쳐 탄탄한 지지기반을 구축한 아파치 아이스버그는 넷플릭스가 처음 개발했으며 아파치 하이브에서 매우 큰 데이터 집합을 다룰 때 발생하는 규모, 가능성, 성능 관련 문제를 포함한 몇가지 문제를 해결하기 위해 처음부터 새로 만들어짐. 

처리 엔진 및 파일 형식 따지지 않음

아파치 소프트웨어 재단이 관리하여 잘 관리되는 오픈 소스 프로젝트임

다른 테이블 형식에서 유료인 기능이 포함됨.

처음부터 비즈니스 사용 사례가 아닌 실무적인 문제를 해결하기 위해 탄생.

  

 

- 델타 레이크 : 데이터 레이크에 안정성을 제공하는 오픈 소스 스토리지 계층, ACID 트랜젝션을 제공하고, 확장 가능한 메타 데이터를 처리하고 스트리밍 및 일괄 처리 데이터 처리를 통함함.

 

- 오픈 소스 스토리지 : 개방형 아키텍쳐를 이용해 저렴한 비용으로 네트워크 파일 시스템을 구성하고, 정교한 오픈 소스 스토리지 소프트웨어를 사용할 수 있는 시스템

 

- 아파치 후디 : DFS를 기반으로 대량의 분석데이터를 저장하고 관리할 수 있는 스토리지. 스트림을 통해서 실시간 데이터를 가져올 수 있고, 전통적인 batch 프로세싱으로 데이터를 저장할 수 있음. update가 발생하는 대량의 데이터를 실시간으로 DFS에 저장하고 이를 Spark SQL, Hive, Trino(presto)와 같은 쿼리 엔진으로 질의하여 데이터 분석이 가능한 스토리지 플랫폼

 

- 아파치 스파크 : SQL, 스트리밍, 머신러닝 및 그래프 처리를 위한 기본 제공 모듈이 있는 대규모 데이터 처리용 통합 분석 엔진. 

- 버텍스 AI비전 : 데이터 실무자가 강력한 컴퓨터 비전 및 이미지 인식 AI기술에 더 쉽게 접근할 수 있도록 돕는 신규 서비스. 컴퓨터 비전 애플리케이션의 제작기간을 며칠에서 몇분으로 단축

 

- 데브 옵스 : 소프트웨어의 개발과 운영의 합성어, 소프트웨어 개발자와 정보기술 전문가 간의 소통, 협업 및 통합을 강조하는 개발 환경이나 문화

 

- 온프레미스 : 기업의 서버를 클라우드 같은 원격 환경에서 운영하는 방식이 아닌, 자체적으로 보유한 전산실 서버에 직접 설치해 운영하는 방식으로 클라우딩 컴퓨팅 기술이 나오기 전까지 기업 인프라 구축의 일반적인 방식이었음.

 

- 클라우드 네이티브 : 클라우드 제공 모델에서 제공하는 분산 컴퓨팅을 활용하기 위해 애플리케이션을 구축 및 실행하는 개념. 클라우드 네이티브 앱은 클라우드가 제공하는 확장성, 탄력성, 복원성, 유연성을 활용하도록 설계 및 구축됨. 조직이 퍼블릭, 프라이빗, 하이브리드 클라우드에서 확장 가능한 애플리케이션을 구축하고 실행할 수 있도록 지원.

 

- 타임 투 마켓 : 제품이 개발되고 실제로 판매되기까지 걸리는 시간

 

- 클라우드 보안인증(CSAP) : 한국인터넷진흥원에서 운영하고 있는 제도로서, 공공기관에 서비스를 제공하기 위해 반드시 CSAP 인증을 받아야 함. 

 

-Azure Blob Storage : 클라우드를 위한 마이크로소프트의 개체 스토리지 솔루션, 대량의 비정형 데이터를 저장하는 데에 최적화. 비정형 데이터는 텍스트 또는 이진 데이터와 같은 특정 데이터 모델이나 정의를 따르지 않는 데이터 

브라우저에 이미지 또는 문서 직접 제공, 분산 액세스용 파일 저장, 비디오 및 오디오 스트리밍, 로그 파일에 쓰기 ,백업/복원, 재해 복구 및 보관용 데이터 저장, 온-프레미스 또는 Azure 호스팅 서비스에서 분석하기 위한 데이터 저장 등을 위해 설계됨.

- 쿼리 : 데이터베이스 등에서 원하는 정보를 검색하기 위해 요청하는 것. 이를 위해 특정한 구조의 프로그램 언어를 사용하기도 함. 대표적 예로 SQL이 있음.

 

2. 리뷰

클라우드의 록인 현상을 줄이기 위해 개방성을 유지한다는 부분이 인상 깊었다. 실제로 클라우드를 사용하는 이용자로서, 한 클라우드에서 다른 클라우드로 옮기려면 많은 용량의 파일을 옮기는 것이 어려워 사용하던 클라우드를 계속 사용했던 적이 있다.  개인이 클라우드를 사용할 때도 겪는 어려움인데 그 규모가 훨씬 큰 기업의 경우 더 어려움을 겪을 것이라는 생각이 들었다. 

또 최근 'AI 피로도 높아진 기업, 노코드 솔루션이 해결책'이라는 기사와 함께 위 기사를 읽고, IT계열 기업들이 기업 고객들을 대상으로 빠른 앱 출시, 빠르고 편리한 개발에 중점을 두고 서비스를 개발하고 있다는 생각을 했다. IT가 중점이 아닌 기업들은 앱이나 웹 서비스 개발을 위해 많은 시간과 비용을 투자하는 것이 리스크가 크기 때문에 IT기업의 서비스를 이용할 것이기 때문이다.