빅데이터의 등장배경

안녕하세요 소너본입니다.

이번 블로그 글은 빅데이터의 등장 배경에 대한 내용 입니다.

 

빅데이터가 대두된

첫번째 기술적 배경은 바로 컴퓨터 연산처리 속도의 증가라 볼 수 있습니다.

 

컴퓨터의 속도는 매우 빠르게 발전해왔는데요

이를 극명하게 보여주는 것이 바로 무어의 법칙입니다. 무어의 법칙은 인텔사의 고든 무어가 실리콘 칩 기술의 혁신 속도를 예측한데서 유래한 법칙입니다.

고든 무어는 1065년 일렉트로닉스 매거진이라는 전문잡지에서 동일한 크기의 실리콘칩에 담기는 트랜지스터의 수는 1년6개월만에 2배씩 증가하며 가격은 절반으로 떨어진다는 취지로 발언했습니다.

이 발언은 나중에 18~24개월을 주기로 반도체 메모리칩의 성능, 즉 RAM의 용량이나 CPU의 속도가 2배씩 증가한다는 무어의 법칙으로 정립되었습니다.

아래 그림의 그래프는 반도체 직접회로 트랜지스터 수를 정리한 것으로 24개월마다 2배씩 증가함을 볼 수 있습니다.

무어의 법칙

 

무어의 법칙은 근 50여년간 지켜졌으며 반도체 성능이 기하급수적으로 향상되어 왔음을 알 수 있습니다.

마이크로칩의 크기를 줄일 수 있는 기술이나 비용적인 측면에서 기술적인 진보가 기존의 성장성보다는 정체되어

2016년 반도체 업체가 무어의 법칙을 공식적으로 포기선언을 하는 등

그 위상이 흔들리고 있지만 오늘날 정보혁명의 기틀을 가져온 컴퓨팅을 저렴하게 만든 주요한 법칙임은 분명합니다.

 

빅데이터의 등장 배경

두번째는 테이터 저장 및 처리비용 감소입니다.

 

컴퓨터의 역사를 보면 데이터 저장 및 처리 비용은 기하급수적으로 감소해왔습니다.

주로 데이터를 저장하는데 활용되는 하드디스크를 예로 들면,

1기가 바이트당 하드디스크 가격이 1985년에는 4만달러(환율 1200원 환산, 4,800만원) 였지만 2017년에는 0.02달러에 이를 정도로 급속히 감소하였습니다.

이 속도는 반도체에 대한 무어의 법칙과 동일한 속도입니다.

가격 대비 용량만 증가한 것이 아니라 저장매체의 부피와 크기 또한 꾸준히 줄었습니다.

1956년 IBM 최초로 개발한 하드디스크 라맥은 가로1.5m, 세로 1.7m, 높이 0.7m의 크기에 무게는 무려 917kg 거의 1톤에 맞먹는 무게였습니다.

그러나 사용할 수 있는 용량은 5MB에 불과했었습니다.

1982년 히타치가 개발한 최초의 1.2기가바이트 하드디스크는 약 113kg이었습니다.

하지만 2021년 512기가바이트 마이크로 SD카드의 무게는 0.5g 수준에 불과합니다.

이렇듯 기술의 발전으로 인해 무게는 무게와 크기는 감소하였고 가격 또한 혁신적으로 낮아지게 되었습니다.

 

 

세번째는  센서기술의 발전 입니다.

 

센서란 일반적으로 측정 대상물을 감지 또는 측정해 그것을 전기적인 신호로 변환하는 장치를 말합니다.

우리가 평소에 사용하는 휴대전화에도 다양한 센서가 설치되어 있습니다.

휴대폰을 만졌을 때 이를 인식하는 터치스크린, 위치와 운동을 감지하는 회전 인식 기능과 가속계, 통화할 때 스마트폰 화면이 자동으로 어두워지는데 활용되는 적외선 근접센서 등이 바로 이러한 예입니다.

센서 기술의 발전은 1970년대 산업 자동화로부터 시작되었는데

제조업에서 생산과정의 효율을 개선하기 위해 중앙제어실에서

각 작업장의 위치/온도/압력등 다양한 매개변수를 제어하고자 했고 이는 센서 기술의 개발을 불러왔습니다.

이렇게 지속적으로 발전되던 센서기술은 스마트폰과 자동차로 인해 급격히 발전하였는데요.

초창기 핸드폰에는 이미지 센서와 마이크로폰 2개의 센서만 존재했지만

2020년대에 판매되는 스마트폰에는 10여종의 센서가 포함되었고 또한 자동차에도 온도, 배기가스를 측정하는 재래식 센서부터 가속도, 빛, 충돌방지, 자율주행 감지 센서 등 다양한 센서들이 도입되고 있습니다.

이런 센서기술의 발전으로 인해 평균적으로 차량에는 센서는 30여종 200개 이상의 센서가 부착되고 있습니다.

 

이처럼 센서의 수요가 늘고, 기술개발이 지속됨에 따라서 가격 또한 급격하게 낮아지기 시작했습니다.

멤스라고 불리는 미세전자기계시스템은 사물의 움직임이나 가속도 등을 파악하는데 활용되는데 기술의 발전으로 인해 2010년 중반부터 5년간 80~90% 가량 낮아졌고

RFID센서 가격도 개당 10센트 수준까지 떨어졌습니다.

정보를 감지하는 센서 장비의 이용이 확대되고 이러한 정보들을 수집하고 정리하는 컴퓨팅 기술의 확산은

제조 및 물류 뿐만 아니라 개별 소비자들의 개인정보 및 소비행태와 같은 일상에 대한 기록에도 센서를 활용해 기록을 할 수 있게 하였고

데이터의 대폭적인 증가와 빅데이터 시대의 도래를 가능하게 했습니다.

 

마지막은 데이터 처리 기술 발전입니다.

 

하드웨어적인 성장과 더불어 소프트웨어적인 발전도 빅데이터의 등장에 큰 역할을 하였습니다.

하둡으로 대변되는 ‘분산처리기술＇이 발전이 바로 그것이었는데요.

하둡은 대용량 웹 데이터를 효율적으로 처리하기 위해 고안된 오픈소스 프로그램입니다.

이 프로그램은 분산 컴퓨팅 환경에서 대량의 데이터를 처리할 수 있습니다.

즉, 대용량 데이터 처리 분석을 위한 대규모 분산 컴퓨팅 지원 프레임 워크로서 여러 개의 컴퓨터를 마치 하나인 것 처럼 활용할 수 있게 해줍니다.

기존에는 슈퍼컴퓨터를 활용해도 분석하기 어려웠던 데이터도 하둡을 활용한다면 실시간으로 처리 가능하게 되었습니다. 예를 들면 1990년대 초에는 수천장의 이미지 검색만 가능했으나, 2020년에는 1초당 1억장 수준의 이미지를 검색할 수 있게 되었습니다.