밑바닥부터 알려주는 데이터 산업 이야기

평소 빅데이터 분야 쪽에 관심이 많았고 좋은 기회로 데이터 산업과 관련한 세미나를 들을 수 있게 되어서 이를 기록하고자 작성하는 글입니다 :)

먼저 간략히 데이터 역사의 흐름? 을 설명하자면

1. 아날로그에서 디지털로 넘어가면서 생긴 메모리 개발

2. 데이터베이스

3. 인터넷 (정보 공유의 시대)

4. 브라우저

5. 포탈 업체의 등장

6. 원하는 정보를 얻을 수 있는 검색 엔진 서비스

7. 데이터 산업(빅데이터, AI) 의 시작 + 클라우드 시장

8. 앞으로는?? AI 산업의 시작

데이터 산업의 밑바탕이 되어주는 데이터 어떻게 기록하고 표현할 수 있을까?

바로 메모리! 의 등장

기존 아날로그 시대에서는 연필?로서 글을 작성해 종이에 기록하고 표현하였습니다. 하지만 컴퓨터가 등장하면서 디지털를 이용해 정보를 기록하고 표현할 수 있게 되었고 (참고로 이렇게 정보를 기록하고 표현하는 것을 데이터라고 합니다) 점점 이러한 데이터 수요가 증가하면서 메모리 하드웨어의 개발과 더불어 기술의 발전이 이뤄졌습니다.

하지만 문제점이 있었는데... 바로 메모리 용량 제한과 컴퓨터 전원이 꺼지면 정보도 사라진다는 점입니다.

이를 해결하고자 아래 그림과 같이 시도를 하였습니다.

위와 같이 메모리의 문제점이 해결되면서 데이터가 많이 사용되면서 이를 효율적으로 처리하기 위한 데이터베이스가 등장하게 되었습니다. 현재 데이터베이스 산업은 관심이 많이 사라졌는데 그 이유는 CPU, 메모리 속도로 인해 데이터베이스 의존도가 낮아졌기 때문입니다.

데이터베이스를 사용하는 소규모 조직들이 생기면서 Client Server Model 이라는 기술이 생기게 되었습니다.

시간이 흐르면서 클라이언트 서버 모델에서 데이터 공유라는 개념이 생기게 되었고 데이터의 공유가 더욱 활성화되기 시작하면서 FTP, 텔넷과 같은 인터넷이 등장하게 되었습니다!

하지만 인터넷 환경에서는 문제점이 있었습니다.

그래서 이러한 문제점을 해결하기 위해 표준을 정하기로 하였고 브라우저가 탄생하게 되었습니다.

브라우저는 70년대 초반 대형 컴퓨터의 터미널 에뮬레이터라는 컨셉으로 인터넷 공유를 보다 효율적으로 할 수 있게 되었고 TCP/IP를 이용해 표현방식 표준화를 성공적으로 도입하게 되었습니다.

성공적인 데이터 공유로서 그 공유의 속도는 시간이 흐를수록 빨라졌고 정보가 쌓이면서 해당 정보를 어떻게 보여줄까? 라는 생각에서 포탈 업체가 등장하게 되었습니다.

게다가 당시 정보의 중요성은 낮았기 때문에 언론사에서 최신 정보들을 공짜로 제공해주기까지 했습니다. 덕분에 포탈 업체는 빠르게 성장해나갈 수 있었고 현재 구글에서 유튜브, 인스타그램과 같이 개인 정보를 수집하며 맞춤형 광고를 해나가며 포탈업체는 상상도 못할 정보의 이득을 취할 수 있었습니다.