[개념쌓기]ElasticSearch ,데이터 사이언스

노력은 성공의 필요조건이나 충분조건은 아니다
노력조차 하지 않는다면 기회조차 없다

 

  4차 산업혁명

으로 인해 초연결성/초지능화의 특성을 지니게 되었으며

사물 인터넷(IoT) 및 클라우드 등 정보통신기술(ICT)를 통해 인간과 인간,사물과 사물,인간과 사물이 상호 연결됐다.

빅데이터/인공지능 등으로 지능화된 사회로 변화가 이루어졌다.

 

 데이터와 가치

 - 빅데이터 시대의 데이터 가치

      : 빅데이터 시대에는 대량의 정보 속에서 사회를 발전시킬 중요한 가치의 지식을 찾아내 의사 결정 단계에서

      적시 적소에 활용하는 것이 중요

     

       : 중요한 정보를 관계형 DB 기반 체계적인 관리에서 빅데이터를 저장하고 처리하고 활용할 수 있는 기술로 발전된다

       

       : 현 프로젝트(HomecomingDay)에 사용할 ELK 스택을 사용시,효율적 활용 및 분석이 가능해진다

 

최근에는 기계학습과 딥러닝 기법을 적용해 혁신을 통한 가치 창출이 이어지고 있다.

 

 

본격적으로 빅데이터 시대가 도래하면서,RDMS에서 NoSQL로 이관되고 있다

      - 같이 알아두면 좋은 것들 =>R(통계언어)/Python 등

    

  그렇다면 빅데이터란 무엇일까?

빅데이터란 거대한 규모/양(volume),빠른 속도(velocity),높은 다양성(variety)을 특징으로 하는 데이터이다.

3V라고도 불리며, 요약하자면 빅데이터는 새로운 데이터 소스에서 나온 더 크고 복잡한 데이터 세트이다

 

=> 높은 비용 효율을 요구하고 방대하며,빠르고 다양한 형태의 정보자산

 

  빅 데이터의 이점

   : 더 많은 정보를 확보할수 있기에 보다 완벽한 답을 얻을 수 있다.

   : 답이 완벽하다는 것은 데이터 신뢰성이 높아진다는 의미이다.

     따라서 문제 해결에 대한 완전히 다른 접근 방식이 가능해진다

 

  빅 데이터 사용 사례

- 제품 개발

- 예측적 유지 보수

- 고객 경험

- 사기 및 규정 준수

- 운영 효율성

- 혁신 주도

 

  데이터 사이언스/빅데이터/데이터 분석에 대한 요약

  데이터 사이언스?

 그게뭔데 씹덕아라고 선임한테 할수있다면 공부 안ㅎ

-  데이터 마이닝(Data Mining)과 유사

                             - 데이터 마이닝 : 데이터를 탐색/분석해 의미있는 패턴/규칙을 발견하는 것

 

- 정형 및 비정형 형태를 포함한 다양한 데이터로부터 지식과 인사이트를 추출해 과학적인 방법론/프로세스/알고리즘 시스템을 동원하는 융합분야를 말함

 

- 데이터 사이언스 작업 흐름도

   : 데이터를 수집하고 이해하는 과정/ 추상화하는 과정을 거쳐 최종 산출물로 흘러간다

   : 사람이 최종 소비자가 되는 보고서/대쉬보드 기반과 기계가 최종 소비자가 되는 API/코드 형태로 최종작업이 이뤄짐

        : 데이터를 분석하는 이유는 특정 현상을 통해 예측을 하기 위함이다

 

  - 데이터 관리

         : 빅데이터 수집/저장/분석/가시화 관리 메커니즘 정리

- 데이터 관리 목표

         : 관리를 통한 지능 자동화를 목표로 한다

 

- 데이터 사이언스 요소 기술

        : 빅데이터 요소 기술 구성 및 분류 정리

 

  결론

데이터 사이언스는 정형/비정형 형태를 포함한 다양한 데이터로부터 지식과 인사이트를 추출해 과학적 방법론/프로세스/알고리즘/시스템을 동원하는 융합분야이다.

 

데이터 분석이란 데이터로부터 의사결정을 위해 데이터를 모으고,변환하고,분류하며 찾아낸 특징들을 한눈에 파악 가능 하도록 시각적인 표현을 해주는 모든 행위이다

                 

참고자료 : 

https://www.kyeonggi.com/article/202110251178151

https://djlee118.tistory.com/46?category=905475 

https://www.tibco.com/ko/reference-center/what-is-data-mining

https://www.oracle.com/kr/big-data/what-is-big-data/