빅데이터 처리, 소프트웨어가 해답
빅데이터 처리, 소프트웨어가 해답
  • 박인교 기자
  • 승인 2019.10.16 11:19
  • 댓글 0
이 기사를 공유합니다

[공학저널 박인교 기자] 세계 어느 곳에서나 누구든 IT 기기를 이용한다. 사진, 음악, 동영상 등의 데이터가 과거에는 미처 생각지도 못한 규모로 생성되고 동시에 처리되고 있다.

빅데이터는 다양한 산업 분야에서 활용되고 있으며, 매시간 발생하는 데이터 생성 양은 매우 폭발적이다. 이에 따라 초대용량으로 생성되는 데이터를 적절하게 가공하고 분석을 지원하는 빅데이터 처리 기술은 빅데이터 산업에 매우 중요한 부분으로 자리 잡고 있다.

데이터의 종류 또한 무척 다양해졌다. 과거에는 데이터 종류와 특성을 정해 놓고 처리(정형 데이터 처리)했다면 빅데이터 시대에는 글, 사진, 음악, 동영상 등과 같이 다양한 데이터(비정형 데이터 처리)를 통합적으로 다루고 있다.

이처럼 다양한 형태의 초대용량 데이터를 처리하기 위해서는 효율적인 데이터 처리 기술이 필요하다. 바로 ‘빅데이터 처리 기술’이다.

이 과정에서 발생하는 공학적 문제들이 그 해결 방법론은 간단한 것에 비해, 실제로 구현을 하는 데에 있어서는 고도화된 컴퓨터 프로그래밍 지식을 요구하는 경우가 많다.

특히 많은 양의 데이터를 처리해야 하는 경우나, 반복적으로 많게는 수억, 적게는 수만 번의 연산을 수행해야 하는 경우에는 컴퓨터 프로그래머에게도 벅찬 일이다.

소프트웨어 최적화라고 하면 보통 병렬화 등의 기법을 적용해 작업 처리속도를 향상시키는 것을 떠올릴 것이다. 이러한 기법들은 복잡한 컴퓨터 기술을 필요로 한다.

능력 있는 컴퓨터 전문가가 코드를 직접 분석하며 업그레이드 하는 기존의 방식이 정적인 최적화라면, 동적 최적화는 복잡한 컴퓨터 지식 없이도, 기존의 소스 코드를 그대로 사용해 연산 처리 속도를 빠르게 만들어주는 최적화 기술을 말한다.

지금까지는 빅데이터를 저장하고 분산하는 하드웨어와 관련한 기술들이 주목을 받았다면, 최근 이러한 데이터를 제대로 처리하고 분석할 수 있는 소프트웨어 기술이 각광받고 있다.

국내에서 이러한 동적 최적화 기술을 보유하고 있는 (주)노트스퀘어는 2017년 ‘국토교통 빅데이터 해커톤’에서 대상을 수상하고, 동적 최적화와 관련한 특허를 취득하는 등 빅데이터 처리에 있어 최고 수준의 기술력을 자랑한다.

설립 이후 기상, 농업, 환경, 교통 등 다양한 분야 연구소‧기관과 협업을 진행하며 기술력과 노하우를 견고히 다져왔다.

특히 데이터의 종류가 무한히 생성되고 있는 현재 시점에서 노트스퀘어는 간단한 컴퓨터 지식만으로도 쉽게 필요한 데이터 처리‧분석을 할 수 있을 만큼 데이터 가공 기술의 접근성이 높은 기술력을 보유하고 있다.

현재 빅데이터 처리 과정은 몇 단계의 가공을 거치게 된다. 하지만 노트스퀘어 이준혁 대표이사(사진)는 누구나 쉽게 빅데이터를 다룰 수 있도록 변화해야 한다고 강조한다.

이 대표는 “지난 3년 간 다양한 학문 분야의 어려운 문제들을 해결해 오면서 많은 이들이 소프트웨어 최적화의 필요성에 대해 공감하고 응원해 주고 있다”며 “저희가 가지고 있는 동적 최적화 기술을 더욱 많은 사람들이 사용할 수 있도록, 더 쉽고 빠르게 만들기 위해 노력할 것”이라고 전했다.

그는 이어 “특허 받은 기법을 도입해 수십 배 수준으로 연산 처리가 빨라지는 것을 확인했다. 앞으로는 사람의 도움 없이 완전한 자동으로 최적화할 수 있는 솔루션을 개발하는 것이 목표”라고 덧붙였다.


댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.