Capitalizing on big data (KOR)

Stephen H. Yu
The author is CEO of Willow Data Strategy.

Big data is nothing new. Many have worked in the field, extracting value from free data. People working in IT enterprises like Google and Amazon, whose primary business is based on information and statistical power, hardly refer to the term.

The word “big” can be misleading in many ways. When the term was first used, “big” was added to differentiate in terms of the volume, velocity and variety in data discovery, analytics and application from general data. But that technical definition can also be misunderstood in that data needs to be in bulk and be diverse to be valuable. Software companies did not mean to emphasize that data needs to be “big” or that they were capable of processing information regardless of the bulky size.

To highlight the size in data would be like citing Korea’s annual crop yield in front of a starving person. Data in pieces actually can be more meaningful to the user. Weather forecast, for example, is the result of analytical work of enormous data. What the user requires are the chances of rain the following day, not the entire data storage on weather.

An information supplier will continue to invest in data when it helps increase its revenue or saves costs. A business would gain nothing if it merely adopts data processing just because it is fashionable. Data storage and analytics must serve to achieve a business goal. Data won’t provide any answers just because it is there.

Gold-mining does not immediately produce commercial value like a gold watch. Data, too, must be processed to add value. Many organizations are devoted to collecting data and delivering it to users. But that’s just a small part of data processing.

So what is useful data? First, it must be simple and easy to understand. Second, the user needs concise answers to questions. Third, the information must be consistently correct and useful. Fourth, the information must be applicable broadly and not in restricted cases. Fifth, the information must be available and accessible whenever the user seeks it.

Many ask me how big data has helped my business as I have been working with data for over 30 years. The work of collecting and processing enormous amounts of data requires great investment and efforts. Like any business, big data usage must have a precise goal if it is intended for business. If the question is not precise, there is no answer.

빅 데이터로 재미 좀 보셨습니까? 유혁
돌이켜보면 빅 데이터란 말이 유행하기 시작한 지도 꽤 오래 되었다. 사실 늘 데이터를 다루며 그것으로 가치를 창출하는 작업을 오랫동안 해 온 사람들에게는 그건 애초부터 적절하지 않은 표현이었다. 데이터를 주 기반으로 하는 구글이나 아마존 같은 거대기업들은 그런 말을 쓰지도 않는다.
우선 그 “빅”이라는 단어에 많은 오해의 소지가 있다. 처음 빅 데이터란 말이 쓰이기 시작했을 때에는 많은 이들이 그것을 3V, 즉 Volume(크기), Velocity(속도), Variety(다양성)로 정의하곤 했는데, 그런 기술적 정의도 다양하고 방대한 양의 데이터가 빨리 돌아 다니기만 하면 가치가 창출된다는 오해를 낳아서 바람직하지 않다. 그 광고적 표현을 만들어낸 소프트웨어 회사들의 의도도 “이제는 아주 방대한 데이터도 처리할 수 있다”이지 “데이터는 커야만 한다”가 아니었다.
데이터의 크기만 강조하는 것은 마치 따뜻한 밥 한 공기를 원하는 배고픈 사람 앞에서 대한민국 1년 쌀 수확량이 얼마냐는 통계나 나열하는 형국이다. 실상 데이터는 작아질수록 사용자에게 가치가 있는 법이다. 예를 들어 우리가 매일 접하는 일기예보도 엄청난 양의 데이터를 분석한 결과물이다. 사용자들이 원하는 것은 “내일 오후에 비가 올 확률은 70%입니다”같이 작으면서도 쓸모 있는 정보이지 그들은 결코 수집된 데이터 전체를 원하는 것도 아니고 미래를 예측하는 모델링 과정을 알고 싶어하는 것도 아니다.
정보 공급자 입장에서 보면 빅 데이터를 취미로 하는 것이 아니라면 연관된 모든 노력의 결과로 매출향상이나 비용절감 등 구체적인 성과가 있어야 거기에 대한 지속적 투자가 이어지게 된다. 그냥 남들이 하니까 프로젝트의 방향도 제대로 정해지지 않은 상태에서 뛰어들면 본전도 못 건지는 경우가 대부분이다. 즉 데이터 수집이나 분석은 사업목적을 달성하는데 필요해서 하는 것이지 데이터를 오래 가지고 놀다 보면 무슨 대답이 저절로 나오는 게 아니란 말이다.
광산에서 금을 캐었다고 금시계가 저절로 생기는 게 아니듯이 데이터도 가공이 되어야 가치를 지니게 된다. 많은 조직들은 데이터를 수집하고 그 정보를 그대로 사용자에게 전달하는 데에 대부분의 시간과 노력을 들이고 있는데, 정작 그것은 긴 데이터 여정의 시작과 끝일 뿐이다. 그 중간 과정으로 데이터를 수정, 재구성하고 예측적 분석으로 빈 곳을 메워주는 보완작업까지 마쳐야 비로소 쓸모가 있는 정보가 만들어지는 것이다.
아무도 쓰지 않는 데이터는 분명 쓸모 없는 것이니 사용자의 관점에서 유용한 정보를 정의해 보겠다. 첫째, 그것은 전문지식 없이도 쉽게 이해할 수 있는 것이며, 둘째, 산더미 같은 데이터가 아니라 즉시 사용가능 한 질문에 대한 작은 답들이고, 셋째, 일관되게 정확하여 늘 효과적으로 쓸 수 있는 도구이며, 넷째, 한정된 경우에만 적용되는 것이 아니라 대부분의 경우에 도움이 되는 것, 그리고 다섯째, 사용자가 선호하는 채널과 기기를 통해 언제 어디서나 접근 가능한 것이어야 한다. 그리고 이런 조건들은 그 “빅”이란 단어와는 별 상관이 없다.
데이터로 경제적 가치를 창출하는 일을 30년 넘게 도와온 사람으로서 요즘 자주 하는 질문은 “빅 데이터로 재미 좀 보셨습니까?”이다. 엄청난 양의 데이터를 수집, 가공하여 사용자에게 도움을 주는 과정은 많은 노력과 투자를 필요로 하며, 모든 사업이 그렇듯이 분명한 목적을 가지고 시작해야 한다. 명확하지 않은 질문에는 답도 없는 법이기 때문이다.