앞서 빅 데이터 기술이 나왔고, 이제 블록체인 기술이 등장했습니다. 그렇다면 이 두 혁신적 기술이 합해지면 어떤 결과가 나올까요?

블록체인은 트랜잭션을 기록하는 분산 원장으로, 모든 네트워크 참여자가 트랜잭션의 유효성을 검사해, 저장된 데이터의 변경 및 위조를 불가능하게 합니다.

암호화폐와 블록체인 기술을 이용한 다른 응용 프로그램들이 점점 주류로 올라서면서, 다양한 원장에 저장된 트랜잭션 데이터 또한 규모가 엄청나게 커지고 있습니다. 이런 방대한 데이터를 AWS나 Azure 같은 기존의 클라우드 스토리지 제공업체에 저장한다는 것은 상당한 비용을 초래할 수 있습니다. 하지만 Storj에서 출시한 파일럿 프로젝트나 기타 분산형 데이터 스토리지 제공업체를 통하면 AWS에 비해 90%의 비용 절감 효과가 있음이 나타났습니다.

일본의 경우, 약 50개 은행의 컨소시엄이 시가총액 3위인 오픈 소스 블록체인 네트워크 리플과 제휴하고 있습니다. 블록체인 기술을 사용해 저비용으로 무위험 트랜잭션을 빠르게 수행할 수 있게 된 것입니다. 기존의 금융 거래에는 많은 위험 (및 위험 확인)이 수반되기 때문에 그에 따른 비용도 많이 들었습니다. 하지만 리플을 통해 (이중 지출을 비롯한) 여러 위험 요소를 전부 차단함으로써, 트랜잭션 처리 시간을 크게 줄이고, 관련 비용도 거의 0까지 줄일 수 있었습니다.

블록체인과 빅 데이터 결합: 새로운 수준의 데이터 분석

블록체인을 사용하면 빅 데이터 분석 프로세스에 또 다른 데이터 계층이 추가됩니다. 가장 중요한 점은 이 데이터 계층이 빅 데이터 분석에 필요한 두 가지 주요 요구사항에
부응한다는 것입니다.

1. 블록체인으로 생성된 빅 데이터는 안전합니다. 네트워크 아키텍처로 인해 위조될 수 없기 때문입니다.

2. 블록체인 기반 빅 데이터는 가치가 있습니다. 구조화되고 풍부하며 완벽하기 때문이며, 추가 분석을 위한 완벽한 자원이 됩니다.

원장에 저장될 데이터는 에너지 거래, 부동산 및 기타 다양한 부문과 관련 될 수 있습니다. 그렇게 디면 여러 빅 데이터 분석 기능이 개선될 것입니다. 예를 들어, 금융 기관이 블록체인 기술을 받아들여 모든 트랜잭션을 실시간으로 확인하게 되면, 사기가 사전에 방지될 것입니다. 따라서 금융 기관은 기존처럼 이미 발생한 사기 기록을 분석하는 대신, 위험하거나 사기성이 있는 트랜잭션을 즉시 파악하고 사기를 원천적으로 방지할 수 있습니다.

빅 데이터는 엄청난 수익을 창출하는 사업으로, 2020년 2,030억 달러의 매출이 예상되고 있습니다. 게다가 2030년, 블록체인 원장에 저장된 데이터가 세계 빅 데이터 시장에서 차지하는 비중이 20%만 되어도, 연간 1,000억 달러의 수익을 창출하게 될 것입니다.

빅 데이터와 블록체인의 결합

블록체인과 빅 데이터는 천생연분입니다. 여기서 진짜 질문은 분산되고 투명하며, 변경할 수 없는 블록체인 위에 가장 적합하고 가장 제대로 된 AI/기계학습 플랫폼 누가 먼저 내놓게 될 것인가 입니다. 그렇게 되면 엄청난 투자 자금이 밀려들어올 것이고, 거대한 수익을 창출하게 될 것입니다.

세계 상위 50곳의 광산 업체의 가치는 총 약 7,000억 달러에 이릅니다. 따라서 이를 기준으로 할 때, 블록체인으로 움직이는 빅 데이터 마이닝 플랫폼의 시가 총액은 의심의 여지없이 수조 달러에 달할 것입니다.

<출처: Towards Data Science, “Blockchain and Big Data: the match made in heavens”>