AI 도입 막는 ‘데이터 문제’ 7가지 징후…기업은 왜 준비되지 않았나

AI는 방대한 양의 정확한 데이터에 접근할 수 없다면 아무런 의미가 없다. 하지만 현실에서는 많은 기업이 AI 애플리케이션에 활용하기 어려운 방식으로 저장된 데이터를 떠안고 있는 상황이다.

글로벌 컨설팅 기업 EY의 세무 기술 및 혁신 리더 대런 캠벨은 “AI 데이터 비호환성 문제는 AI에 적극 투자하는 조직에서도 광범위하게 나타나고 있다”고 지적했다.

이어 “생성형 AI와 에이전틱 AI 도입은 빠르게 확대되고 있지만, 이를 효과적으로 확장할 수 있는 데이터 성숙도를 갖춘 조직은 극히 일부에 불과하다”며 “이로 인해 많은 기업이 AI 활동을 진행하고도 지속적인 비즈니스 성과로 이어지지 않는 상황이 발생하고 있다. 기술 도입 의지가 데이터 기반보다 앞서 나가고 있기 때문”이라고 설명했다.

부정확하거나 결함이 있거나, 혹은 오래된 데이터가 기업의 생산성을 저해하고 있는 것은 아닐까. 조직이 데이터 체계를 재정비해야 할 필요성을 보여주는 7가지 핵심 신호를 살펴본다.

신호 1 의사결정 아닌 규제 대응 중심의 데이터 전략

AI에 적합하지 않은 데이터는 오랜 기간 누적된 사일로 시스템, 일관성 없는 표준, 취약한 데이터 거버넌스에서 비롯되는 경우가 많다.

EY의 세무 기술 및 혁신 리더 대런 캠벨은 “현재 기업 데이터의 상당수는 학습이나 자동화, 실시간 의사결정이 아닌 규제 준수와 정적 보고를 위해 설계됐다”며 “관리되지 않는 비정형 데이터, 메타데이터 부족, 불명확한 데이터 소유권, 제한적인 추적성 등이 복합적으로 작용하면서 AI가 데이터를 신뢰성 있게 해석하기 어려운 환경이 만들어진다”고 설명했다.

이어 “생성형 AI와 에이전틱 AI는 빠르게 확산되고 있지만, 이를 효과적으로 확장할 수 있는 데이터 성숙도를 갖춘 조직은 극히 일부에 불과하다”며 “많은 기업이 AI 활동을 추진하면서도 지속적인 비즈니스 성과를 내지 못하는 이유는, 기술 도입 속도가 데이터 기반 구축을 앞서고 있기 때문”이라고 덧붙였다.

신호 2 데이터 관리 역량 부족

금융 서비스 기업 캐피털원(Capital One)의 수석 엔지니어 데이비드 하모니는 데이터 관리 역량 부족 역시 주요 문제로 꼽았다. 특히 기존 환경에서 데이터를 제대로 활용하지 못하는 상황이 빈번하게 발생하고 있다는 설명이다.

하모니는 “데이터를 체계적으로 관리하는 것은 AI 활용을 위한 필수적인 초기 단계”라며 “데이터의 위치와 내용에 대해 비즈니스 리더가 항상 명확히 알고 있어야 한다”고 강조했다.

이어 “잘 관리된 데이터 전략이 없다면 AI 확산 속도에 맞춰 데이터를 효과적으로 활용하기 어렵다”고 말했다.

캐피털원은 이 문제를 해결하기 위해 클라우드 기반 데이터 생태계를 현대화하고, 데이터 발행과 활용, 거버넌스, 인프라 관리를 지원하는 엔터프라이즈 플랫폼 구축을 추진하고 있다. 이는 AI 프로젝트를 위한 체계적인 데이터 기반을 마련하기 위한 전략이다.

하모니는 “AI는 잘 관리된 데이터 기반 위에서 가장 높은 효과를 발휘한다”고 강조했다.

신호 3 작동하지 않는 데이터 거버넌스

테네시대학교 녹스빌 캠퍼스의 부총장 겸 AI 책임자 바실레이오스 마롤라스는 데이터 거버넌스가 제대로 작동하지 않는 경우를 대표적인 문제로 꼽았다. IT와 비즈니스 리더가 데이터의 위치와 소유권, 신뢰성을 명확히 설명하지 못한다면 해당 조직은 AI를 도입할 준비가 되어 있지 않다는 지적이다.

마롤라스는 “모든 분석 과정에서 수작업으로 데이터를 맞춰야 한다면, AI는 오히려 불일치를 더욱 확대할 것”이라며 경고했다.

그는 자연스럽게 확장된 시스템 구조, 부서 간 사일로, 일관성 없는 데이터 정의, 거버넌스 부재가 데이터 예측 가능성을 떨어뜨리는 주요 원인이라고 설명했다. 이어 “대부분의 기업은 예측이나 자동화를 위한 구조가 아니라 운영을 위한 인프라를 구축해 왔다”며 “AI는 이러한 구조적 격차를 그대로 드러낸다”고 분석했다.

데이터의 예측 가능성을 높이기 위해서는 거버넌스와 상호운용성에 집중해야 한다는 조언도 덧붙였다. 그는 “데이터 소유권을 명확히 정의하고, 용어를 표준화하며, 데이터 파이프라인을 체계적으로 현대화해야 한다”고 강조했다.

신호 4 현장에서 외면받는 BI 체계

리서치·자문 기업 ISG의 AI 및 데이터 엔지니어링 기술 책임자 올가 쿠프리야노바는 BI(비즈니스 인텔리전스) 활용도가 낮은 상황 역시 데이터가 AI에 적합하지 않다는 신호라고 지적했다.

쿠프리야노바는 “BI는 기업 데이터의 실효성을 검증하는 시험대”라며 “AI와 BI는 사실상 떼려야 뗄 수 없는 관계”라고 설명했다.

BI 성능이 기대에 미치지 못하면 사용자들은 기다리지 않고 우회로를 찾는다. 쿠프리야노바는 “사용자들은 데이터를 외부로 추출해 자체 모델을 만들고, 로컬 정의를 생성하거나 스프레드시트와 맞춤형 분석 도구에 자체 비즈니스 로직을 하드코딩한다”고 설명했다.

이 과정에서 비공식적인 데이터 의미 계층이 점점 늘어나지만, 이러한 정보는 기업의 중앙 데이터 웨어하우스로 다시 반영되지 않는다. 그는 “이것이 가장 큰 위험 요소로, 겉으로는 문제가 없어 보이게 만드는 ‘착시 효과’를 만든다”고 지적했다.

겉으로는 보고서가 생성되고 의사결정이 이뤄지고 있기 때문에 데이터에 문제가 없는 것처럼 보일 수 있다. 그러나 실제로는 사용자들이 핵심 데이터 플랫폼을 더 이상 신뢰하지 않고, IT 부서에 도움을 요청하지 않는 상황이 벌어지고 있다는 설명이다.

신호 5 비즈니스 성과와 연결되지 않는 데이터

기술 자문 기업 컨센트릭스(Concentrix)의 에이전틱 솔루션 책임자 가이 부르고는 AI 결과 품질 저하 역시 데이터 문제의 중요한 신호라고 강조했다.

부르고는 “AI 시스템이 일관성이 없거나 오래된 정보, 혹은 기대와 어긋나는 답변을 내놓기 시작한다면 이는 데이터가 AI와 맞지 않는다는 명확한 신호”라며 “이러한 오류는 대부분 의도적으로 관리되거나 거버넌스가 적용되지 않은 지식 소스에서 비롯된다”고 설명했다.

또한 “보유한 데이터와 AI가 만들어야 할 비즈니스 성과 간 연결성을 명확히 설명하기 어려워지는 순간이 데이터 문제의 경고 신호”라며 “이 연결고리가 불분명하다면 데이터 기반이 대규모 AI 활용을 지원할 준비가 되어 있지 않다는 의미”라고 말했다.

그는 AI에 부적합한 데이터가 사람 중심으로 작성된 정보에서 비롯되는 경우가 많다고 지적했다. “많은 지식 기반 시스템은 사람이 직관적으로 맥락을 보완하거나 의사결정 흐름을 따라가는 것을 전제로 설계돼 있어, AI가 이를 정확히 이해하기 어렵다”고 설명했다.

이어 “접근 권한이 오래되거나 과도하게 넓어지면 AI가 원래 접근해서는 안 되는 정보까지 활용할 수 있어, 부정확하거나 위험한 결과를 초래할 수 있다”며 “시간이 지날수록 오래된 콘텐츠, 불명확한 구조, 느슨한 거버넌스가 결합되면서 AI가 해석하기 어려운 취약한 데이터 환경이 형성된다”고 덧붙였다.

신호 6 누적된 데이터 부채

뉴욕시립대학교 전문대학원 데이터사이언스 책임자 아서 오코너는 데이터 품질 문제에 대해 “대부분의 사람들은 이를 해결하기보다 불만을 제기하는 데 그친다”고 지적했다.

오코너는 “데이터 품질을 개선하려면 일관성 없는 데이터 형식, 누락된 값, 충돌하는 비즈니스 규칙, 서로 다른 인터페이스와 프로토콜 등 과거에 누적된 문제를 바로잡아야 한다”며 “이는 결국 그동안의 ‘편법’을 수정하는 작업과 같다”고 설명했다. 그러나 이러한 작업을 수행할 시간과 의지, 자원을 갖춘 조직은 많지 않다고 덧붙였다.

또한 데이터 부채는 단순한 기술적 문제가 아니라 조직적인 문제이기도 하다. 그는 “기업 전반에서 데이터셋이 제대로 검색되거나 관리되지 않는 가장 큰 이유는 IT 조직과 데이터 활용 부서 모두 데이터의 가치를 충분히 끌어내기 위한 자원과 인센티브를 갖추지 못했기 때문”이라고 분석했다.

이어 “데이터 사용자들은 정확하고 정제된 데이터를 원하지만, 실제 데이터 소유자는 이를 유지할 예산이나 재정적 동기, 조직 내 권한을 갖추지 못한 경우가 많다”고 말했다.

오코너는 “AI는 매력적이고 흥미로운 기술이지만, 데이터 거버넌스는 반복적이고 지루하며 고통스러운 작업으로 인식되는 것이 근본적인 문제”라고 지적했다.

신호 7 기본 분석조차 어려운 환경

아이즈너 어드바이저리 그룹(Eisner Advisory Group)의 AI 자문 서비스 책임자 젠 클라크는 기본적인 데이터 분석 역량 자체가 중요한 경고 신호라고 강조했다.

클라크는 “표준 보고서나 분석 작업이 어렵고, 조직 간 협업과 자원을 동원해야만 전체 상황을 파악할 수 있다면 AI는 문제를 해결하기보다 오히려 더 키울 것”이라며 “데이터가 사일로에 갇혀 있고 통합 경로가 명확하지 않다면, AI가 실질적인 가치를 제공하기 전에 기반 작업이 필요하다”고 설명했다.

이어 “데이터는 현실 세계를 반영하며, 현실은 본질적으로 복잡하다”며 “완벽하게 정제된 상태로 AI에 적용되는 경우는 거의 없고 항상 일정 수준의 절충이 필요하다”고 말했다.

클라크는 “중요한 것은 데이터가 완벽한지 여부가 아니라, 이러한 불완전성을 고려하면서도 의미 있는 결과를 만들어낼 수 있도록 범위를 설정하는 것”이라고 덧붙였다. dl-ciokorea@foundryco.com