Когда я посещаю доктора, то в комнате ожидания заполняю регистрационный лист. Я записываю свое имя, имя моего врача, время прибытия, и присаживаюсь. Регистрационный лист используется сотрудниками, чтобы найти мои записи и подготовить врача к визиту. Когда я вхожу в кабинет, мое имя и время прибытия вычеркиваются в регистрационном листе.
Регистрационный лист представляет собой небольшую систему, целью которой является обеспечение порядка обслуживания пациентов и предоставление информации работникам рецепции для ведения учета. Эта система сохраняет очень мало данных: дата, время прибытия, имя пациента и имя врача.
Я не знаю, что они делают с этими листами. Они могут сохранять их для исторической справки, или просто выбрасывать. Одно можно сказать наверняка, эти данные несут в себе больше информации, чем предполагают их разработчики.
Например, они могут определить, какой врач в клинике является наиболее посещаемым по понедельникам, показать время суток, в которое пациенты чаще всего приходят вовремя, и время суток, в которое пациенты зачастую опаздывают. По ним можно было бы узнать о наиболее насыщенных днях недели. Как и многие системы сбора данных, данная система может предоставить информацию, выходящую за рамки первоначальных целей. Полученных выводов как минимум четыре.
- Данные, собранные для одной цели, могут быть использованы для других.
- В работе с большими объемами данных, доступ к исходным данным становится сложнее.
- Получение доступа к управлению данными всегда предполагает некоторые разногласия.
- Поставщики и пользователи часто имеют противоречивые требования к данным.
Данные, собранные для одной цели могут быть использованы для других.
Набор данных, собранных и сохраняемых для одной цели, в конечном итоге будет использоваться для других целей. Чаще всего это актуально для вопросов о данных, следующего типа: "Интересно, как много ...." или "Интересно, как часто ..."
Помимо регистрационного листа, приведем примеры широко используемых больших систем. Это могут быть системы взаимоотношений с клиентами, системы планирования ресурсов предприятия, аналитика веб-сайта и управление электронной почтой. Как и регистрационный лист, каждая из этих систем имеет первоначальную цель, и в каждой содержатся большие объемы данных, с помощью которых возможно получение необходимой информации.
В работе с большими объемами данных, доступ к исходным данным становится сложнее.
Наиболее распространенной проблемой таких систем является доступ к исходным данным. Например, представьте себе организацию, которая использует имеющуюся на рынке, стандартную систему управления контактами. Как правило, эта система будет обеспечивать определенный уровень отчетности по данным, которыми она управляет и стандартный набор отчетов. Некоторые системы также предлагают определенное количество отчетов пользователей.
Полученный результат полезен, но почти всегда остаются вопросы, на которые не так просто дать ответ, имея фиксированный набор данных. Любопытным может стать, количество новых контактов зарегистрированных утром, по сравнению с числом новых контактов полученных во второй половине дня. Эти данные могут помочь подготовить сотрудников к работе или спланировать численность персонала. Однако, извлечение этой информации может быть сложным процессом. Квалификации обычного пользователя системы не всегда достаточно, для получения ответов на подобные вопросы.
Получение доступа к управлению данными всегда предполагает некоторые разногласия.
Для любой системы управления данными, есть некоторое количество разногласий в получении доступа к управлению. Эти разногласия могут принимать различные формы. Некоторые распространенные из них включают в себя: разногласия из-за отсутствия необходимых навыков; разногласия, создаваемые дублированием данных; разногласия в следствии технических барьеров системы, разногласия точки зрения.
Многим организациям, особенно мелким, просто не хватает работников, с соответствующими техническими навыками, необходимыми для извлечения данных из приложений, и их применения для дальнейшего анализа. Небольшая фирма, которая делает протезы, имеет квалифицированных сотрудников в области инструментов и методов протезирования, но она не может иметь высококвалифицированных специалистов баз данных или программного обеспечения.
Часто дефицит квалификации может быть преодолен использованием сотрудников, работающих по контракту или консультантов, обеспечивающих техническую поддержку со стороны поставщика системы или посредством специализированных тренингов для сотрудников.
Общая проблема дублирования данных работает следующим образом: большинство приложений имеют функции для экспорта данных. Так как приложение не обеспечивает все необходимые опции отчетности, данные должны быть экспортированы (перемещены) в другое приложение, которое может делать анализ.
Это включает в себя экспорт данных, импортирование их в другое приложение, и анализ. Работает прекрасно. В первые несколько десятков раз все довольны. Однако, вы скоро поймете, что этапы перемещения этих данных утомительны.
Поскольку запросы на анализ растут, некоторые работники выполняют всё больше и больше операций по перемещению данных. Анализ быстро становится устаревшим. Это означает, что анализ, сделаный в прошлом месяце, должен проводиться ежемесячно. Или еще лучше - ежедневно или даже, он должен быть доступным всегда в режиме реального времени. Это разногласия дублирования данных.
Одним из способов решения разногласия дублирования данных является автоматизация по возможности наибольшего количества шагов в этом процессе. Например, вы можете создать один скрипт для экспорта данных и другой - для импорта в приложение анализа. Когда вам необходимо выполнить анализ вы запускаете оба скрипта и тем сам упрощаете работу.
Другой способ решения дублирования данных - создание хранилища данных в определенное время, скажем, каждую ночь в полночь. Это хранилище может содержать копии всех данных в хост-системе, которая была преобразована, чтобы сделать их более адаптированными для дальнейшего анализа в других приложениях. Такой подход снимает некоторую часть утомительной работы перемещения данных, но не всю.
Решение проблемы дублирования данных может быть хрупким. Одно изменение в исходных данных, одно изменение в запрашиваемых данных или одно изменение в импорте данных для анализа с помощью программного обеспечения, и вы снова окажетесь с решением, которое всегда работает – ручная доработка.
Возможно, лучшее решение разногласий дублирования данных заключается в использовании приложения, которое может анализировать данные в исходной форме, минуя необходимость применения хрупких, клеевых решений, соединяющих одну систему с другой.
Это приводит к преодолению самых сложных проблем разногласия - технических барьеров приложений. Есть много способов для хранения данных: программы хранения данных в текстовых файлах, в двоичных файлах, в различных базах данных и запатентованных форматах. Разработчики этих программ создают баланс конкурирующих потребностей в хранении данных. Они учитывают скорость, эффективность, доступность, безопасность, стоимость и многие другие вопросы.
В конце концов, как пользователь приложения, вы часто не можете повлиять на эти решения. Но они влияют на ваши возможности извлечения необходимой информации из хранимых данных.
Поставщики и пользователи часто имеют противоречивые требования к данным.
Поставщик и пользователь приложения часто имеют противоречивые потребности в том, каким образом хранятся и управляются данные. Поставщик хочет сохранить данные в безопасности от потери или повреждения. Пользователь хочет полного и свободного доступа к данным. Поставщику может потребоваться использование сложных технологий хранения для повышения эффективности работы. Пользователь хочет простые, легкодоступные и понятные данные.
Идеальной является ситуация, когда приложение хранит данные во всем известной базе данных с обозначенными и понятными наименованиями таблиц и столбцов. Однако, не все поставщики приложений используют этот подход. В некоторых случаях, они могут использовать стандартную базу данных, но скрывать имена таблиц и столбцов, чтобы внешние пользователи имели меньше возможностей увидеть и тем самым использовать эти данные.
Рекомендации
Что все это значит, для принятия решения о том, какие приложения использовать и как это делать?
Рассматривайте данные в качестве ресурса, из которого может быть извлечена стоимость бизнеса. Создайте культуру в вашей организации в которой понятно значение собираемых данных. Поощряйте новый обзор всех данных, которые имеются на данный момент.
Станьте владельцем данных. Вы можете помещать данные в системы электронной коммерции, системы планирования ресурсов или системы взаимоотношений с клиентами. В любом случае, вы должны видеть вашу организацию в качестве владельца данных.
Если приложения, которое вы используете, создает разногласия в получении доступа к данным, другими словами, если они становятся владельцем данных, вы можете обратиться к поставщику, чтобы решить эту проблему или даже рассмотреть отказ в пользу того приложения, которое позволит легко извлекать данные.
При наличии большого количества информации, передаваемой в известном наборе данных на регулярной основе, продолжает возникать вопрос "какую ценность для бизнеса мы можем извлечь из этого?"
Ищите приложения, которые являются открытыми и имеют простой доступ к данным.
Ищите приложения, которые анализируют данные сразу же, из стандартных источников.
В то время как сбор и анализ данных в организациях становятся все сложнее, данные становятся все более полезными, но, в то же время, все труднее их получать. Изначальное понимание ценности данных поможет организациям планировать их длительное полезное использование, даже после того как первая цель достигнута.
Технические Советы
Системы сбора данных могут дать дополнительную информацию, выходящую за рамки первоначальных целей.
Выводы:
- Данные, собранные для одной цели могут быть использованы для других целей.
- В работе с большими объемами данных, доступ к исходным данным становится сложнее
- Получение доступа к управлению данными всегда предполагает некоторые разногласия.
- Поставщики и пользователи часто имеют противоречивые требования к данным.
Стив Даум
© Материал подготовлен Андреем Гариным
по материалам зарубежных изданий
http://www.klubok.net/
дополнительно по теме:
