jueves, 13 de noviembre de 2008

CARACERITICAS DE LAS BODEGAS DE DATOS

Por definición, las Bodegas de Datos son bases de datos caracterizadas por
ser:
•Integradas: porque consolidan y centralizan datos derivados de toda la organización.
•Orientadas a un tema particular: ya que los datos que contienen, están organizados por temas, totalizados y optimizados para dar respuestas a preguntas de diversas áreas funcionales de la organización.
•Variantes en el tiempo: porque contrario a las Bases de Datos Operacionales que se centran en los datos actuales, las Bodegas de Datos representan el flujo de información a través del tiempo.
•No volátiles: Una vez que los datos son almacenados, estos nunca son removidos pues representan la historia de la organización.

Data Mining

Datamining es una tecnología de soporte para usuario final, cuyo objetivo es extraer conocimiento útil y utilizable a partir de la información contenida en las bases de datos de las empresas.
Los objetivos de un sistema Datamining nos permitirían analizar factores de influencia en determinados procesos, predecir o estimar variables o comportamientos futuros, sementar o agrupar ítems similares, además de obtener secuencias de eventos que provocan comportamientos específicos.
Los sistemas Datamining se desarrollan bajo lenguajes de ultima generación basados en la inteligencia artificial y utilizando métodos matemáticos, tales como:
•Redes neuronales
•Introducción de reglas
•Arboles de decisión
•Conjunto de reglas por clase
Soporta tambien sofisticadas operaciones de análisis tales como los
sistemas Scoring y aplicaciones de detección de fraude.

ETL (Extraction, Transformation and Load - Extracción, Transformación y Carga)

•La fase de Extracción de Información utiliza herramientas que facilitan el acceso y la extracción de datos almacenados en múltiples plataformas y bases de datos (SQL Server, DB2, Informix, Sybase, Oracle, etc.) que permiten interpretar y definir de forma sencilla las reglas de negocio
necesarias para la transformación de los datos de información.
•La fase de Transformación consiste en el proceso de convertir los datos a formatos consistentes.
•La fase de Carga automatiza las tareas de preparación de la información para un análisis eficiente, que garantiza al usuario un acceso eficiente a los datos y le permite generar sus propias consultas.

ETAPAS PARA CREAR UNA BODEGA DE DATOS

Definición de requerimientos
 Definición de arquitectura
 Presentación del proyecto
 Análisis de proveedores, Construcción RFP
 Envío RFP
 Evaluación
 Contratación
 Capacitación
 Implementación

VENTAJAS E INCONVENIENTES DE LA BODEGA DE DATOS

Hay muchas ventajas por las que es recomendable usar un almacén de datos.

Algunas de ellas son:

Los almacenes de datos hacen más fácil el acceso a una gran variedad de datos a los usuarios finales
Facilitan el funcionamiento de las aplicaciones de los sistemas de apoyo a la decisión tales como informes de tendencia', por ejemplo: obtener los ítems con la mayoría de las ventas en un área en particular dentro de los últimos dos años; informes de excepción, informes que muestran los resultados reales frente a los objetivos planteados a priori.
Los almacenes de datos pueden trabajar en conjunto y, por lo tanto, aumentar el valor operacional de las aplicaciones empresariales, en especial la gestión de relaciones con clientes.
Inconvenientes

Utilizar almacenes de datos también plantea algunos inconvenientes, algunos de ellos son:
A lo largo de su vida los almacenes de datos pueden suponer altos costos. El almacén de datos no suele ser estático. Los costos de mantenimiento son elevados.
Los almacenes de datos se pueden quedar obsoletos relativamente pronto.
A veces, ante una petición de información estos devuelven una información subóptima, que también supone una perdida para la organización.
A menudo existe una delgada línea entre los almacenes de datos y sistemas operativos. Hay que determinar qué funcionalidades de estos se pueden aprovechar y cuáles se deben implementar en el data warehouse, resultaría costoso implementar operaciones no necesarias o dejar de implementar alguna que sí vaya a necesitarse.

¿COMO SE PUEDE CONFORMAR LA BODEGA DE DATOS?

Aparte de las consideraciones técnicas y económicas, existen tres aspectos importantísimos que intervienen en el establecimiento y el uso de una bodega de datos: el diseño, el mantenimiento, y el uso de la misma.
El diseño requiere soportarse en un análisis profundo de la institución o del áreas funcionales responsables de la utilización de la bodega, las fuentes de datos que alimentarán la bodega, y unas personas capacitadas en la correcta estructuración de la bodega.
De las decisiones aquí tomadas, depende la velocidad de búsqueda y la calidad y oportunidad obtenida en las respuestas a nuestras inquietudes. Una decisión mal tomada en este aspecto puede significar demoras de días en vez de horas o minutos para la obtención de las respuestas requeridas, o incluso, que la bodega no esté en capacidad de responder las preguntas claves para la organización.
El mantenimiento de la información se convierte en parte fundamental, una vez la bodega de datos forma parte integral de los sistemas de información de la institución o compañía. Según los expertos, uno de los principales problemas que se vive con los proyectos de bodegas de datos es la obsolescencia de su información. Se actualiza la información para el proyecto piloto, pero no se establecen mecanismos de actualización permanente que siempre garanticen la oportunidad de la misma.
Por último, pero no menos importante, están las decisiones que se hagan sobre el uso que se hará de la bodega de datos, resaltándose en este aspecto la capacidad y entrenamiento que deben tener los distintos usuarios para buscar relaciones y analizar la información.
Si bien es cierto que la bodega de datos agiliza esta tarea, es deber de los usuarios de la bodega saber cómo preguntar y cómo interpretar y poner en práctica los resultados que obtienen, pero además, la institución debe definir en forma muy clara, el ámbito empresarial en el que operará la bodega, las dependencias administrativas de la organización que van a tener acceso a la bodega de datos y las consultas que ésta debe responder inicialmente.

DISTINTOS TIPOS DE BODEGAS DE DATOS

1. Native data warehouse appliance; donde tanto el hardware como el software estan estrechamente integrados en una sola plataforma. No se pueden licenciar por separado y tampoco se pueden utilizar de forma individualizada.Algunos ejemplos de este tipo son: DATAllegro, Netezza, y Teradata.

2. Software data warehouse appliance; en este caso, Bases de datos relacionales, tanto Open Source como comerciales son optimizadas para su uso en entornos DataWarehouse. Aquí, se puede utilizar en diferentes configuraciones de Hardware. Algunos ejemplos son Greenplum, Sybase e Ingres.

3. Packaged data warehouse appliance; donde software y hardware comercial es configurado para funcionar como una única plataforma y que es comercializado por un único vendedor. Además, se instala y mantiene en un único sistema. Ejemplos de este tipo son HP Neoview, IBM Balance Warehouse y Sun/Greenplum.

4. Data management appliance; que obtiene los datos de forma intensiva desde un servidor. Estos sistemas pueden implicar procesos operacionales, analíticos o de almacenamiento.Algunos ejemplos son ParAccel y Dataupia.












BODEGA DE DATOS EN LAS EMPRESAS

Hoy en día toda empresa necesita depositar mucha confianza en la toma de decisiones sobre los negocios, para tomar dichas decisiones requerimos hechos y cifras, sabemos que la competencia crece en todo momento entonces las decisiones que debemos tomar en nuestra empresa deben ser mas aceleradas; pero que pasa si tenemos una montaña de información la cual debe ser analizada, lógicamente pensamos que necesitaríamos mucho tiempo. Pero las tareas de recolectar, procesar, limpiar y transformar la información necesaria para la toma de decisiones no es una tarea sencilla mas si consideramos que una empresa tiene distintas áreas que a veces se encuentran alejadas de los ejecutivos de negocios.Por ese motivo TTS Consulting provee soluciones que ayudan a acceder a los datos de una forma más directa, en "el lenguaje del negocio", y analizarlos para obtener relaciones complejas entre los mismos. Estos desarrollos tecnológicos, correctamente organizados e interrelacionados, constituyen lo que se llama Data Warehouse o Bodega de Datos.

http://www.datawarehouse.com.mx/


IMPACTOS EMPRESARIALES

Apenas el DW comienza a ser fuente primaria de información empresarial consistente, los siguientes impactos pueden comenzar a presentarse:
La gente tiene mayor confianza en las decisiones empresariales que se toman. Ambos, quienes toman las decisiones como los afectados conocen que está basada en buena información. Las organizaciones empresariales y la gente de la cual ella se compone queda determinada por el acceso a la información. De esta manera, la gente queda mejor habilitada para entender su propio rol y responsabilidades como también los efectos de sus contribuciones; a la vez, desarrollan un mejor entendimiento y apreciación con las contribuciones de otros.
La información compartida conduce a un lenguaje común, conocimiento común, y mejoramiento de la comunicación en la empresa. Se mejora la confianza y cooperación entre distintos sectores de la empresa , viéndose reducida la sectorización de funciones. Visibilidad, accesibilidad, y conocimiento de los datos producen mayor confianza en los sistemas operacionales.
ENFOQUE METODOLOGICO

Las Metodologías implantadas por TTS Consulting permiten establecer un panorama abierto sobre el tipo de solución necesaria para cada negocio. De esta manera son distintas las estrategias y las formas de realizar este tipo de implementaciones. En la actualidad contamos con los siguientes enfoques:
Arriba abajo - Contra Abajo Arriba Hibrido

QUE ES UN ABODEGA DE DATOS

Un Data Warehouse es un conjunto de datos integrados orientados a una materia, que varían con el tiempo y que no son transitorios, los cuales soportan el proceso de toma de decisiones de la administración. (W.H. Inmon, considerado como el padre del data warehouse). Esta orientada al manejo de grandes volúmenes de datos, provenientes de diversas fuentes, de muy diversos tipos. Estos datos cubren largos períodos de tiempo, lo que trae consigo que se tengan diferentes esquemas de los datos fuentes. La concentración de esta información esta orientada a su análisis para apoyar la toma de decisiones oportunas y fundamentadas. Previo a su utilización se debe aplicar procesos de análisis, selección y transferencia de datos seleccionados desde las fuentes.

Componentes de un Data Warehouse

Como se puede observar en el esquema, cuando un auditor se enfrenta a un Sistema de Bodega de Datos (Data Warehouse), su labor debe tener en cuenta muchos elementos que influyen en la seguridad y buen funcionamiento.
En particular resaltamos:
Datos Antiguos: Tienen gran importancia en los procesos iniciales de población de la bodega de datos. Son datos de periodos anteriores. Pueden provenir de 20 años atrás, en algunos casos. La dificultad de ubicación, recuperación y transformación a los formatos requeridos (pueden estar incluso en documentos en papel) es uno de los problemas mas usuales en proyectos de este tipo.
Datos Operacionales: Datos operativos actualizados por aplicaciones OLTP (On Line Processing Transaction. Procesamiento de transacciones en línea.). Están almacenados en las bases de datos en producción.

Extractores de Datos: Encargados del copiado y distribución de los datos de acuerdo con el diseño. Se determinan los datos a copiar, desde donde y hacia donde, periodos para las actualizaciones. Se determina si se realiza una regeneración (copia de la fuente de datos en su totalidad) o una actualización (solo se propagan los cambios). Los datos externos son adecuados y limpiados antes de ser sumados a la bodega de datos.Son los enlaces entre los datos en producción y el Data Warehouse (generalmente de tipo relacional)

Bodega de Datos: El repositorio de datos actual. Organizadas orientada a intereses concretos. Información histórica reflejando transacciones OLTP, acumuladas por años o en general por periodos largos. Se dice que son servidores de datos para apoyo de decisiones, que añade valor a los datos procedentes de las fuentes en producción. Contienen información detallada y agregada.
Metadatos: Los metadatos llevan registros de los datos almacenados, integrados en la misma base de datos. Describen el contenido de los objetos de la bodega de datos: las tablas, índices y el contenido de los datos. Los metadatos definen los formatos, significado y origen de los datos y facilitan el acceso y administración a los datos en la bodega.Contienen la información de la fuente antes de ingresar a la bodega, el mapeo de los datos fuentes a datos en la bodega, historia de las extracciones, logica y algoritmos usados para los procesos de datos (sumarizacion, organización, etc.) y la historia de los cambios en la bodega.Herramientas de Consultas y Extracción de
Información: Proveen la interfaz humana con la bodega de datos. En el procesamiento de la información se pasa de simples consultas SQL a OLAP y de esta a Minería de Datos.