El reto de la recolección de datos

Abacus BSC y business intelligence son aliados

BSC Abacus es un software empresarial para la implementación de la metodología Balanced Scorecard dentro de la organización. Está desarrollado bajo la plataforma Java EE, usando Payara como servidor de aplicaciones y Microsoft SQL Server como motor de base de datos.

Actualmente, las empresas enfrentan el enorme reto de la recolección de datos; y, más allá de la recolección, el reto de la automatización, lo que permite que la información sea precisa, completa, oportuna y confiable.

Los datos generados por las empresas tienen fuentes muy diversas, pero podemos englobarlos en dos grandes grupos:

• Datos capturados manualmente. Estos datos pueden ser leídos en dispositivos, calculados, copiados o tomados de fuentes diversas y luego ser plasmados mediante un dispositivo electrónico, casi siempre una computadora, en un archivo de Excel o en un sistema de información.
• Datos generados automáticamente. Mediante el uso de telemetría, se puede generar gran cantidad de datos que son almacenados, casi siempre, en sistemas de información o en archivos de Excel, para su posterior uso.

En las organizaciones dedicadas a la manufactura, la recolección de datos (ISA 95) es un proceso clave, que se define como el conjunto de actividades que recopilan, compilan y gestionan datos de producción para procesos de trabajo o solicitudes específicos de producción. Los sistemas de control de manufactura, generalmente, se ocupan de la información del proceso; tal como las cantidades (peso, unidades, etc.) y las propiedades asociadas (tasas, temperaturas, etc.); y la información del equipo, como los estados del controlador, el sensor y actuador. Los datos gestionados pueden incluir lecturas de sensores, estados de equipos, datos de eventos, datos introducidos por el operador, datos de transacción, acciones del operador, mensajes, resultados de cálculo de modelos y otros datos de importancia en la manufactura de un producto. La recolección de datos está inherentemente basada en el tiempo o el evento, con datos de tiempo o eventos agregados para dar contexto a la información recopilada.

Las tareas de recolección de datos de producción pueden incluir:

a) Recabar, recuperar y archivar información relacionada con la ejecución de solicitudes de producción, uso del equipo, incluida la información introducida por el personal de producción

Incluye, por ejemplo:

• Datos de proceso
• Datos del estado del equipo
• La localización de los lotes y sublotes producidos y la recolección de datos de cantidades
• Registros de operaciones (entradas de planta y comentarios).

b) Proporcionar interfaces al sistema básico de control de línea de manufactura o proceso, sistemas de gestión de información de laboratorio y sistemas de gestión de producción para la recolección automática de información

c) Proporcionar informes sobre los datos de producción

d) Mantener información para el análisis local de procesos y producción y para reportar a sistemas de mayor nivel de logística

e) Mantener la información para el rastreo del producto que permita habilitar la capacidad del rastreo y el seguimiento, tal como dar seguimiento a productos para lotes específicos de materiales, equipos y/u operadores

f) Proporcionar el monitoreo de cumplimiento y funcionalidad de la administración de alarmas (registro de eventos y secuencia de eventos).

g) Proporcionar información sobre la calidad de los productos recolectados para su comparación contra las especificaciones.

BSC Abacus es una herramienta flexible que permite recolectar datos desde las diferentes fuentes con los que cuenta en tu organización, desde capturas manuales, conexiones para extracciones con otros sistemas, y el uso de ETL’s para la extracción de diferentes fuentes.

BSC Abacus cuenta con dos herramientas para la recolección de datos dentro de una organización:

1. Extracción de motor de base de datos.
2. Integración con ETL Kettle de Pentaho.

En seguida describiremos los dos escenarios a los que se puede enfrentar en la implementación de BSC Abacus para la recolección de datos.

Extracción de motor de base de datos

En muchas empresas se cuentan con sistemas de información que almacenan sus datos en diferentes manejadores de base de datos como son: MS SQL Server, MySQL, Microsoft Acces, Oracle, PostgreSQL, Mongo DB, entre otros. Cuando tenemos este escenario, BSC Abacus provee una serie de herramientas que permiten automatizar la extracción de estos datos. BSC Abacus está desarrollado bajo la plataforma Java EE, lo cual le da la posibilidad de utilizar el API JDBC para la conexión y extracción de variables desde diferentes motores de base de datos. En seguida se muestra una lista de los controladores JDBC más comúnmente utilizados:

BD	Driver class	Librería
PostgreSQL	org.postgresql.Driver	postgresql-9.4-1203.jdbc4.jar (exact name depends on PostgreSQL version) postgresql.org
Firebird SQL	org.firebirdsql.jdbc.FBDriver	firebirdsql-full.jar firebirdsql.org
H2 Database Engine	org.h2.Driver	h2.jar h2database.com
HSQLDB	org.hsqldb.jdbcDriver	hsqldb.jar sourceforge.net
Apache Derby	org.apache.derby.jdbc.EmbeddedDriver	derby.jar apache.org
IBM DB2	com.ibm.db2.jcc.DB2Driver	db2jcc4.jar ibm.com
IBM DB2 for iSeries	com.ibm.as400.access.AS400JDBCDriver	jt400.jar sourceforge.net
Teradata	com.teradata.jdbc.TeraDriver	terajdbc4.jar teradata.com
SQL Server (Microsoft driver)	com.microsoft.sqlserver.jdbc.SQLServerDriver	mssql-jdbc-6.2.2.jre8.jar (exact name depends on the driver version) Microsoft
Oracle	oracle.jdbc.OracleDriver	ojdbc7.jar oracle.com
MariaDB	org.mariadb.jdbc.Driver	mariadb-java-client-1.3.6.jar (exact name depends on the driver version) mariadb.org
MySQL	com.mysql.jdbc.Driver	mysql-connector-java-5.1.36-bin.jar (exact name depends on the driver version) mysql.com

Para poder llevar a cabo la conexión con los diferentes gestores de bases de datos, es necesario incluir el controlador (archivo.jar) en el directorio de clases (Class Path) de BSC Abacus “BSCAbacus_HOME/lib/”.

Una vez que se han incluido los controladores, desde la plataforma se puede definir el origen de datos en tres pasos:

1. Definir tipo de base de datos. El menú de “Tipos de Base de Datos” permite definir los tipos de base de datos los cuales deben corresponder a los drivers instalados en el class path de BSC Abacus.

2. Una vez establecidos los tipos de bases de datos, se definen los orígenes de datos de donde se extraerán los valores de las variables. Para definir un origen de datos, se debe especificar: Nombre, tipo de base de datos, nombre o IP del servidor, puerto, nombre de la base de datos, usuario y contraseña.

3. Una vez definidos los orígenes de datos, podemos configurar la captura de la variable y definir la consulta SQL de extracción.

Cuando se configura una consulta SQL de extracción automática se tiene acceso a las funciones VALOR y VALORES para pasar parámetros a las consultas.

Extracción a través de ETL (Business Intelligence)

En el ecosistema tecnológico de la empresa, se puede contar no solo con fuentes de datos como bases de datos relacionales, sino con otros como son: servicios Web REST, archivos XML, correos electrónicos, PI Systems, entre otros.

Extract, Transform and Load (“extraer, transformar y cargar”, frecuentemente abreviado ETL) es el proceso que permite a las organizaciones mover datos desde múltiples fuentes, reformatearlos y limpiarlos, y cargarlos en otra base de datos, data mart, o data warehouse para analizar, o en otro sistema operacional para apoyar un proceso de negocio.

Para escenarios donde se tienen que extraer datos de diversas fuentes, BSC Abacus permite la extracción de datos utilizando Pentaho DI (Pentaho Data Integrator).

PDI es una potente herramienta de extracción, transformación y carga de datos. Cuenta con una interfaz de gráfica intuitiva para diseñar las extracciones de datos. Para más información acerca de PDI, clic aquí.

Con PDI tenemos acceso a una gran cantidad de orígenes de datos como son: archivos CSV, correos electrónicos, archivos XML, Google Analytics, JSON, LDAP, LDIF, Microsoft Access, Microsoft Excel, Mondrian, OLAP, RSS, SAP, Salesforce, base de datos, etc.

Una vez que tenemos definidos los archivos de integración de datos se puede utilizar un servidor Carte o desarrollar una tarea programada para la ejecución automática de la extracción.

Conclusión

Podemos decir que la recolección de datos es una tarea fundamental para para una implementación exitosa de BSC Abacus. Los retos de la automatización en esta extracción son varios, pero en definitiva los beneficios obtenidos en la confiabilidad de los datos extraídos es muy grande.

BSC Abacus es una herramienta flexible que permite utilizar los datos generados dentro de la organización para medir y evaluar los resultados en las diferentes perspectivas de la metodología BSC.