Analítica de datos y Big Data para el sector público

El sector público es un área que cada vez más se apoya en la analítica de datos para la toma de decisiones informadas. Sus fuentes de datos son abiertas y aunque sus casos de uso pueden ser diferentes, pueden compartir las fuentes de datos y las aplicaciones.

Ejemplos de estos casos de uso para el sector público,incluye identificar patrones climáticos basados en datos meteorológicos y condiciones ambientales. Se pueden usar estos datos para: predecir desastres e inundaciones y así poder prepararse, pronosticar cultivos a largo plazo y sus demandas de agua, comprender el calentamiento global.

Algunos servicios sociales para los cuales podemos usar los datos públicos sonmejorar la eficiencia operativa y reducir el fraude. Varios carteles como el de la hemofilia o los medicamentos, serían detectados haciendo un cruce entre los registros de atención medica, datos de los seguros médicos y otros registros buscando patrones que indiquen falsas reclamaciones. Ejemplo: ADACOP y OCEANO.

Las agencias gubernamentales que regulan el cumplimiento normativo pueden apoyarse en análisis de Big data para evaluar el cumplimiento por parte de las empresas.

En el sector salud a través de datos compilados de hospitales, informes de accidentes, informes de centros de enfermedades y archivos de casos de servicios sociales, las agencias gubernamentales pueden evaluar las necesidades de atención médica. Los Centros para el Control y la Prevención de Enfermedades también utilizan grandes volúmenes de datos de forma rutinaria para predecir los brotes de enfermedades y realizar un seguimiento de los patrones de la enfermedad. Un ejemplo de aplicación en este sentido es el de Investigadores de la Universidad de Antioquia que han desarrollado un método para detección temprana de dengue http://www.mdpi.com/2079-9721/4/2/16 Adicionalmente, estudiantes de EAFIT han desarrollado una aplicación Web para describir los casos históricos del dengue y permitir la detección temprana de dengue.

Aplicación de la ley: el análisis de las tendencias delictivas y los datos estadísticos está teniendo un gran impacto en la aplicación de la ley. En Colombia se realizó el proyecto de Ciudata Segura de la coalición Data pop alliance que trata de responder dos preguntas sobre el crimen: por qué algunos individuos se desvian hacia la delincuencia y otros no. Por qué el crimen se concentra donde se concentra? Como resultados se obtuvieron modelos que describen el crimen en 6 ciudades del país. basado en datos de movilidad, características físicas de la ciudad y desorganización social y estos modelos apoyan la definición de políticas públicas y recomendaciones para controlar y prevenir el delito. https://datapopalliance.org/policy/ciudata-segura/

Referencias

https://imaginenext.ingrammicro.com/data-center/six-big-data-use-cases-for-the-public-sector

Anuncios
Publicado en Uncategorized | Deja un comentario

CRISP-DM Retos y lecciones aprendidas en CAOBA

CRISP-DM – CRoss Industry Standard Process for Data Mining – es la metodología más popular para la minería de datos. Los gerentes de proyectos analíticos usan CRISP-DM porque reconocen la necesidad de un enfoque que guié este tipo de proyectos. Hoy quisiera compartir algunos retos y lecciones aprendidas en el uso de las practicas propuestas por esta metodología. Algunos de los retos que presento los expuso James Taylor en KDNuggets en el 2017.

Falta de claridad de los problemas del negocio
Lo importante de un proyecto analítico y de cualquier proyecto es que de valor al negocio, al cliente, muchas veces los equipos en vez de detallar y aclarar el problema de negocio y cómo puede ayudar una analítica de datos, se conforma con los objetivos de negocio y algunas métricas para medir el éxito, saltando a la parte “interesante” del proyecto, analizando los datos. Con demasiada frecuencia, esto resulta en modelos interesantes que no satisfacen una necesidad de negocio real. De hecho he escuchado por parte de equipos analíticos como demeritan la gestión administrativa, creyendo que esta fase no les agrega valor a lo técnico, al modelado.

El cómo para poder resolver este problema, nuestra lección aprendida es darle énfasis a esta etapa y usar técnicas como el Business Canvas y el pensamiento visual para obtener hallazgos interesantes sobre la verdadera necesidad del negocios, sus problemas, si un proyecto de analítica en realidad es la solución y como impactaría al negocio tener el conocimiento adecuado para tomar las decisiones. Buenos artículos para abordar esta fase son los de Hindle, G. A., & Vidgen, R. (2018) y el de Park, G. et al (2017). Otros artículos como el Oztaysi, B et al (2017) nos guían en la priorización de los proyectos analíticos dentro de una organización.

Otro problema es el retrabajo sin sentido, pues algunos equipos analíticos simplemente evalúan los resultados de sus proyectos en términos analíticos: si el modelo es predictivo, entonces debe ser bueno, si la significancia estadística es buena ya quedó perfecto. Si no hay claridad real sobre el problema del negocio es difícil validar los resultados de modelos no es suficiente con cambiar o agregar más datos o cambiar los modelos. La clave es trabajar con sus clientes para volver a evaluar el problema de negocio.

Un reto muy frecuente es como se “productivizan” los resultados de estos proyectos, cual es el papel de TI (Tecnología de la Información) para escalar estos resultados. Algunos equipos analíticos no piensan en absoluto en el despliegue y como sus modelos entrarán en operación. Sin embargo, algunos si reconocen que los modelos que construyen deberán aplicarse a datos calientes en almacenes de datos operativos o incorporados en sistemas operativos. Incluso estos equipos generalmente no se han comprometido con TI antes de este punto, no tienen claridad sobre cómo se necesita implementar la analítica y realmente no consideran la implementación como un trabajo “analítico”. El resultado final es un modelo que se lanza por la pared a TI. Si el modelo es fácil de implementar o difícil (o imposible) y si es realmente utilizable una vez implementado es un problema ajeno. Esto aumenta el tiempo y el costo de implementación de un modelo y contribuye al gran porcentaje de modelos que nunca tienen un impacto en el negocio.

Falta de iteración
Los profesionales analíticos saben que los modelos envejecen y que los modelos deben mantenerse actualizados para que sigan siendo valiosos. Saben que las circunstancias comerciales pueden cambiar y socavar el valor de un modelo. Saben que los patrones de datos que impulsaron el modelo pueden cambiar en el futuro. Pero piensan en eso como un problema para otro día: no tienen suficiente claridad sobre el problema de negocio para determinar cómo realizar un seguimiento del desempeño comercial del modelo ni invierten en hacer que la revisión del modelo funcione más que la inicial. Después de todo, es mucho más interesante abordar otro problema nuevo. Esto deja a los modelos antiguos sin supervisión y sin mantenimiento, lo que socava el valor a largo plazo de los análisis.

Referencias

Dutta, D., & Bose, I. (2015). Managing a big data project: the case of ramco cements limited. International Journal of Production Economics165, 293-306.

Hindle, G. A., & Vidgen, R. (2018). Developing a business analytics methodology: A case study in the foodbank sector. European Journal of Operational Research268(3), 836-851.

Kühn, A., Joppen, R., Reinhart, F., Röltgen, D., von Enzberg, S., & Dumitrescu, R. (2018). Analytics Canvas–A Framework for the Design and Specification of Data Analytics Projects. Procedia CIRP70, 162-167.

Oztaysi, B., Onar, S. C., & Kahraman, C. (2017). Prioritization of business analytics projects using interval type-2 fuzzy AHP. In Advances in Fuzzy Logic and Technology 2017 (pp. 106-117). Springer, Cham.

Park, G., Chung, L., Zhao, L., & Supakkul, S. (2017, April). A goal-oriented big data analytics framework for aligning with business. In 2017 IEEE Third International Conference on Big Data Computing Service and Applications (BigDataService) (pp. 31-40). IEEE.

Publicado en Uncategorized | Deja un comentario

¿Se hace o no Big Data en Colombia?

El primer ejercicio que propongo es definir qué es Big Data?. La definición más popular es la que Gartner proporcionó en 2001, en donde se define Big data como aquellos “activos de información de gran volumen, alta velocidad y / o gran variedad que demandan formas de procesamiento de información innovadoras y rentables que permiten una visión mejorada, toma de decisiones y automatización de procesos.”[1].

Las Naciones Unidas lo definieron en el 2012 como el volumen masivo de datos tanto estructurados como no estructurados que son demasiado grandes y difíciles de procesar con las bases de datos y software tradicionales.

La pregunta clave es que tan grande es grande, que tan rápido es rápido y a que tan variado se refieren. Según Svetlana Sicular [3], la variedad es la característica del dato más interesante por que muchos no han sido aun explotados al máximo y se mantienen en la oscuridad. La velocidad es la característica menos entendida y se refiere a los diferentes ritmos en los cuales se pueden generar, sincronizar y mostrar los datos y por ultimo, el volumen, referido al tamaño de los datos que puede ir desde decenas de terabytes de datos a cientos de petabytes.

Hasta el momento se han superado los retos tecnológicos del almacenamiento y el procesamiento y tenemos nuevos desafíos que van más allá de la tecnología y el almacenamiento digital. Y según el CONPES 3920, ahora el reto consiste en definir las condiciones para aprovechar los datos como insumo central de la economía digital, impulsado desde el sector público, así como mitigar los riesgos que puedan derivarse de la explotación de datos, para garantizar la protección de los ciudadanos en este contexto.

Y creo que se ha avanzado en este sentido pues Colombia es el primer país latinoamericano y noveno en el mundo en tener una política pública de datos desde abril de 2018 (CONPES 3920). Esta política tiene 45 acciones por ejecutar durante 5 años en 10 entidades públicas con un presupuesto de 16.728 millones de pesos. Una de las metas es que para el 2022 el 90% de las entidades del estado tengan ejecutado al menos un proyecto de aprovechamiento de datos. Uno de los grandes retos que tenemos en Colombia es la ausencia de una cultura de datos. Cómo abordamos este impedimento?

Referencias usadas:

[1] https://www.gartner.com/it-glossary/big-data/

[2] https://colaboracion.dnp.gov.co/CDT/Conpes/Econ%C3%B3micos/3920.pdf

[3] https://www.forbes.com/sites/gartnergroup/2013/03/27/gartners-big-data-definition-consists-of-three-parts-not-to-be-confused-with-three-vs/#69fd11e042f6

Publicado en Uncategorized | Deja un comentario

Calendario Maya y Ceremonias en Scrum

Esta imagen del calendario Maya muestra que el calendario maya es cíclico y que los mayas fusionaron dos sistemas calendáricos, en un ciclo superior llamado “rueda calendárica”. La conformación de esta rueda, se compone de tres círculos.

tzolkin3 (2)

Se me pareció mucho en su forma a esta imagen de cómo se integran las ceremonias de Scrum, principalmente: Reunión de Planeación y Reunión diaria y una planeación de release con sprints. Al final todo se reduce a manejar ciclos en nuestra vida.

Scrum

Publicado en Uncategorized | Deja un comentario

Iniciando mi contribución al mundo Open Source

Me encontré este fin de semana con una convocatoria que me pareció interesante, una beca para mujeres programadoras https://t.co/t1BJJyfkS3. Y pensé Wow! que bueno sería participar, dentro de los requisitos está hacer una contribución al Open Source en GitHub y escribir una publicación en el blog describiendo la experiencia, los problemas que tuvo que resolver y lo que aprendió con la experiencia.

Me puse a pensar en todas las herramientas Open Source que había usado durante mi vida en el desarrollo: Mantis, Bugzilla, Testlink, Argo UML… en fin, muchas herramientas y creo que es hora de retribuir un poco a la comunidad.

Después de leer el articulo en el blog de Anna Chiara Bellini titulado Open Source: Not That Scary, me animé a iniciar mi contribución.

Bueno, les iré contando como me va en esta nueva aventura.

Silvia Lozano

Publicado en Uncategorized | Deja un comentario

Mastery: Cómo alcanzar la Excelencia Técnica?

A propósito de la noticia que ronda en redes sociales sobre un boletín que re-público con mala suerte FedeSoft, en el cual se define como delito el ejercer la ingeniería de sistemas o desarrollar software sin ser profesional, quise analizar un poco sobre ¿qué es ser profesional? ¿Acaso es alcanzar la excelencia técnica y personal?

Dentro de los principios del manifiesto ágil se encuentra el siguiente: “La atención continua a la excelencia técnica y al buen diseño mejora la Agilidad”.  Lo cual se relaciona con la maestría

Me llega a la mente, la regla de las 10000 horas, propuesta por el psicólogo sueco K. Anders Ericsson y popularizada luego por el sociólogo y periodista Malcolm Gladwell, la cual afirma que para llegar a ser experto en algo y tener maestría es necesario unas 10.000 horas de practica, sin embargo estudios en universidades como Princeton encontraron que la practica deliberada solo explica un 1% de la variación en el desempeño para las profesiones, a diferencia de los juegos, en donde la practica puede mejorar tu desempeño en un 26%. Al final se concluye en ese estudio que la practica deliberada es importante para alcanzar la excelencia pero no tanto como otros factores (talento innato, inteligencia o edad).

O sea que para ser un profesional además de practicar y practicar debes tener habilidades, un talento innato para crear software. En el campo del software muchos “profesionales” buscan su excelencia técnica solo en los retos dentro su trabajo, no dejan espacio para el autoestudio, el preguntarse sobre cosas diferentes, experimentar. Creo que para ser un buen profesional es necesario, como en otras disciplinas como la música o el baile, practicar incansablemente y mejorar cada día sin dejarse arrastrar por los afanes, urgencias y el stress laboral.

Publicado en Uncategorized | Deja un comentario

El estado mental ágil con Kerry Rusnak- Evento de la Comunidad Ágil en Medellín

El jueves 26 de febrero, la experta en liderazgo Kerri Rusnak,  facilitó la charla “Agile mindset” para Agiles Colombia. Nos reunimos en Ruta N a disfrutar de esta amena, divertida pero inspiradora charla.

kerry

Kerry nos contó de como es importante que las organizaciones se dirijan hacia la búsqueda de una mentalidad ágil más que a la sola adopción de prácticas, herramientas y metodologías ágiles. Kerry propone los siguientes valores como un nuevo manifiesto: la inspiración que va ligada a la parte emocional, lograr conexión mas que solo comunicación, la intención como elemento racional, el minimalismo que es diferente a la simplicidad y la evolución como parte valiosa del cambio. También nos recuerda que para inspirar debes primero estar inspirado.

Gracias a la empresa Huge Inc por su apoyo con la gestión para contactar a Kerri, los equipos de traducción y la pizza y a todos los miembros de la comunidad ágil que hicieron posible este buen momento.

Publicado en Agilismo | Deja un comentario