Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Temario del curso
Día 01
Visión general de Inteligencia Empresarial de Big Data para el Análisis de Inteligencia Criminal
- Estudios de casos en fuerzas policiales - Policia predictiva
- Tasa de adopción del Big Data en las agencias policiales y cómo están alineando sus operaciones futuras en torno al análisis predictivo de Big Data
- Soluciones tecnológicas emergentes como sensores de disparos, videos de vigilancia y redes sociales
- Uso de la tecnología Big Data para mitigar la sobrecarga de información
- Interfaz entre Big Data y datos heredados (legacy)
- Comprensión básica de las tecnologías habilitadoras en el análisis predictivo
- Integración de datos y visualización en cuadros de mando
- Gestión de fraude
- Reglas de negocio y detección de fraude
- Detección de amenazas y perfilamiento
- Análisis costo-beneficio para la implementación de Big Data
Introducción al Big Data
- Características principales del Big Data: Volumen, Variedad, Velocidad y Veracidad.
- Arquitectura MPP (Procesamiento Masivamente Paralelo)
- Almacenes de datos (Data Warehouses) – esquema estático, conjunto de datos que evoluciona lentamente
- Bases de datos MPP: Greenplum, Exadata, Teradata, Netezza, Vertica, etc.
- Soluciones basadas en Hadoop – sin restricciones sobre la estructura del conjunto de datos.
- Patrón típico: HDFS, MapReduce (procesamiento), recuperación desde HDFS
- Apache Spark para procesamiento en streaming
- Lotes: adecuados para análisis/no interactivos
- Volumen: datos de streaming CEP
- Opciones típicas – productos CEP (por ejemplo, Infostreams, Apama, MarkLogic, etc.)
- Menos listos para producción – Storm/S4
- Bases de datos NoSQL – (columnar y clave-valor): las más adecuadas como complemento analítico al almacén de datos/base de datos
Soluciones NoSQL
- Almacén KV - Keyspace, Flare, SchemaFree, RAMCloud, Oracle NoSQL Database (OnDB)
- Almacén KV - Dynamo, Voldemort, Dynomite, SubRecord, MongoDB, DovetailDB
- Almacén KV (Jerárquico) - GT.m, Cache
- Almacén KV (Ordenado) - TokyoTyrant, Lightcloud, NMDB, Luxio, MemcacheDB, Actord
- Caché KV - Memcached, Repcached, Coherence, Infinispan, EXtremeScale, JBossCache, Velocity, Terracoqua
- Almacén de tuplas - Gigaspaces, Coord, Apache River
- Bases de datos de objetos - ZopeDB, DB40, Shoal
- Almacén de documentos - CouchDB, Cloudant, Couchbase, MongoDB, Jackrabbit, Bases de datos XML, ThruDB, CloudKit, Prsevere, Riak-Basho, Scalaris
- Almacén columnar ancho - BigTable, HBase, Apache Cassandra, Hypertable, KAI, OpenNeptune, Qbase, KDI
Variedades de datos: Introducción a los problemas de limpieza de datos en Big Data
- RDBMS – estructura/esquema estático, no promueve un entorno ágil o exploratorio.
- NoSQL – semi-estructurado, tiene suficiente estructura para almacenar datos sin un esquema exacto previo al almacenamiento.
- Problemas de limpieza de datos
Hadoop
- ¿Cuándo seleccionar Hadoop?
- ESTRUCTURADO - Los almacenes/bases de datos de datos empresariales pueden almacenar masivos volúmenes de datos (a un costo) pero imponen estructura (no es bueno para exploración activa)
- Datos SEMI-ESTRUCTURADOS – difíciles de procesar con soluciones tradicionales (DW/DB)
- Almacenamiento en almacén = ESFUERZO ENORME y estático incluso después de la implementación
- Para variedad y volumen de datos, comprimidos en hardware de gama baja – HADOOP
- Se necesita hardware comercial para crear un clúster de Hadoop
Introducción a Map Reduce /HDFS
- MapReduce – distribuir el cálculo en múltiples servidores
- HDFS – hacer los datos disponibles localmente para el proceso de cómputo (con redundancia)
- Datos – pueden ser no estructurados/sin esquema (a diferencia del RDBMS)
- Responsabilidad del desarrollador dar sentido a los datos
- Programación MapReduce = trabajo con Java (pros/contras), carga manual de datos en HDFS
Día 02
Ecosistema Big Data – Construcción de Big Data ETL (Extraer, Transformar, Cargar) – ¿Qué herramientas de Big Data usar y cuándo?
- Hadoop vs. otras soluciones NoSQL
- Para acceso interactivo y aleatorio a los datos
- Hbase (base de datos orientada a columnas) encima de Hadoop
- Acceso aleatorio a datos pero con restricciones impuestas (max 1 PB)
- No es bueno para análisis ad-hoc, es bueno para registro, conteo y series temporales
- Sqoop - Importar desde bases de datos a Hive o HDFS (acceso JDBC/ODBC)
- Flume – Transmitir datos (por ejemplo, datos de registro) a HDFS
Sistema de gestión de Big Data
- Partes móviles, nodos de cómputo que inician/fallan: ZooKeeper - Para servicios de configuración/coordinación/nombres
- Pipeline/flujo de trabajo complejo: Oozie – gestionar flujo de trabajo, dependencias, cadenas
- Desplegar, configurar, gestión de clústeres, actualizaciones, etc. (sys admin) : Ambari
- En la nube : Whirr
Análisis predictivo – Técnicas fundamentales e Inteligencia Empresarial basada en aprendizaje automático
- Introducción al aprendizaje automático
- Aprendizaje de técnicas de clasificación
- Predicción Bayesiana – preparación de un archivo de entrenamiento
- Máquina de soporte vectorial (SVM)
- Álgebra p-Tree KNN y minería vertical
- Redes neuronales
- Problema de variables grandes en Big Data – Bosque aleatorio (RF)
- Problema de automatización en Big Data – Bosque aleatorio ensemble multi-modelo
- Automatización a través de Soft10-M
- Herramienta de análisis textual - Treeminer
- Aprendizaje ágil
- Aprendizaje basado en agentes
- Aprendizaje distribuido
- Introducción a herramientas de código abierto para análisis predictivo: R, Python, Rapidminer, Mahout
Ecosistema de Análisis Predictivo y su aplicación en el Análisis de Inteligencia Criminal
- Tecnología y proceso investigativo
- Análisis insightful (de insights)
- Visualización analítica
- Analítica predictiva estructurada
- Analítica predictiva no estructurada
- Perfilamiento de amenazas/fraudstar/proveedores
- Motor de recomendación
- Detección de patrones
- Descubrimiento de reglas/escenarios – fallo, fraude, optimización
- Descubrimiento de causa raíz
- Análisis de sentimiento
- Analítica CRM
- Analítica de redes
- Analítica textual para obtener insights de transcripciones, declaraciones de testigos, conversaciones en internet, etc.
- Revisión asistida por tecnología
- Analítica de fraude
- Analítica en tiempo real
Día 03
Analítica escalable y en tiempo real sobre Hadoop
- ¿Por qué los algoritmos analíticos comunes fallan en Hadoop/HDFS?
- Apache Hama - para cómputo distribuido sincrónico masivo
- Apache SPARK - para cómputo de clúster y analítica en tiempo real
- CMU Graphics Lab2 - Enfoque asíncrono basado en grafos para cómputo distribuido
- KNN p – Enfoque basado en álgebra de Treeminer para reducir el costo operativo de hardware
Herramientas para eDiscovery y Forensia
- eDiscovery sobre Big Data vs. datos heredados – una comparación de costos y rendimiento
- Codificación predictiva y Revisión asistida por tecnología (TAR)
- Demuestra en vivo de vMiner para entender cómo TAR permite un descubrimiento más rápido
- Indexación más rápida a través de HDFS – Velocidad de los datos
- PANL (Procesamiento Automático del Lenguaje Natural) – productos y técnicas de código abierto
- eDiscovery en idiomas extranjeros – tecnología para procesamiento de idiomas extranjeros
Big Data BI para Ciberseguridad – Obtener una visión 360 grados, recopilación rápida de datos e identificación de amenazas
- Comprensión de los fundamentos del análisis de seguridad -- superficie de ataque, configuración incorrecta de seguridad, defensas de host
- Infraestructura de red / gran tubería de datos / ETL de respuesta para analítica en tiempo real
- Prescriptivo vs. predictivo – Basado en reglas fijas vs. descubrimiento automático de reglas de amenaza a partir de metadatos
Recopilación de datos dispares para Análisis de Inteligencia Criminal
- Uso de IoT (Internet de las cosas) como sensores para capturar datos
- Uso de imágenes satelitales para vigilancia doméstica
- Uso de datos de vigilancia e imágenes para identificación criminal
- Otras tecnologías de recopilación de datos – drones, cámaras corporales, sistemas de etiquetado GPS y tecnología de imagen térmica
- Combinación de recuperación automatizada de datos con datos obtenidos de informantes, interrogatorios e investigación
- Pronosticar actividad criminal
Día 04
Analítica empresarial BI para prevención de fraude en Analítica de Fraude a partir de Big Data
- Clasificación básica de Analítica de Fraude – basada en reglas vs. analítica predictiva
- Aprendizaje supervisado vs. no supervisado para detección de patrones de fraude
- Fraude entre empresas, fraude de reclamaciones médicas, fraude de seguros, evasión fiscal y lavado de dinero
Analítica de Redes Sociales – Recopilación y análisis de inteligencia
- Cómo las redes sociales son utilizadas por criminales para organizar, reclutar y planificar
- API ETL de Big Data para extraer datos de redes sociales
- Texto, imágenes, metadatos y video
- Análisis de sentimiento a partir del feed de redes sociales
- Filtrado contextual y no contextual del feed de redes sociales
- Panel de control de redes sociales para integrar diversas fuentes
- Perfilamiento automatizado de perfiles en redes sociales
- Se ofrecerá una demostración en vivo de cada analítica a través de la herramienta Treeminer
Analítica de Big Data en procesamiento de imágenes y flujos de video
- Técnicas de almacenamiento de imágenes en Big Data – Solución de almacenamiento para datos que exceden los petabytes
- LTFS (Sistema de Archivos de Cinta Lineal) y LTO (Cinta Abierta Lineal)
- GPFS-LTFS (Sistema de Archivos Paralelo General - Sistema de Archivos de Cinta Lineal) – solución de almacenamiento en capas para datos de imagen grandes
- Fundamentos del análisis de imágenes
- Reconocimiento de objetos
- Segmentación de imágenes
- Rastreo de movimiento
- Reconstrucción de imágenes 3D
Biométricos, ADN y Programas de Identificación de Nueva Generación
- Más allá de las huellas dactilares y el reconocimiento facial
- Reconocimiento de voz, escritura a teclado (analizar el patrón de escritura del usuario) y CODIS (Sistema Combinado de Índice de ADN)
- Más allá de la coincidencia de ADN: usar la fenotipificación forense del ADN para construir un rostro a partir de muestras de ADN
Panel de control Big Data para acceso rápido y visualización de datos diversos :
- Integración de la plataforma de aplicaciones existente con el Panel de control Big Data
- Gestión de Big Data
- Caso de estudio del Panel de control Big Data: Tableau y Pentaho
- Uso de la aplicación Big Data para impulsar servicios basados en ubicación en el gobierno
- Sistema de seguimiento y gestión
Día 05
Cómo justificar la implementación de Inteligencia Empresarial de Big Data dentro de una organización:
- Definición del ROI (Retorno de la Inversión) para implementar Big Data
- Estudios de casos para ahorrar tiempo a los analistas en la recopilación y preparación de datos – aumentando la productividad
- Ganancia de ingresos por menor costo de licencias de bases de datos
- Ganancia de ingresos por servicios basados en ubicación
- Ahorro de costos por prevención de fraude
- Enfoque de hoja de cálculo integrado para calcular gastos aproximados vs. ganancia/ahorro de ingresos de la implementación de Big Data.
Procedimiento paso a paso para reemplazar un sistema de datos heredado con un Sistema Big Data
- Hoja de ruta de Migración de Big Data
- ¿Qué información crítica es necesaria antes de diseñar un sistema de Big Data?
- ¿Cuáles son las diferentes formas de calcular Volumen, Velocidad, Variedad y Veracidad de los datos?
- Cómo estimar el crecimiento de los datos
- Estudios de casos
Revisión de proveedores de Big Data y revisión de sus productos.
- Accenture
- APTEAN (anteriormente CDC Software)
- Cisco Systems
- Cloudera
- Dell
- EMC
- GoodData Corporation
- Guavus
- Hitachi Data Systems
- Hortonworks
- HP
- IBM
- Informatica
- Intel
- Jaspersoft
- Microsoft
- MongoDB (anteriormente 10Gen)
- MU Sigma
- Netapp
- Opera Solutions
- Oracle
- Pentaho
- Platfora
- Qliktech
- Quantum
- Rackspace
- Revolution Analytics
- Salesforce
- SAP
- SAS Institute
- Sisense
- Software AG/Terracotta
- Soft10 Automation
- Splunk
- Sqrrl
- Supermicro
- Tableau Software
- Teradata
- Think Big Analytics
- Tidemark Systems
- Treeminer
- VMware (parte de EMC)
Sesión de preguntas y respuestas
Requerimientos
- Conocimiento de los procesos policiales y sistemas de datos
- Comprensión básica de SQL/Oracle o bases de datos relacionales
- Comprensión básica de estadísticas (nivel hoja de cálculo)
Público objetivo
- Especialistas en la fuerza policial con formación técnica
35 Horas
Testimonios (3)
fundamentos y amó los documentos y ejercicios preparados
Rekha Nallam - GE Medical Systems Polska Sp. z o.o.
Curso - Introduction to Predictive AI
Traducción Automática
Que fue muy priactico.
Alfonso Ramos - Banco de Mexico
Curso - Fundamentos de Integración de Datos Pentaho
Deepthi estaba muy atenta a mis necesidades, podía percibir cuándo añadir capas de complejidad y cuándo mantenerse atrás y adoptar un enfoque más estructurado. Deepthi realmente trabajó a mi ritmo y aseguró que pudiera utilizar las nuevas funciones/herramientas por mí mismo, primero mostrándome y luego dejándome recrear los elementos por mí mismo, lo cual ayudó mucho a consolidar la formación. ¡No podría estar más satisfecho con los resultados de esta capacitación y con el nivel de experiencia de Deepthi!
Deepthi - Invest Northern Ireland
Curso - IBM Cognos Analytics
Traducción Automática
