Please enable JavaScript.

Coggle requires JavaScript to display documents.

Data Science - Curso 1 - Coggle Diagram

- - - - Es el proceso de usar datos para entender diferentes cosas, para entender el mundo.
      - La ciencia de datos es el arte descubrir los conocimientos y las tendencias que se esconden detrás de los datos.
      - Es cuando traduces datos en una historia. Así que use la narración de historias para generar conocimiento. Y con estas ideas, puede tomar decisiones estratégicas para una empresa o una institución.
      - Es un proceso, no un evento.
        
        En resumen,
        
        La ciencia de datos es el campo de exploración, manipulación y análisis de datos, y el uso de datos para responder preguntas o hacer recomendaciones.
        
        La ciencia de datos es el estudio de grandes cantidades de datos, que pueden revelar información que ayude a las organizaciones a tomar decisiones estratégicas.
        
        La ciencia de datos es lo que hacen los científicos de datos.
    - - El análisis de datos no es nuevo. Lo que es nuevo es la gran cantidad de datos disponibles de fuentes muy variadas:
        
        Archivos de registro
        
        Correo electrónico
        
        Redes sociales
        
        Datos de ventas
        
        Archivos de información del paciente
        
        Rendimiento deportivo
        
        Datos de sensores
        
        Cámaras de seguridad
        
        Y muchos más.
        
        Y al mismo tiempo que hay más datos disponibles que nunca, tenemos el poder de cómputo necesario para hacer un análisis y revelar nuevos conocimientos.
      - La ciencia de datos puede ayudar a las organizaciones a:
        
        Comprender sus entornos
        
        Los científicos de datos utilizan el análisis de datos para aumentar el conocimiento de la organización investigando datos, explorando la mejor forma de utilizarlos para aportar valor al negocio.
        
        El primer paso y más crucial en un proyecto de ciencia de datos es aclarar la cuestión que la organización quiere contestar.
        
        Para aclarar la necesidad del negocio, los buenos analistas de datos hacen preguntas como:
        
        ¿De dónde proviene esos datos?
        
        1 more item...
        
        ¿Son datos estructurados o no estructurados?
        
        1 more item...
        
        ¿Qué datos necesitamos para resolver el problema?
        
        1 more item...
        
        Analizar problemas existentes
        
        Y revelar oportunidades previamente ocultas.
      - Dado que la ciencia de datos no es una disciplina que tradicionalmente se enseña en las universidades, los científicos de datos contemporáneos provienen de diversos orígenes, como ingeniería, estadística y física.
        
        Hay muchos caminos hacia una carrera en ciencia de datos; la mayoría, pero no todos, implican un poco de matemáticas, un poco de ciencia y mucha curiosidad por los datos.
      - Las tres cualidades importantes que se deben poseer para tener éxito como científico de datos son la curiosidad, el juicio y la argumentación.
  - - - En una universidad, tenían un problema. Querían predecir la proliferación de algas. Esta proliferación de algas podría provocar un aumento de toxicidad del agua y podría causar problemas a través de la empresa de tratamiento de agua. Y desde la ingeniería química no podían hacer esta predicción. Entonces usaron redes neuronales artificiales para predecir cuándo volverán a ocurrir estas floraciones. Así, las empresas de tratamiento de agua podrían manejar mejor este problema.
      - Transporte público de Toronto: problema de quejas. Datos estructurados (tablas) y no estructurados (emails, faxes). Se buscó patrones sin éxito. Al analista se le ocurrió investigar relación entre clima y quejas. Descubrimiento: los 10 días más quejumbrosos coincidieron con mal clima (lluvia, nieve, temperatura extrema, viento). En conclusión, se descubrió que la razón principal de las quejas provenían del mal clima.
    - - Todas las organizaciones utilizan la ciencia de datos por la misma razón: Descubrir soluciones óptimas a los problemas existentes.
        
        Ejemplos de ciencia de datos que brindan soluciones innovadoras para viejos problemas
        
        Uber recopila datos en tiempo real para optimizar la disponibilidad de conductores y ajustar tarifas según la demanda.
        
        La Comisión de Transporte de Toronto usa ciencia de datos para mejorar el tráfico y reducir las horas perdidas debido a la congestión.
        
        Científicos en los EE. UU. están utilizando tecnología avanzada, como botes robóticos, boyas y drones equipados con cámaras, para estudiar las cianobacterias dañinas en los lagos de la costa este. Recopilan datos físicos, químicos y biológicos para comprender mejor el desarrollo de las floraciones nocivas. Este proyecto busca mejorar las predicciones sobre la aparición de cianobacterias, lo que permite tomar medidas proactivas para proteger la salud pública en lagos recreativos y en fuentes de agua potable.
        
        La capacitación interdisciplinaria prepara a científicos para abordar problemas sociales con herramientas modernas de ciencia de datos.
        
        Recopilan, analizan y utilizan grandes cantidades de datos para desarrollar soluciones eficientes.
        
        Identificar el problema, seleccionar herramientas adecuadas y establecer una estrategia de datos son pasos clave.
        
        Implementar estrategias basadas en la ciencia de datos requiere tiempo, pero los beneficios son valiosos.
    - - El uso de la nube proporciona acceso instantáneo a tecnologías como Apache Spark sin necesidad de instalación local. Permite acceder a herramientas actualizadas y colaborar fácilmente.
        
        Grandes empresas como IBM, Amazon y Google ofrecen plataformas en la nube, con laboratorios y recursos de aprendizaje.
        
        IBM proporciona laboratorios Skills Network a los alumnos registrados en el IBM Developer Skills Network. Estos laboratorios brindan acceso a herramientas como Jupyter Notebooks y Spark clústeres, permitiendo a los alumnos crear proyectos de ciencia de datos y desarrollar soluciones.
        
        La nube mejora drásticamente la productividad de los científicos de datos.
    - - Alguien que encuentra soluciones a problemas analizando grandes o pequeños conjuntos de datos utilizando herramientas adecuadas y luego cuenta historias para comunicar sus hallazgos a las partes interesadas relevantes.
        
        No limito los datos por su tamaño ni las herramientas específicas como requisitos para ser un científico de datos. La curiosidad, fluidez en análisis y habilidad para comunicar hallazgos son lo que importa.
      - Ser un científico de datos implica un conjunto de habilidades y conocimientos que permiten abordar problemas complejos y extraer información significativa de los datos para tomar decisiones informadas.
- - - - Los dispositivos conectados con los que interactuamos a diario registran grandes cantidades de datos sobre nosotros.
        
        Esto es lo que llamamos BIG DATA
        
        Ernst and Young ofrece la siguiente definición:
        
        “Big Data se refiere a la dinámica, grande y volúmenes dispares de datos creados por personas, herramientas y máquinas. Requiere tecnología nueva, innovadora y escalable para recopilar, alojar y analizar procesar la gran cantidad de datos recopilados para obtener información comercial en tiempo real que se relacionan con los consumidores, el riesgo, las ganancias, el desempeño, la gestión de la productividad y la mejora de los accionistas valor."
        
        No existe una definición única de Big Data, pero hay ciertos elementos que son comunes a través de las diferentes definiciones, tales como:
        
        Velocidad
        
        1 more item...
        
        Volumen
        
        1 more item...
        
        Variedad
        
        1 more item...
        
        Veracidad
        
        1 more item...
        
        Valor
        
        1 more item...
    - - La transformación digital no es simplemente duplicar procesos existentes en forma digital
        
        Es el análisis de cómo opera el negocio y ayudar a las organizaciones a descubrir cómo mejorar su procesos y operaciones, y aprovechar los beneficios de integrar la ciencia de datos en sus flujos de trabajo.
        
        la transformación digital requerirá cambios fundamentales en su enfoque hacia los datos, empleados y clientes, y afectará su cultura organizacional.
        
        Este es todo un proceso de organización.Todos deben apoyarlo para que tenga éxito.
        
        la Transformación Digital es la forma de tener éxito ahora y en el futuro.
    - - Libro de texto del curso: 'Introducción a la ciencia de datos' Editor: IBM Press; 1 edición (13 dic 2015) Impreso.
        
        Lectura prescrita: Capítulo 12 pág. 529-531
        
        Establecimiento de objetivos de minería de datos
        
        El primer paso en la minería de datos requiere que establezca metas para el ejercicio. Identificar las preguntas claves que se quieren responder.
        
        El nivel de precisión esperado de los resultados influye en los costos. Los altos niveles de precisión de la minería de datos costarían más y viceversa.
        
        Por lo tanto, se debe determinar, de antemano, el nivel esperado de precisión y utilidad de los resultados obtenidos de la minería de datos.
        
        Selección de datos
        
        El resultado de un ejercicio de minería de datos depende en gran medida de la calidad de los datos que se utilizan.
        
        El tipo de datos, su tamaño y la frecuencia de recopilación tienen una relación directa con el costo del ejercicio de minería de datos. Por lo tanto, es fundamental identificar el tipo correcto de datos necesarios para la extracción de datos que puedan responder las preguntas a costos razonables.
        
        Preprocesamiento de datos
        
        A menudo, los datos sin procesar son confusos y contienen datos erróneos o irrelevantes.
        
        En la etapa de preprocesamiento, identifica los atributos irrelevantes de los datos y elimina dichos atributos para que no se consideren más. Al mismo tiempo, es necesario identificar los aspectos erróneos del conjunto de datos y marcarlos como tales.
        
        Los datos deben estar sujetos a controles para garantizar su integridad.
        
        1 more item...
        
        Transformación de datos
        
        El siguiente paso es determinar el formato apropiado en el que se deben almacenar los datos.
        
        Una consideración importante en la minería de datos es reducir el número de atributos necesarios para explicar los fenómenos. Esto puede requerir la transformación de datos.
        
        Almacenamiento de datos
        
        Los datos transformados deben almacenarse en un formato que los haga propicios para la minería de datos.
        
        Los datos deben almacenarse en un formato que otorgue privilegios de lectura/escritura inmediatos y sin restricciones al científico de datos.
        
        También es importante almacenar datos en servidores o medios de almacenamiento que mantengan los datos seguros y también eviten que el algoritmo de minería de datos busque innecesariamente datos dispersos en diferentes servidores o medios de almacenamiento.
        
        1 more item...
        
        Minería de datos
        
        Una vez que los datos se procesan, transforman y almacenan adecuadamente, están sujetos a la extracción de datos.
        
        Este paso cubre los métodos de análisis de datos, incluidos los métodos paramétricos y no paramétricos, y los algoritmos de aprendizaje automático.
        
        Un buen punto de partida para la minería de datos es la visualización de datos. Las vistas multidimensionales de los datos que utilizan las capacidades gráficas avanzadas del software de minería de datos son muy útiles para desarrollar una comprensión preliminar de las tendencias ocultas en el conjunto de datos.
        
        Evaluación de resultados de minería
        
        La evaluación formal podría incluir probar las capacidades predictivas de los modelos en los datos observados para ver qué tan efectivos y eficientes han sido los algoritmos en la reproducción de datos.
        
        Esto se conoce como “pronóstico dentro de la muestra”
        
        Los resultados se comparten con las partes interesadas clave para recibir comentarios, que luego se incorporan en las iteraciones posteriores de la minería de datos para mejorar el proceso.
        
        1 more item...
  - - - Big Data
        
        Se refiere a conjuntos de datos que son tan masivos, construidos tan rápidamente, y tan variados que desafían los métodos de análisis tradicionales como se podría realizar con una base de datos relacional.
        
        Big data a menudo se describe en términos de cinco V
        
        Velocidad
        
        Volumen
        
        Variedad
        
        Veracidad
        
        Valor
      - Data Mining (Minería de datos)
        
        Es el proceso de búsqueda y análisis automático de datos, descubrir patrones previamente no revelados.
        
        Implica el preprocesamiento de los datos para prepararlos y transformarlos en un formato apropiado.
        
        Una vez hecho esto, se extraen percepciones y patrones utilizando diversas herramientas y técnicas, que van desde herramientas simples de visualización de datos hasta modelos estadísticos y de aprendizaje automático.
      - Machine learning
        
        Es un subconjunto de IA que utiliza algoritmos informáticos para analizar datos y tomar decisiones inteligentes basadas en lo que se aprende sin ser programado explícitamente.
        
        Los algoritmos de aprendizaje automático se entrenan con grandes conjuntos de datos y aprenden de ejemplos. No siguen algoritmos basados en reglas.
        
        El aprendizaje automáticos es lo que permite a las máquinas resolver problemas por sí mismas y hacer predicciones precisas utilizando los datos proporcionados.
      - Deep learning
        
        Es un subconjunto especializado de aprendizaje automático que utiliza redes neuronales en capas para simular la toma de decisiones humanas.
        
        Los algoritmos de Deep Learning pueden etiquetar y categorizar la información e identificar patrones.
        
        Es lo que permite a los sistemas de IA aprender continuamente en el trabajo y mejorar la calidad y precisión de los resultados al determinar si las decisiones fueron correctas.
        
        La redes neuronales artificiales se inspiran en las redes neuronales biológicas, aunque funcionan de manera bastante diferente.
        
        Una red neuronal en IA es una colección de pequeñas unidades informáticas llamadas neuronas, que toman los datos entrantes y aprenden a tomar decisiones con el tiempo.
        
        1 more item...
      - Diferencia clave entre Inteligencia Artificial y Ciencia de Datos
        
        Data Science (Ciencia de Datos) es el proceso y el método para extraer conocimientos e ideas a partir de grandes volúmenes de datos dispares.
        
        Es un campo interdisciplinario que involucra matemáticas, análisis estadístico, visualización de datos, aprendizaje automático y más.
        
        Es lo que nos permite apropiarnos de la información, ver patrones, encontrar significado a partir de grandes volúmenes de datos y utilizarla para tomar decisiones que impulsen el negocio.
        
        Data Science puede utilizar muchas de las técnicas de IA para obtener información a partir de los datos.
        
        Por ejemplo, podría usar algoritmos de Machine Learning e incluso modelos de Deep Learning para extraer significados e inferencias de los datos.
        
        Existe cierta interacción entre la IA y la ciencia de datos, pero una no es un subconjunto de la otra.
        
        Más bien, Data Science es un término amplio que abarca toda la metodología de procesamiento de datos, mientras que la IA incluye todo lo que permite a las computadoras aprender a resolver problemas y tomar decisiones inteligentes.
        
        Tanto la IA como la ciencia de datos pueden implicar el uso de big data.
        
        Es decir, volúmenes significativamente grandes de datos.
    - - Los modelos de regresión son ampliamente utilizados en la investigación académica y profesional. En la ciencia médica, se emplean para desarrollar medicamentos más efectivos y optimizar recursos hospitalarios. En los negocios, se utilizan para analizar el comportamiento del consumidor y medir la competitividad de las empresas.
        
        Son herramientas ampliamente presentes en diferentes áreas.
    - - IBM Cloud Gallery es una colección creciente de conjuntos de datos, cuadernos y plantillas de proyectos.
        
        IBM Cloud Gallery
- - - - Usar técnicas de ciencia de datos para comprender y analizar los grandes conjuntos de datos disponibles hoy tiene un gran impacto en la vida humana.
        
        Puede proporcionar información específica para ayudar a los profesionales de la salud a brindar el mejor tratamiento a los pacientes, o ayudar a predecir desastres naturales para que las personas puedan prepararse temprano, y mucho más.
        
        Se pueden usar grandes conjuntos de datos de alta calidad para predecir la ocurrencia de numerosos tipos de los desastres naturales, que pueden ser la diferencia entre la vida y la muerte de miles de personas.
        
        En el cuidado de la salud, los científicos de datos utilizan análisis predictivos desarrollados a partir de la minería de datos, datos modelado, estadísticas y aprendizaje automático para encontrar las mejores opciones para los pacientes.
    - - Lo primero que tiene que hacer una empresa es empezar a grabar información, comenzar a capturar datos.
        
        Empezar a medir cosas.
        
        Si algo no se mide, es muy difícil mejorarlo o cambiarlo. Así que el primer paso es la medición.
        
        Si no lo estás capturando, comienza a capturarlo. Si lo está capturando, archívelo. No sobrescriba sus datos antiguos pensando que ya no los necesita. Los datos nunca envejecen. Los datos siempre son relevantes, incluso si tienen 100 o 200 años.
      - Tener empleados que estén interesados en la ciencia de datos.
        
        Las empresas deben recordar que es clave tener un equipo. Así que no es un científico de datos, sino un equipo de ellos, que cada uno de ellos tiene fortalezas en diferentes áreas de la ciencia de datos.
    - - La ciencia de datos y el big data están haciendo un impacto innegable en las empresas, operaciones diarias cambiantes, análisis financiero, y especialmente las interacciones con los clientes.
        
        En esta era de grandes datos, casi todo el mundo genera grandes cantidades de datos todos los días, muchas veces sin ser consciente de ello. Este rastro digital revela los patrones de nuestras vidas en línea.
        
        Si alguna vez ha buscado o compró un producto en un sitio como Amazon, notarás que empieza a hacer recomendaciones relacionadas con su búsqueda.
        
        Empresas como Amazon, Netflix, y Spotify usan algoritmos para hacer recomendaciones específicas derivadas de Preferencias del cliente y comportamiento histórico.
  - - - El entregable final
        
        El propósito final de la analítica es comunicar los hallazgos a los interesados, quienes podrían usar estos conocimientos para formular políticas o estrategias.
        
        Los análisis resumen los hallazgos en tablas y gráficos. Luego, el científico de datos debe usar los conocimientos para construir la narrativa para comunicar los hallazgos.
        
        En la academia, el entregable final es en forma de ensayos e informes. Dichos entregables suelen tener entre 1.000 y 7.000 palabras.
        
        En consultoría y negocios, el entregable final toma varias formas. Puede ser un documento pequeño de menos de 1500 palabras ilustrado con tablas y diagramas, o puede ser un documento completo que comprenda varios cientos de páginas.
        
        La planificación inicial y la conceptualización del entregable final son extremadamente importantes para producir un documento convincente. Embarcarse en el análisis, sin la debida consideración del producto final, probablemente resulte en un documento de mala calidad en el que el análisis y la narrativa tendrían dificultades para combinarse.
        
        El propósito del producto final de un proyecto de Data Science es comunicar nueva información y conocimientos del análisis de datos a los tomadores de decisiones clave.
    - - El entregable final
        
        Antes de comenzar el análisis, piense en la estructura del informe. ¿Será un informe breve de cinco páginas o menos, o será un documento más extenso de más de 100 páginas?
        
        La estructura del informe depende de la longitud del documento.
        
        Un breve informe va más al grano y presenta un resumen de los hallazgos clave.
        
        Un informe detallado construye gradualmente el argumento y contiene detalles sobre otros trabajos relevantes, metodología de investigación, fuentes de datos y hallazgos intermedios junto con los resultados principales.
        
        La extensión de los informes varía dependiendo en gran medida del propósito del informe.
        
        Incluso si espera que el informe sea breve, con cinco páginas o menos, le recomiendo que el entregable siga un formato prescrito que incluya
        
        1- La portada
        
        1 more item...
        
        2- La tabla de contenido
        
        1 more item...
        
        3- El resumen ejecutivo
        
        1 more item...
        
        4- El contenido detallado
        
        6 more items...
        
        5- Los agradecimientos
        
        1 more item...
        
        6- Las referencias
        
        7- Los apéndices (si es necesario).
        
        ¿Has hecho tu trabajo como escritor?
        
        Transport Policy, una publicación de investigación líder en planificación del transporte, ofrece una lista de verificación para los autores interesados en publicar en la revista.
        
        La lista de verificación es una serie de preguntas que se espera que los autores consideren antes de enviar sus manuscritos a la revista.
        
        ¿Le ha dicho a los lectores, desde el principio, lo que podrían ganar al leer su artículo?
        
        ¿Ha dejado claro el objetivo de su trabajo?
        
        ¿Ha explicado el significado de su contribución?
        
        ¿Ha colocado su trabajo en el contexto apropiado al brindar suficientes antecedentes (incluido un conjunto completo de referencias relevantes) para su trabajo?
        
        ¿Ha abordado la cuestión de la practicidad y la utilidad?
        
        ¿Ha identificado desarrollos futuros que podrían resultar de su trabajo?
        
        ¿Ha estructurado su documento de manera clara y lógica?
  - - - Comprender las bases de datos relacionales.
      - Conocer la probabilidad básica y algunas estadísticas básicas.
      - Saber algo de álgebra y algo de cálculo.
      - Knowing how to program, at least have some computational thinking.