Please enable JavaScript.
Coggle requires JavaScript to display documents.
Module 6 แนวคิดทั่วไปเกี่ยวกับบิกดาตา - Coggle Diagram
Module 6
แนวคิดทั่วไปเกี่ยวกับบิกดาตา
ความเป็นมาของบิกดาตา
1944 หนังสือห้องสมุดมหาวิทยาลัยเยลเพิ่มอย่างรวดเร็ว
1949 ห้องสมุดรัฐสภา แหล่งข้อมูลขนาดใหญ่ที่สุด
1961 กฎการเพิ่มแบบ Exponential models
1971 หนังสือการโจมตีความเป็นส่วนตัว
1996 การจัดเก็บข้อมูลดิจิทัลถูกกว่าการพิมพ์ลงกระดาษ
1997 คำว่าบิกดาตา (Big data) ถูกนำมาเป็นครั้งแรก
1998 ฐานข้อมูลใน SQL (Structured Query Language)
1999 โลกผลิตสารสนเทศ 1.5 Exabyte
2001 คุณสมบัติบิกดาตา 3Vs (Volume, Variety and Velocity)
2005 พัฒนาฮาดูป
2008 คนเอมริกันบริโภคข้อมูลปริมาณมาก
2011 ผลวิจัยพบว่าฮาดูปสามารถจัดการข้อมูลขนาดใหญ่ได้ดี
2012 อาชีพใหม่ของแวดวง IT เป็นที่ต้องการคือ นักวิทยาศาสตร์ข้อมูล
ยุคของการจัดการข้อมูล
ปลายทศวรรณที่ 1960 ยุคที่ 1 การสร้างและจัดการข้อมูลที่มีโครงสร้าง
ช่วยทศวรรษที่ 1990 ยุคที่ 2 เว็บและการจัดการการเนื้อหา
ปลายทศวรรณที่ 1990 ยุคที่ 3 การจัดการบิกดาตา
คุณลักษณะสำคัญของบิกดาตา
1.Velocity
2.Volume
3.Variety
4.Veracity
ประเภทของบิกดาตา
1.Structured data
2.Unstructed data
3.Semi-structured data
แหล่งที่มาของข้อมูลขนาดใหญ่
ข้อมูลทรานเซกชัน (Transaction) เช่นฝากถอนเงิน
ข้อมูลบนเว็บ (Web) และสื่อสังคมออนไลน์
ข้อมูลที่มนุษย์สร้าง เช่น อีเมลล์ บันทุกอาการโรค
ข้อมูลทางชีวภาพ (Biomatrix) เช่นการรู้จำเสียง ใบหน้า ม่านตา
ปัจจัยที่ทำให้เกิดบิกดาตา
การประมวลผลที่สมบูรณ์แบบ
การเกิดข้อมูลปริมาณมหาศาล
การผสมผสานของเทคโนโลยี
การเกิดแบบจำลองใหม่ทางธุรกิจ
ภาครัฐเป็นตัวเร่งการเปิดเผยข้อมูล
สถาปัตยกรรมของบิกดาตา
1 แหล่งที่มาของข้อมูลนำเข้า (Data Sources)
2 ชั้นการนำเข้าข้อมูล (Ingestion Layer)
3 ชั้นที่จัดเก็บข้อมูลแบบกระจาย (Distributed (Hadoop) storage Layer)
4 ชั้นโครงสร้างพื้นฐานฮาดูป(Hadoop Infrastructure Layer)
5 ชั้นการจัดการแพล็ตฟอร์มฮาดูป(Hadoop Platform Management Layer)
6 ชั้นรักษาความปลอดภัย (Security Layer)
7 ชั้นติดตามข้อมูล (Monitoring Layer)
8 ชั้นเครื่องจักรวิเคราะห์ (Analytic Engine)
9 ชั้นการจัดทำรายงานด้วยการสร้างภาพ (Visualization Layer)
วัฏจักรการวิเคราะห์บิกดาตา
กระบวนการที่ประกอบด้วยขั้นตอนที่องค์กรใช้ในการดำเนินการเพื่อวิเคราะห์ข้อมูลขนาดใหญ่หรือบิกดาตา
เพื่อให้ได้มาซึ่งสารสนเทศหรือความรู้ที่องค์กรไม่เคยทราบมาก่อนและต้องการทราบ
สารสนเทศหรือความรู้ดังกล่าวสามารถนำไปใช้ประโยชน์ต่อองค์กร เช่นการวางแผน การกำหนดนโยบาย การบริหารจัดการและการตัดสินใจในการดำเนินงาน
ขั้นตอนวัฏจักรการวิเคราะห์บิกดาตา
1 การประเมินกรณีธุรกิจ
2 การระบุข้อมูล
3 การได้มาและการกรองข้อมูล
4 การสกัดข้อมูล
5 การตรวจสอบความถูกต้อง และการทำความสะอาดข้อมูล
6 การรวบรวมและการนำเสนอข้อมูล
7 การวิเคราะห์ข้อมูล
8 การนำเสนอข้อมูลด้วยภาพ
9 การใช้ผลการวิเคราะห์ข้อมูล
รูปแบบการประมวลผลบิกดาตา
1 แบบแบทช์
2 แบบเรียลไทม์
3 แบบผสมผสาน