Azure SQL Data Warehouse คืออะไร

Microsoft เปลี่ยนบริการ Azure ให้เป็นโซลูชันระบบคลาวด์ระดับองค์กรที่รวมเอาคุณสมบัติล้ำสมัย เช่น การจัดการและการวิเคราะห์ข้อมูล

Microsoft เปิดตัว Azure SQL Data Warehouse เมื่อตัดสินใจใช้ระบบคลาวด์ Microsoft กำลังผลักดัน Azure SQL Data Warehouse ด้วยพลังอันยิ่งใหญ่ เป็นบริการจัดการฐานข้อมูลที่ยืดหยุ่นซึ่งรวมเอาคุณสมบัติคลังข้อมูลที่ยืดหยุ่นเข้าไว้ด้วยกัน

Azure SQL Data Warehouse คืออะไร

คลังข้อมูล Azure SQL (ปัจจุบันเรียกว่า Azure Synapse Dedicated SQL Pool ซึ่งเป็นคลังข้อมูลบนคลาวด์ ช่วยให้คุณสร้างและส่งมอบคลังข้อมูลบน Microsoft Azure ได้ Azure Data Warehouse สามารถประมวลผลข้อมูลเชิงสัมพันธ์และไม่ใช่เชิงสัมพันธ์จำนวนมากได้ ความสามารถของคลังข้อมูล SQL และแพลตฟอร์มคลาวด์คอมพิวติ้ง

รองรับเซิร์ฟเวอร์ SQL แบบเนทีฟและสามารถย้ายเซิร์ฟเวอร์ SQL ที่มีอยู่ไปยัง SQL Data Warehouse คุณยังสามารถใช้แบบสอบถามและโครงสร้างเดียวกันได้ นอกจากนี้ สมาชิกยังสามารถเข้าถึงขนาด หยุดชั่วคราว และลดขนาดทรัพยากรคลังข้อมูลของตนได้ทันที

ใช้เพื่อจัดหาโซลูชันคลังข้อมูลที่ใช้ SQL ระดับองค์กรที่สมบูรณ์ นอกจากนี้ยังสามารถใช้ในลักษณะต่อไปนี้:

• การโยกย้ายคลังข้อมูลที่มีอยู่ (ภายในองค์กร) ไปยังระบบคลาวด์
• จัดหาโซลูชันคลังข้อมูลให้กับแอปพลิเคชันและบริการที่ต้องการการจัดเก็บและดึงข้อมูลในขณะใช้งาน เช่น เว็บแอปพลิเคชัน
• โซลูชันคลังข้อมูลแบบไฮบริดที่เชื่อมต่อกับ Data Warehouse ที่โฮสต์โดย Azure และ SQL Server บนไซต์

คุณลักษณะที่ดีที่สุดของ Azure SQL Data Warehouse คือลักษณะที่ยืดหยุ่น ช่วยให้สามารถปรับขนาดและความสามารถในการจัดการทั้งที่เก็บข้อมูลและทรัพยากรการประมวลผลแยกจากกัน มันสร้างแพลตฟอร์ม win/win ที่ผู้ใช้จ่ายเฉพาะสิ่งที่พวกเขาใช้และเมื่อพวกเขาใช้

ด้านการประมวลผลของ Azure SQL Data Warehouse อิงตาม Data Warehouse Unit (DWU) ซึ่งติดตามทรัพยากรการคำนวณ เช่น I/O ที่เก็บข้อมูลและหน่วยความจำในโหนดประมวลผลที่เข้าร่วมทั้งหมด

Azure SQL Data Warehouse นำเสนอคุณลักษณะความปลอดภัยในการเชื่อมต่อ วิธีนี้ช่วยให้คุณจำกัดการเข้าถึงที่อยู่ IP หรือช่วง IP เฉพาะโดยใช้กฎไฟร์วอลล์ การผสานรวมกับการรับรองความถูกต้องของ Azure Active Directory (AAD) จะทำให้คุณสามารถเชื่อมต่อกับ Azure SQL Data Warehouse โดยใช้ข้อมูลประจำตัวจาก Azure AD

การเข้ารหัสหลายชั้นให้การป้องกันเมื่อไม่ได้ใช้งาน ขณะเคลื่อนไหว และใช้งานอยู่เพื่อปกป้องข้อมูลของคุณจากการถูกนำไปใช้ในทางที่ผิด มีเครื่องมือเพิ่มเติมสำหรับตรวจสอบและตรวจสอบข้อมูลและระบุการละเมิดความปลอดภัย

เมื่อรวมกับเครื่องมืออื่น ๆ ของ Microsoft Azure SQL Data Warehouse จะนำเสนอประสิทธิภาพที่ไม่มีใครเทียบได้ ซึ่งเป็นข้อได้เปรียบที่สำคัญกว่าบริการอื่นๆ ที่เทียบเคียงได้ในตลาด

Azure Synapse เฉพาะ SQL Pool

Azure Synapse SQL Pool Dedicated SQL Pool (ก่อนหน้านี้คือ Azure SQL Data Warehouse) เป็นคลังข้อมูลการประมวลผลแบบขนานขนาดใหญ่ที่คล้ายกับเทคโนโลยีฐานข้อมูลแบบขยายขนาดตามคอลัมน์ เช่น Snowflake และ Amazon Redshift ดูเหมือน SQL Server แบบดั้งเดิมสำหรับผู้ใช้ปลายทาง แต่ไม่ได้จัดเก็บและประมวลผลข้อมูลบนโหนดเดียว

สิ่งนี้สามารถปรับปรุงประสิทธิภาพของคลังข้อมูลที่มีขนาดใหญ่กว่าสองสามเทราไบต์ได้อย่างมาก แต่อาจมีวิธีแก้ปัญหาที่ดีกว่าสำหรับการใช้งานที่มีขนาดเล็กลง

สถาปัตยกรรมพื้นฐานนั้นแตกต่างจาก SQL Server แบบเดิมมาก ซึ่งหมายความว่าไวยากรณ์และวิธีการพัฒนาก็แตกต่างกันเช่นกัน

การแจกแจงถูกแมปกับโหนดคอมพิวเตอร์ในพูล SQL เฉพาะ พูลจะทำการแมปการแจกแจงของคุณใหม่ไปยังโหนดคอมพิวท์เมื่อคุณซื้อทรัพยากรการคำนวณเพิ่มเติม

คุณสามารถนำเข้าข้อมูลขนาดใหญ่โดยใช้การสืบค้น PolyBase SQL แบบง่าย จากนั้นใช้กลไกจัดการการสืบค้นแบบกระจายสำหรับการวิเคราะห์ที่มีประสิทธิภาพสูง

พูล SQL เฉพาะ ซึ่งเดิมคือ SQL DW จะให้แหล่งข้อมูลความจริงเพียงแหล่งเดียวแก่ธุรกิจของคุณ ที่ช่วยให้คุณสามารถรวมและวิเคราะห์ข้อมูลได้เร็วยิ่งขึ้น และให้ข้อมูลเชิงลึกที่มีประสิทธิภาพยิ่งขึ้น

ความแตกต่างระหว่างพูล SQL เฉพาะของ Azure Synapse และพูล SQL เฉพาะในพื้นที่ทำงาน Azure Synapse Analytics คืออะไร

PowerShell เป็นหนึ่งในพื้นที่ที่มีความสับสนมากที่สุดในเอกสารประกอบระหว่างพูล SQL เฉพาะ (เดิมคือ SQLDW) และ “Synapse Analytics” เฉพาะกลุ่ม SQL

การใช้งานดั้งเดิมของ SQL DW ใช้เซิร์ฟเวอร์แบบลอจิคัลที่คล้ายกับ Azure SQL DB มีการแชร์โมดูล PowerShell ชื่อ Az.Sql

โมดูลนี้สร้างพูล SQL ใหม่ (เดิมคือ SQLDW) โดยใช้ cmdlet New.AzSqlDatabase มีพารามิเตอร์ “Edition” ที่ให้คุณระบุว่าคุณต้องการ DataWarehouse

Synapse Analytics มาพร้อมกับโมดูล PowerShell ใหม่จาก Az.Synapse เมื่อเปิดตัวครั้งแรก ในการสร้างพูล SQL เฉพาะใน Synapse Analytics Workspace คุณจะต้องใช้ New-AzSynapseSqlPool

โมดูล PowerShell นี้ไม่ต้องการให้คุณรวมพารามิเตอร์ “Edition” เนื่องจากใช้สำหรับสิ่งประดิษฐ์ Synapse เท่านั้น

พูล SQL เฉพาะให้การประมวลผลและการจัดเก็บแบบ T-SQL สามารถโหลด สร้างโมเดล และประมวลผลข้อมูลใน Synapse เพื่อให้ข้อมูลเชิงลึกเร็วขึ้น

Azure Synapse นำเสนอพูล Serverless SQL และ Apache Spark นอกเหนือจากพูล SQL เฉพาะ คุณสามารถเลือกหนึ่งที่เหมาะสมตามความต้องการของคุณ
พูล SQL แบบไร้เซิร์ฟเวอร์ช่วยให้คุณค้นหาข้อมูลที่จัดเก็บไว้ใน Data Lake ของคุณได้

Azure Synapse Dedicated SQL Pool ทำอะไรได้บ้าง

Azure Synapse Dedicated SQL Pool ใช้สถาปัตยกรรมที่ขยายขนาดออกเพื่อแจกจ่ายการคำนวณข้อมูลข้ามหลายโหนด คุณสามารถปรับขนาดการประมวลผลโดยไม่ขึ้นกับที่เก็บข้อมูล เนื่องจากการประมวลผลนั้นแตกต่างจากที่เก็บข้อมูล

พูล SQL แบบไร้เซิร์ฟเวอร์นั้นไร้เซิร์ฟเวอร์และปรับขนาดโดยอัตโนมัติเพื่อให้ตรงตามข้อกำหนดของทรัพยากรการสืบค้น ปรับให้เข้ากับการเปลี่ยนแปลงโทโพโลยีโดยการเพิ่ม การลบ หรือความล้มเหลวบนโหนด เพื่อให้แน่ใจว่าแบบสอบถามของคุณมีทรัพยากรเพียงพอและสามารถดำเนินการได้สำเร็จ

Synapse SQL ใช้สถาปัตยกรรมแบบโหนด Synapse SQL ใช้สถาปัตยกรรมแบบโหนด แอปพลิเคชันสามารถเชื่อมต่อกับโหนดควบคุมและออกคำสั่ง T-SQL นี่คือจุดเดียวสำหรับ Synapse SQL

โหนดควบคุม Azure Synapse SQL ใช้เครื่องมือการสืบค้นแบบกระจายที่ปรับการสืบค้นให้เหมาะสมสำหรับการประมวลผลแบบขนาน แล้วส่งต่อการดำเนินการไปยังโหนด Compute เพื่อให้สามารถทำงานได้แบบคู่ขนาน

โหนดควบคุมพูล SQL แบบไร้เซิร์ฟเวอร์ใช้กลไกประมวลผลการสืบค้นแบบกระจาย (DQP) เพื่อเพิ่มประสิทธิภาพและจัดการการดำเนินการแบบกระจาย

ซึ่งทำได้โดยแบ่งการสืบค้นของผู้ใช้ออกเป็นคำสั่งย่อยๆ ที่สามารถดำเนินการได้บนโหนด Compute แต่ละงานเป็นหน่วยปฏิบัติการแบบกระจาย ดึงข้อมูลจากงานอื่น ไฟล์กลุ่ม และอ่านจากที่เก็บข้อมูล

โหนดประมวลผลจะเก็บข้อมูลผู้ใช้ทั้งหมดและเรียกใช้การสืบค้นแบบคู่ขนาน Data Movement Service (DMS) ซึ่งเป็นบริการภายในระดับระบบ จะย้ายข้อมูลระหว่างโหนดเพื่ออนุญาตการสืบค้นแบบขนานและส่งคืนผลลัพธ์ที่ถูกต้อง

Synapse SQL ใช้ Azure Storage เพื่อความปลอดภัยของข้อมูลผู้ใช้ Azure Storage จัดเก็บและจัดการข้อมูลของคุณ มีค่าธรรมเนียมแยกต่างหากสำหรับการใช้งานพื้นที่จัดเก็บ

คุณสมบัติของ Azure Synapse Dedicated SQL Pools

นี่คือคุณสมบัติเด่นของ Azure Synapse SQL Pool:

• คุณสามารถสอบถามข้อมูลในรูปแบบต่างๆ เช่น Parquet, JSON และ CSV ใน Data Lake
• ผู้ใช้สามารถดูข้อมูลล่าสุดได้โดยใช้สิ่งที่เป็นนามธรรมเชิงสัมพันธ์
• T-SQL ให้คุณแปลงข้อมูลในทะเลสาบด้วยวิธีง่ายๆ ที่ปรับขนาดได้
• นักวิทยาศาสตร์ข้อมูลสามารถตรวจสอบโครงสร้างและเนื้อหาของข้อมูลในทะเลสาบได้อย่างรวดเร็วโดยใช้ OPENROWSET หรือการอนุมานสคีมาอัตโนมัติ
• วิศวกรข้อมูลสามารถใช้พูลเพื่อสำรวจทะเลสาบและแปลง สร้าง หรือลดความซับซ้อนของไปป์ไลน์การแปลงข้อมูล
• นักวิเคราะห์ข้อมูลสามารถเข้าถึงข้อมูลและจุดประกายตารางภายนอกผ่านภาษา T-SQL และเครื่องมืออื่นๆ ที่คุ้นเคย เครื่องมือเหล่านี้ยังสามารถเชื่อมต่อกับพูล SQL แบบไร้เซิร์ฟเวอร์
• สร้างรายงาน BI ได้ทันทีโดยผู้เชี่ยวชาญด้านข่าวกรองธุรกิจผ่านตาราง Spark หรือ Data Lake

เทียบกับ SQL Pool เฉพาะ พูล SQL แบบไร้เซิร์ฟเวอร์

พูล SQL แบบไร้เซิร์ฟเวอร์

พื้นที่ทำงาน Azure Synapse มีพูล SQL แบบไร้เซิร์ฟเวอร์ซึ่งทำหน้าที่เป็นบริการสืบค้นข้อมูลใน Data Lake ไม่ต้องการการกำหนดค่าเพิ่มเติมเพื่อเข้าถึงข้อมูล ไม่มีเซิร์ฟเวอร์ทั้งหมดและไม่ต้องการโครงสร้างพื้นฐานในการตั้งค่าหรือบำรุงรักษา

การปรับขนาดสามารถทำได้โดยอัตโนมัติเพื่อให้เป็นไปตามข้อกำหนดของทรัพยากร ผู้ใช้จ่ายเฉพาะข้อมูลที่ประมวลผลและไม่ใช่สำหรับทรัพยากรที่สงวนไว้ พูล SQL แบบไร้เซิร์ฟเวอร์ยังสร้างสถิติเพื่อเพิ่มประสิทธิภาพการดำเนินการค้นหา

ตัวอย่างเช่น เมื่อเราเรียกใช้การสืบค้นสองครั้งหรือเรียกใช้การสืบค้นข้อมูลสองรายการด้วยแผนการดำเนินการที่คล้ายคลึงกัน สถิติเหล่านี้สามารถนำกลับมาใช้ใหม่ได้
คุณลักษณะเหล่านี้ช่วยให้เราวิเคราะห์ข้อมูลปริมาณมากได้อย่างรวดเร็วโดยไม่ต้องคัดลอกหรือโหลดลงในร้านค้าใดร้านหนึ่ง

พูล SQL เฉพาะ

Synapse dedicated SQL Pool เป็นตัวต่อจาก Azure SQL Data Warehouse และนำเสนอฟีเจอร์คลังข้อมูลระดับองค์กรทั้งหมด อย่างไรก็ตาม ไม่มีพูล SQL แบบไร้เซิร์ฟเวอร์ ผู้ใช้ต้องสร้างและลบพูล SQL เฉพาะของ Synapse แทน นอกจากนี้เรายังสามารถเลือกทรัพยากรที่จะใช้

ทรัพยากรเหล่านี้วัดโดยใช้พูล SQL เฉพาะของ Synapse เรียกว่า Data Warehousing Units (DWUs) DU หมายถึงการรวมกันของทรัพยากร CPU หน่วยความจำและ IO

จำนวน DWU เป็นตัวกำหนดประสิทธิภาพและต้นทุนของพูล แทนที่จะถูกเรียกเก็บเงินต่อการสืบค้น เราจะถูกเรียกเก็บเงินทุกครั้งที่มีการใช้งานพูล ไม่ว่าจะทำงานไปมากน้อยเพียงใด

เพื่อหลีกเลี่ยงค่าใช้จ่ายเพิ่มเติม พูลเฉพาะสามารถหยุดและเริ่มต้นใหม่ได้ เราได้สร้างพูล SQL เฉพาะ 100 DWU สำหรับการทดสอบของเรา

หลังจากสร้างพูลแล้ว ข้อมูลสามารถโหลดเข้าไปได้โดยใช้คำสั่ง COPY, PolyBase พร้อมเคียวรี T–SQL หรือไปป์ไลน์ ข้อมูลเหล่านี้จะถูกเก็บไว้ในที่เก็บข้อมูลแบบเสาในตารางเชิงสัมพันธ์

SQL PoolServerless SQL Pool แบบเฉพาะทำให้คุณสามารถสืบค้น data lake และนำเข้าข้อมูลได้ ผู้ใช้สามารถสืบค้นไฟล์ data lake ได้ จำเป็นต้องมีโครงสร้างพื้นฐาน ไม่จำเป็นต้องสร้างโครงสร้างพื้นฐานหรือดูแลคลัสเตอร์ ก่อนที่คุณจะดำเนินการใดๆ ได้ จำเป็นต้องได้รับ เซิร์ฟเวอร์เฉพาะ ไม่จำเป็นต้องใช้โครงสร้างพื้นฐานสำหรับการแปลงข้อมูลหรือการสำรวจ ตารางเชิงสัมพันธ์ถูกใช้เพื่อจัดเก็บข้อมูล Data Lake จัดเก็บข้อมูล คุณสามารถจัดการค่าใช้จ่ายได้โดยการหยุด SQL Pool ชั่วคราวและปรับขนาดคลังสินค้า ค่าใช้จ่ายจะได้รับการจัดการและออกใบแจ้งหนี้โดยอัตโนมัติตาม แบบจ่ายต่อคำขอ ทรัพยากรที่สงวนไว้จะมีค่าใช้จ่าย ค่าใช้จ่ายในการประมวลผลข้อมูลต่อการสืบค้นจะถูกเรียกเก็บ จ่ายต่อ DWU ที่จัดเตรียมไว้ จ่ายต่อ TB ที่ประมวลผล

บทสรุป

นั่นคือทั้งหมดที่เกี่ยวกับ Azure SQL Data Warehouse (ปัจจุบันเรียกว่า Azure Synapse Dedicated SQL Pool) แม้ว่า SQL Pool เฉพาะอาจดูคล้ายกับ SQL Server แบบดั้งเดิมจากหลายๆ มุม แต่สถาปัตยกรรมพื้นฐาน (การประมวลผลแบบขนานขนาดใหญ่) นั้นแตกต่างไปจากเดิมอย่างสิ้นเชิง ซึ่งหมายความว่าแนวคิดและเทคนิคบางอย่างใช้ได้กับ SQL Pool เฉพาะเท่านั้น

คุณยังสำรวจความแตกต่างระหว่าง Data Lake และ Data Warehouse ได้อีกด้วย