เสียบปลั๊กและเรียกใช้โมเดล Machine Learning สำหรับ Visual Anomalies ในสถาปัตยกรรม AWS Serverless

จินตนาการว่าคุณมีโครงสร้างพื้นฐานขนาดใหญ่ของอุปกรณ์ประเภทต่างๆ ที่คุณต้องบำรุงรักษาเป็นประจำหรือตรวจสอบให้แน่ใจว่าอุปกรณ์เหล่านั้นไม่เป็นอันตรายต่อสภาพแวดล้อมโดยรอบ

วิธีหนึ่งในการบรรลุเป้าหมายนี้คือการส่งคนไปประจำทุกจุดเพื่อตรวจสอบว่าทุกอย่างปกติดีหรือไม่ วิธีนี้สามารถทำได้แต่ค่อนข้างใช้เวลาและทรัพยากรค่อนข้างแพง และถ้าโครงสร้างพื้นฐานมีขนาดใหญ่พอ คุณอาจไม่สามารถครอบคลุมได้ทั้งหมดภายในหนึ่งปี

อีกวิธีหนึ่งคือทำให้กระบวนการนั้นเป็นไปโดยอัตโนมัติและปล่อยให้งานในระบบคลาวด์ตรวจสอบให้คุณ เพื่อให้เกิดขึ้น คุณจะต้องทำสิ่งต่อไปนี้:

👉 กระบวนการที่รวดเร็วในการรับรูปภาพของอุปกรณ์ สิ่งนี้ยังสามารถทำได้โดยบุคคล เนื่องจากยังเร็วกว่ามากที่จะทำเพียงแค่รูปภาพ เช่น ทำกระบวนการตรวจสอบอุปกรณ์ทั้งหมด นอกจากนี้ยังสามารถทำได้ด้วยภาพถ่ายที่ถ่ายจากรถยนต์หรือแม้แต่โดรน ซึ่งในกรณีนี้จะกลายเป็นกระบวนการรวบรวมรูปภาพที่รวดเร็วและเป็นอัตโนมัติมากขึ้น

👉 จากนั้นคุณต้องส่งรูปภาพที่ได้รับทั้งหมดไปยังที่เฉพาะในคลาวด์

👉 ในระบบคลาวด์ คุณต้องมีงานอัตโนมัติเพื่อรับรูปภาพและประมวลผลผ่านโมเดลการเรียนรู้ของเครื่องที่ได้รับการฝึกฝนให้จดจำความเสียหายหรือความผิดปกติของอุปกรณ์

👉 สุดท้าย ผู้ใช้ที่ต้องการจะต้องเห็นผลลัพธ์เพื่อให้สามารถกำหนดเวลาการซ่อมแซมสำหรับอุปกรณ์ที่มีปัญหาได้

มาดูกันว่าเราจะตรวจจับความผิดปกติจากรูปภาพในระบบคลาวด์ AWS ได้อย่างไร Amazon มีโมเดลแมชชีนเลิร์นนิงที่สร้างไว้ล่วงหน้าสองสามรุ่นที่เราสามารถใช้เพื่อจุดประสงค์นั้นได้

วิธีสร้างแบบจำลองสำหรับการตรวจจับความผิดปกติทางสายตา

หากต้องการสร้างแบบจำลองสำหรับการตรวจจับความผิดปกติทางสายตา คุณจะต้องปฏิบัติตามหลายขั้นตอน:

ขั้นตอนที่ 1: กำหนดปัญหาที่คุณต้องการแก้ไขและประเภทของความผิดปกติที่คุณต้องการตรวจจับให้ชัดเจน วิธีนี้จะช่วยคุณกำหนดชุดข้อมูลการทดสอบที่เหมาะสมซึ่งคุณจะต้องฝึกโมเดล

ขั้นตอนที่ 2: รวบรวมชุดข้อมูลขนาดใหญ่ของภาพที่แสดงสภาวะปกติและสภาวะผิดปกติ ติดป้ายกำกับรูปภาพเพื่อระบุว่าสิ่งใดปกติและสิ่งใดมีความผิดปกติ

ขั้นตอนที่ 3: เลือกสถาปัตยกรรมแบบจำลองที่เหมาะกับงาน ซึ่งอาจเกี่ยวข้องกับการเลือกโมเดลที่ฝึกไว้ล่วงหน้าและปรับแต่งให้เหมาะกับกรณีการใช้งานเฉพาะของคุณ หรือสร้างโมเดลแบบกำหนดเองตั้งแต่เริ่มต้น

ขั้นตอนที่ 4: ฝึกโมเดลโดยใช้ชุดข้อมูลที่เตรียมไว้และอัลกอริทึมที่เลือก ซึ่งหมายถึงการใช้การเรียนรู้การถ่ายโอนเพื่อใช้ประโยชน์จากโมเดลที่ฝึกไว้ล่วงหน้าหรือฝึกโมเดลตั้งแต่เริ่มต้นโดยใช้เทคนิคต่างๆ เช่น เครือข่ายประสาทเทียม (CNNs)

วิธีฝึกโมเดลแมชชีนเลิร์นนิง

ที่มา: aws.amazon.com

กระบวนการฝึกอบรมโมเดลแมชชีนเลิร์นนิงของ AWS สำหรับการตรวจจับความผิดปกติทางภาพมักเกี่ยวข้องกับขั้นตอนที่สำคัญหลายขั้นตอน

#1. รวบรวมข้อมูล

ในการเริ่มต้น คุณต้องรวบรวมและติดป้ายชุดข้อมูลขนาดใหญ่ของภาพที่แสดงทั้งสภาวะปกติและสภาวะผิดปกติ ยิ่งชุดข้อมูลมีขนาดใหญ่เท่าใด ก็จะยิ่งสามารถฝึกโมเดลได้ดีและแม่นยำมากขึ้นเท่านั้น แต่ยังต้องใช้เวลามากขึ้นในการฝึกฝนแบบจำลอง

โดยปกติแล้ว คุณต้องมีรูปภาพประมาณ 1,000 ภาพในชุดทดสอบเพื่อให้เริ่มต้นได้ดี

  วิธี Ping ที่อยู่ IP จากพีซีหรืออุปกรณ์พกพา

#2. เตรียมข้อมูล

ข้อมูลรูปภาพต้องได้รับการประมวลผลล่วงหน้าก่อนเพื่อให้โมเดลแมชชีนเลิร์นนิงสามารถรับข้อมูลเหล่านั้นได้ การประมวลผลล่วงหน้าอาจหมายถึงสิ่งต่างๆ เช่น:

  • ทำความสะอาดรูปภาพที่ป้อนลงในโฟลเดอร์ย่อยที่แยกจากกัน การแก้ไขข้อมูลเมตา ฯลฯ
  • ปรับขนาดรูปภาพให้ตรงตามข้อกำหนดความละเอียดของโมเดล
  • กระจายรูปภาพเหล่านั้นออกเป็นส่วนเล็กๆ ของรูปภาพเพื่อการประมวลผลแบบคู่ขนานที่มีประสิทธิภาพมากขึ้น

#3. เลือกรุ่น

ตอนนี้เลือกรุ่นที่เหมาะสมเพื่อทำงานที่เหมาะสม เลือกแบบจำลองที่ฝึกไว้ล่วงหน้า หรือคุณสามารถสร้างแบบจำลองแบบกำหนดเองที่เหมาะสมสำหรับการตรวจจับความผิดปกติทางสายตาบนแบบจำลอง

#4. ประเมินผลลัพธ์

เมื่อแบบจำลองประมวลผลชุดข้อมูลของคุณ คุณจะต้องตรวจสอบประสิทธิภาพ นอกจากนี้ คุณต้องการตรวจสอบว่าผลลัพธ์เป็นที่น่าพอใจสำหรับความต้องการหรือไม่ ซึ่งอาจหมายความว่าผลลัพธ์ถูกต้องมากกว่า 99% ของข้อมูลอินพุต

#5. ปรับใช้โมเดล

หากคุณพอใจกับผลลัพธ์และประสิทธิภาพ ให้ปรับใช้โมเดลด้วยเวอร์ชันเฉพาะในสภาพแวดล้อมบัญชี AWS เพื่อให้กระบวนการและบริการสามารถเริ่มใช้งานได้

#6. ตรวจสอบและปรับปรุง

ปล่อยให้รันผ่านงานทดสอบและชุดข้อมูลรูปภาพต่างๆ และประเมินอย่างต่อเนื่องว่าพารามิเตอร์ที่จำเป็นสำหรับการตรวจหาความถูกต้องยังคงอยู่หรือไม่

ถ้าไม่ ให้ฝึกโมเดลใหม่โดยรวมชุดข้อมูลใหม่ที่โมเดลให้ผลลัพธ์ที่ไม่ถูกต้อง

โมเดลการเรียนรู้ของเครื่อง AWS

ทีนี้ มาดูแบบจำลองที่เป็นรูปธรรมบางอย่างที่คุณสามารถใช้ประโยชน์จากระบบคลาวด์ของ Amazon

การยอมรับ AWS

ที่มา: aws.amazon.com

การจดจำเป็นบริการวิเคราะห์รูปภาพและวิดีโอสำหรับวัตถุประสงค์ทั่วไปที่ใช้ได้สำหรับกรณีการใช้งานต่างๆ เช่น การจดจำใบหน้า การตรวจจับวัตถุ และการจดจำข้อความ โดยส่วนใหญ่แล้ว คุณจะใช้โมเดล Rekognition สำหรับการสร้างผลลัพธ์การตรวจจับแบบ Raw เริ่มต้นเพื่อสร้าง Data Lake ของความผิดปกติที่ระบุ

มันมีโมเดลที่สร้างไว้ล่วงหน้ามากมายที่คุณสามารถใช้ได้โดยไม่ต้องฝึกฝน นอกจากนี้ Rekognition ยังนำเสนอการวิเคราะห์รูปภาพและวิดีโอตามเวลาจริงด้วยความแม่นยำสูงและเวลาแฝงต่ำ

ต่อไปนี้เป็นกรณีการใช้งานทั่วไปที่ Rekognition เป็นตัวเลือกที่ดีสำหรับการตรวจจับความผิดปกติ:

  • มีกรณีการใช้งานทั่วไปสำหรับการตรวจจับความผิดปกติ เช่น การตรวจจับความผิดปกติในรูปภาพหรือวิดีโอ
  • ทำการตรวจจับความผิดปกติตามเวลาจริง
  • ผสานรวมโมเดลการตรวจจับความผิดปกติของคุณเข้ากับบริการของ AWS เช่น Amazon S3, Amazon Kinesis หรือ AWS Lambda

และนี่คือตัวอย่างที่ชัดเจนของความผิดปกติที่คุณสามารถตรวจจับได้โดยใช้ Rekognition:

  • ความผิดปกติในใบหน้า เช่น การตรวจจับสีหน้าหรืออารมณ์ที่อยู่นอกช่วงปกติ
  • วัตถุที่หายไปหรือวางผิดที่ในฉาก
  • คำที่สะกดผิดหรือรูปแบบข้อความที่ผิดปกติ
  • สภาพแสงที่ผิดปกติหรือวัตถุที่ไม่คาดคิดในฉาก
  • เนื้อหาที่ไม่เหมาะสมหรือไม่เหมาะสมในภาพหรือวิดีโอ
  • การเปลี่ยนแปลงอย่างกะทันหันในการเคลื่อนไหวหรือรูปแบบการเคลื่อนไหวที่ไม่คาดคิด

AWS มองหาวิสัยทัศน์

ที่มา: aws.amazon.com

Lookout for Vision เป็นโมเดลที่ออกแบบมาโดยเฉพาะสำหรับการตรวจจับความผิดปกติในกระบวนการทางอุตสาหกรรม เช่น การผลิตและสายการผลิต โดยปกติแล้วจะต้องมีการประมวลผลโค้ดล่วงหน้าและการประมวลผลภายหลังของรูปภาพหรือการตัดรูปภาพที่เป็นรูปธรรม ซึ่งมักจะทำโดยใช้ภาษาโปรแกรม Python ส่วนใหญ่จะเชี่ยวชาญในปัญหาพิเศษบางอย่างในภาพ

  แก้ไขข้อผิดพลาด Roku Low Power

จำเป็นต้องมีการฝึกอบรมที่กำหนดเองในชุดข้อมูลของรูปภาพปกติและผิดปกติเพื่อสร้างโมเดลที่กำหนดเองสำหรับการตรวจจับความผิดปกติ มันไม่ได้เน้นแบบเรียลไทม์ แต่ได้รับการออกแบบมาสำหรับการประมวลผลภาพเป็นชุดโดยเน้นที่ความถูกต้องและแม่นยำ

ต่อไปนี้เป็นกรณีการใช้งานทั่วไปที่ Lookout for Vision เป็นตัวเลือกที่ดีหากคุณต้องการตรวจจับ:

  • ข้อบกพร่องในผลิตภัณฑ์ที่ผลิตหรือการระบุความล้มเหลวของอุปกรณ์ในสายการผลิต
  • ชุดข้อมูลรูปภาพหรือข้อมูลอื่นๆ ขนาดใหญ่
  • ความผิดปกติตามเวลาจริงในกระบวนการทางอุตสาหกรรม
  • ความผิดปกติที่รวมเข้ากับบริการอื่นๆ ของ AWS เช่น Amazon S3 หรือ AWS IoT

และนี่คือตัวอย่างที่ชัดเจนของความผิดปกติที่คุณสามารถตรวจจับได้โดยใช้ Lookout for Vision:

  • ข้อบกพร่องในผลิตภัณฑ์ที่ผลิต เช่น รอยขีดข่วน รอยบุบ หรือความไม่สมบูรณ์อื่นๆ อาจส่งผลต่อคุณภาพของผลิตภัณฑ์
  • ความล้มเหลวของอุปกรณ์ในสายการผลิต เช่น การตรวจจับเครื่องจักรที่เสียหรือทำงานผิดพลาด ซึ่งอาจทำให้เกิดความล่าช้าหรืออันตรายต่อความปลอดภัย
  • ปัญหาการควบคุมคุณภาพในสายการผลิตรวมถึงการตรวจจับผลิตภัณฑ์ที่ไม่ตรงตามข้อกำหนดหรือค่าความคลาดเคลื่อนที่กำหนด
  • อันตรายด้านความปลอดภัยในสายการผลิตรวมถึงการตรวจจับวัตถุหรือวัสดุที่อาจก่อให้เกิดความเสี่ยงต่อผู้ปฏิบัติงานหรืออุปกรณ์
  • ความผิดปกติในกระบวนการผลิต เช่น การตรวจจับการเปลี่ยนแปลงที่ไม่คาดคิดในการไหลของวัสดุหรือผลิตภัณฑ์ผ่านสายการผลิต

AWS Sagemaker

ที่มา: aws.amazon.com

Sagemaker เป็นแพลตฟอร์มที่มีการจัดการเต็มรูปแบบสำหรับการสร้าง การฝึกอบรม และการปรับใช้โมเดลแมชชีนเลิร์นนิงแบบกำหนดเอง

เป็นโซลูชันที่แข็งแกร่งกว่ามาก อันที่จริงแล้ว มีวิธีเชื่อมต่อและดำเนินการกระบวนการหลายขั้นตอนหลายขั้นตอนในสายงานเดียวที่ต่อเนื่องกัน เหมือนกับที่ AWS Step Functions สามารถทำได้

แต่เนื่องจาก Sagemaker ใช้อินสแตนซ์ EC2 แบบเฉพาะกิจในการประมวลผล จึงไม่มีการจำกัดเวลา 15 นาทีสำหรับการประมวลผลงานเดียว เช่นในกรณีของฟังก์ชันแลมบ์ดาของ AWS ใน AWS Step Functions

คุณยังสามารถทำการปรับโมเดลอัตโนมัติด้วย Sagemaker ซึ่งเป็นคุณสมบัติที่ทำให้เป็นตัวเลือกที่โดดเด่น สุดท้าย Sagemaker สามารถนำโมเดลไปใช้ในสภาพแวดล้อมการผลิตได้อย่างง่ายดาย

ต่อไปนี้เป็นกรณีการใช้งานทั่วไปที่ SageMaker เป็นตัวเลือกที่ดีสำหรับการตรวจจับความผิดปกติ:

  • กรณีการใช้งานเฉพาะที่ไม่ครอบคลุมในโมเดลหรือ API ที่สร้างไว้ล่วงหน้า และหากคุณต้องการสร้างโมเดลที่เหมาะกับความต้องการเฉพาะของคุณ
  • หากคุณมีชุดข้อมูลรูปภาพหรือข้อมูลอื่นๆ จำนวนมาก โมเดลที่สร้างไว้ล่วงหน้าต้องการการประมวลผลล่วงหน้าในกรณีดังกล่าว แต่ Sagemaker สามารถทำได้โดยไม่ต้องใช้
  • หากคุณต้องการทำการตรวจจับสิ่งผิดปกติแบบเรียลไทม์
  • หากคุณต้องการรวมโมเดลของคุณเข้ากับบริการอื่นๆ ของ AWS เช่น Amazon S3, Amazon Kinesis หรือ AWS Lambda
  9 สุดยอดผู้สร้าง Mood Board เพื่อสะท้อนความคิดและความคิด

และนี่คือการตรวจจับความผิดปกติทั่วไปบางส่วนที่ Sagemaker สามารถทำได้:

  • การตรวจจับการฉ้อโกงในการทำธุรกรรมทางการเงิน เช่น รูปแบบการใช้จ่ายที่ผิดปกติ หรือการทำธุรกรรมนอกช่วงปกติ
  • ความปลอดภัยทางไซเบอร์ในการรับส่งข้อมูลเครือข่าย เช่น รูปแบบการถ่ายโอนข้อมูลที่ผิดปกติหรือการเชื่อมต่อที่ไม่คาดคิดไปยังเซิร์ฟเวอร์ภายนอก
  • การตรวจวินิจฉัยทางการแพทย์ด้วยภาพทางการแพทย์ เช่น การตรวจหาเนื้องอก
  • ความผิดปกติในประสิทธิภาพของอุปกรณ์ เช่น การตรวจจับการเปลี่ยนแปลงของการสั่นสะเทือนหรืออุณหภูมิ
  • การควบคุมคุณภาพในกระบวนการผลิต เช่น การตรวจจับข้อบกพร่องในผลิตภัณฑ์ หรือการระบุความเบี่ยงเบนจากมาตรฐานคุณภาพที่คาดไว้
  • รูปแบบการใช้พลังงานที่ผิดปกติ

วิธีรวมโมเดลเข้ากับสถาปัตยกรรมไร้เซิร์ฟเวอร์

โมเดลแมชชีนเลิร์นนิงที่ผ่านการฝึกอบรมคือบริการคลาวด์ที่ไม่ใช้เซิร์ฟเวอร์คลัสเตอร์ในพื้นหลัง ดังนั้นจึงสามารถรวมอยู่ในสถาปัตยกรรมไร้เซิร์ฟเวอร์ที่มีอยู่ได้อย่างง่ายดาย

การทำงานอัตโนมัติทำได้ผ่านฟังก์ชันแลมบ์ดาของ AWS ซึ่งเชื่อมต่อกับงานหลายขั้นตอนภายในบริการ AWS Step Functions

โดยทั่วไป คุณต้องการการตรวจหาเบื้องต้นหลังจากรวบรวมรูปภาพและประมวลผลล่วงหน้าในบัคเก็ต S3 นั่นคือที่ที่คุณจะสร้างการตรวจจับความผิดปกติของอะตอมบนรูปภาพอินพุตและบันทึกผลลัพธ์ลงใน Data Lake เช่น แสดงโดยฐานข้อมูล Athena

ในบางกรณี การตรวจจับเบื้องต้นนี้ไม่เพียงพอสำหรับกรณีการใช้งานที่เป็นรูปธรรมของคุณ คุณอาจต้องการการตรวจหาอื่นที่มีรายละเอียดมากขึ้น ตัวอย่างเช่น โมเดลเริ่มต้น (เช่น การจดจำ) สามารถตรวจพบปัญหาบางอย่างบนอุปกรณ์ได้ แต่ไม่สามารถระบุได้อย่างน่าเชื่อถือว่าเป็นปัญหาประเภทใด

เพื่อสิ่งนั้น คุณอาจต้องใช้รุ่นอื่นที่มีความสามารถต่างกัน ในกรณีเช่นนี้ คุณสามารถเรียกใช้โมเดลอื่น (เช่น Lookout for Vision) บนชุดย่อยของภาพที่โมเดลเริ่มต้นระบุปัญหาได้

นี่เป็นวิธีที่ดีในการประหยัดค่าใช้จ่าย เนื่องจากคุณไม่จำเป็นต้องรันโมเดลที่สองกับรูปภาพทั้งชุด แต่คุณเรียกใช้เฉพาะในชุดย่อยที่มีความหมายเท่านั้น

ฟังก์ชัน AWS Lambda จะครอบคลุมการประมวลผลดังกล่าวทั้งหมดโดยใช้โค้ด Python หรือ Javascript ภายใน ขึ้นอยู่กับธรรมชาติของกระบวนการและจำนวนฟังก์ชันแลมบ์ดาของ AWS ที่คุณจะต้องรวมไว้ในโฟลว์เท่านั้น ขีดจำกัด 15 นาทีสำหรับระยะเวลาสูงสุดของการเรียกแลมบ์ดา AWS จะเป็นตัวกำหนดว่ากระบวนการดังกล่าวต้องมีกี่ขั้นตอน

คำสุดท้าย

การทำงานกับโมเดลแมชชีนเลิร์นนิงบนคลาวด์เป็นงานที่น่าสนใจมาก หากคุณมองจากมุมมองของทักษะและเทคโนโลยี คุณจะพบว่าจำเป็นต้องมีทีมที่มีทักษะที่หลากหลาย

ทีมต้องเข้าใจวิธีฝึกโมเดล ไม่ว่าจะเป็นแบบที่สร้างไว้ล่วงหน้าหรือสร้างขึ้นใหม่ตั้งแต่ต้น ซึ่งหมายความว่าคณิตศาสตร์หรือพีชคณิตจำนวนมากมีส่วนร่วมในการสร้างสมดุลระหว่างความน่าเชื่อถือและประสิทธิภาพของผลลัพธ์

คุณต้องมีทักษะการเขียนโปรแกรม Python หรือ Javascript ฐานข้อมูลและ SQL ขั้นสูงด้วย และหลังจากงานเนื้อหาทั้งหมดเสร็จสิ้น คุณต้องมีทักษะ DevOps เพื่อเสียบเข้ากับไปป์ไลน์ที่จะทำให้เป็นงานอัตโนมัติที่พร้อมสำหรับการปรับใช้และการดำเนินการ

การกำหนดความผิดปกติและการฝึกอบรมโมเดลเป็นสิ่งหนึ่ง แต่เป็นการท้าทายที่จะรวมทั้งหมดไว้ในทีมทำงานเดียวที่สามารถประมวลผลผลลัพธ์ของแบบจำลองและบันทึกข้อมูลด้วยวิธีที่มีประสิทธิภาพและเป็นอัตโนมัติเพื่อให้บริการแก่ผู้ใช้ปลายทาง

ต่อไป ตรวจสอบทั้งหมดเกี่ยวกับการจดจำใบหน้าสำหรับธุรกิจ

เรื่องล่าสุด

x