การถ่ายภาพความร้อนสำหรับแผงโซลาร์เซลล์: SESPNet จับจุดร้อนทุกจุดในอินฟราเรดได้อย่างไร

แนะนำผลิตภัณฑ์

ฟาร์มโซลาร์เซลล์หนึ่งแห่งสามารถมีโมดูลได้ตั้งแต่หลายหมื่นถึงหลายล้านโมดูล วันแล้ววันเล่าที่พวกมันต้องเผชิญกับความร้อน ลม ทราย ฝน และหิมะ จึงไม่น่าแปลกใจที่พวกมันจะเกิดอาการต่างๆ มากมาย อาการที่พบบ่อยที่สุดและอันตรายที่สุดคือจุดร้อน

จุดร้อนคือรอยเล็กๆ บนโมดูลที่ทำงานร้อนผิดปกติ อย่างดีที่สุดมันจะลดกำลังไฟฟ้าที่ผลิตได้ อย่างแย่ที่สุดมันจะไหม้ทะลุแผ่นหลังและทำให้เกิดไฟไหม้ ซึ่งเป็นอันตรายต่อทั้งโรงงาน ปัญหาคือโมดูลถูกวางเรียงชิดกัน การส่งทีมงานไปตรวจสอบทีละโมดูลด้วยเครื่องมือมือถือนั้นช้าและมองไม่เห็นจุดบกพร่อง ดังนั้นการจับคู่การถ่ายภาพความร้อนอินฟราเรดกับการเรียนรู้เชิงลึกจึงได้รับความสนใจ

ชี้กล้องอินฟราเรดไปที่โมดูล จับการกระจายอุณหภูมิเป็นแผนที่ความร้อน จากนั้นให้โครงข่ายประสาทเทียมที่ผ่านการฝึกแล้วอ่านแผนที่นั้นให้คุณและทำเครื่องหมายว่าบริเวณไหนร้อนและร้อนแค่ไหน ฟังดูตรงไปตรงมา แต่การทำให้มันทำงานได้จริงในภาคสนามเป็นอีกเรื่องหนึ่ง ภาพอินฟราเรดมีข้อบกพร่องสามประการที่ทำให้อัลกอริทึมทั่วไปทำงานผิดพลาด: ความละเอียดต่ำ ขนาดข้อบกพร่องที่แตกต่างกันอย่างมาก และพื้นหลังที่รก

วิธีการใหม่ที่เรียกว่า SESPNet (Semantic Enhancement and Scale Perception Network) มุ่งตรงไปที่ข้อบกพร่องสามประการนั้น ตัวเลขของมันแข็งแกร่ง: ความแม่นยำเฉลี่ย 92.1%, 62.4 เฟรมต่อวินาที และมีขนาดเล็กพอที่จะทำงานแบบเรียลไทม์บนอุปกรณ์ฝังตัวขนาดเท่าฝ่ามือ บทความนี้จะอธิบายว่ามันดึงจุดร้อนทุกจุดออกจากกรอบอินฟราเรดสีเทาหม่นได้อย่างไร

ก่อนอื่น ว่าทำไมฮอตสปอตถึงสำคัญ โมดูล PV ประกอบด้วยเซลล์หลายเซลล์ที่ต่ออนุกรมกัน หากเซลล์หนึ่งสูญเสียกำลังผลิตเนื่องจากเงา รอยแตกขนาดเล็ก หรือสิ่งสกปรก มันจะหยุดจ่ายกระแสและเริ่มทำตัวเหมือนตัวต้านทาน เปลี่ยนกระแสจากเซลล์อื่นเป็นความร้อนและเผาผลาญภายในตัวเอง เซลล์นั้นจะกลายเป็นแหล่งความร้อนของทั้งสตริง ร้อนกว่าเซลล์ข้างเคียงหลายสิบองศา กรณีไม่รุนแรงจะลดกำลังผลิตของสตริง กรณีรุนแรงจะทำให้สารหุ้มเซลล์เสื่อมสภาพเมื่อเวลาผ่านไป เผาทะลุแผ่นหลัง และอาจทำให้เกิดไฟไหม้ได้ การค้นหาฮอตสปอตตั้งแต่เนิ่นๆ และจัดการอย่างรวดเร็วเป็นงานที่ทีมงาน PV หลีกเลี่ยงไม่ได้

รูปที่ 1: โมดูลแผงรับแสงอาทิตย์ติดตั้งบนหลังคา ถูกเปิดรับสภาพแวดล้อมภายนอกเป็นเวลาหลายปี ซึ่งเกิดจุดความร้อนเฉพาะที่กลายเป็นฮอตสปอต

รูปที่ 2: ขั้นตอนการทำงานห้าขั้นตอนของการตรวจจับความร้อนอินฟราเรดสำหรับข้อบกพร่องของโมดูล PV ตั้งแต่การจับอุณหภูมิไปจนถึงการระบุแผงที่บกพร่อง

พารามิเตอร์ทางเทคนิค

ทำไมอินฟราเรดจึงจำเป็นสำหรับการตรวจจับฮอตสปอต

เพื่อทำความเข้าใจอัลกอริทึมนี้ ให้เริ่มจากพื้นฐาน: ทำไมกล้องแสงที่มองเห็นจึงไม่เพียงพอสำหรับข้อบกพร่อง PV ที่ซ่อนอยู่ และทำไมอินฟราเรดจึงเป็นทางเลือกเดียว

การถ่ายภาพด้วยแสงที่มองเห็นเป็นเพียงการถ่ายภาพธรรมดา ความละเอียดสูง รายละเอียดมาก เหมาะสำหรับการตรวจจับรอยแตก รอยขีดข่วน และสิ่งสกปรกบนพื้นผิว ซึ่งเป็นสิ่งที่มองเห็นได้ แต่มีข้อจำกัดร้ายแรง มันอ่านได้เฉพาะลักษณะภายนอก ไม่ใช่อุณหภูมิ รอยแตกขนาดเล็กหรือรอยต่อบัดกรีเย็นภายในโมดูลมักไม่เปลี่ยนลักษณะภายนอกในช่วงแรก แต่กลับขัดขวางกระแสไฟฟ้าที่จุดนั้นและทำให้ร้อนขึ้น กล้องแสงที่มองเห็นไม่สามารถตรวจจับข้อบกพร่องทางความร้อนเหล่านี้ได้ และในเวลากลางคืนหรือแสงน้อยก็ไร้ประโยชน์

อินฟราเรดใช้แนวทางที่แตกต่าง วัตถุใดๆ ที่มีอุณหภูมิสูงกว่าศูนย์สัมบูรณ์จะแผ่รังสีอินฟราเรด และยิ่งร้อนมากรังสียิ่งแรง กล้องอินฟราเรดจะจับรังสีนั้นและแปลงการกระจายอุณหภูมิที่มองไม่เห็นเป็นแผนที่ความร้อนสีหรือระดับเทาโดยตรง ไม่ต้องใช้แสงภายนอก จึงทำงานได้ทั้งกลางวันและกลางคืน บริเวณที่โมดูลร้อนและร้อนมากน้อยเพียงใดจะแสดงชัดเจน สำหรับข้อบกพร่องที่เกิดจากความร้อน เช่น ฮอตสปอตและเส้นกริดแตก อินฟราเรดคือทางออกที่เหมาะสม

นั่นคือเหตุผลที่อินฟราเรดกลายเป็นวิธีสำคัญในการเพิ่มทั้งความแม่นยำและความเร็วในการตรวจจับข้อบกพร่องในโรงไฟฟ้า PV โดรนที่ติดตั้งกล้องอินฟราเรดสามารถสำรวจแผงทั้งหมดได้ภายในไม่กี่นาที เร็วกว่าทีมงาน manual หลายสิบเท่า แต่ความสามารถในการมองเห็นความร้อนนี้มาพร้อมกับราคา: คุณภาพของภาพต่ำกว่าภาพจากแสงที่มองเห็นมาก

วิธีการแบบเก่าที่ใช้คนถือเครื่องมือและวัดแผงทีละแผงนั้นช้าและพึ่งพาประสบการณ์อย่างมาก เมื่อแผงถูกจัดเรียงอย่างหนาแน่นและมีจำนวนเป็นพัน การอ่านทีละแผงทำให้เหนื่อยล้า เกิดข้อผิดพลาดได้ง่าย และแทบจะเป็นไปไม่ได้ในเวลากลางคืน การใช้โดรนร่วมกับอินฟราเรดช่วยเพิ่มขั้นตอนการเก็บภาพให้สูงสุด แต่ถ้าคุณยังคงอ่านภาพเหล่านั้นหลายพันภาพด้วยมือ คอขวดก็แค่ย้ายจากการวัดไปสู่การดู เพื่อปิดวงจร คุณต้องมีอัลกอริทึมในการอ่านภาพ นั่นคือจุดที่ deep learning เข้ามามีบทบาท

รูปที่ 3: แผนที่ความร้อนอินฟราเรดทั่วไป ยิ่งพื้นที่ร้อนมาก สียิ่งอุ่นขึ้น และบริเวณที่ร้อนเกินไปจะเด่นชัดทันที นี่คือวัตถุดิบสำหรับการตรวจจับจุดร้อน

รูปที่ 4: การแบ่งหน้าที่ระหว่างการถ่ายภาพด้วยแสงที่มองเห็นได้และอินฟราเรด สำหรับข้อบกพร่องทางความร้อน อินฟราเรดคือทางออกตามธรรมชาติ

สามปัญหาหนักในการตรวจจับข้อบกพร่องด้วยอินฟราเรด

อินฟราเรดสามารถมองเห็นความร้อนได้ แต่มอบปัญหาที่ยากสามข้อให้กับอัลกอริทึมการตรวจจับ ปัญหาสามข้อนี้คือสาเหตุที่อัลกอริทึมสำเร็จรูปหลายตัวล้มเหลวในงานอินฟราเรดของ PV

หนึ่ง: คอนทราสต์ต่ำ ภาพอินฟราเรดโดยรวมจะมัวและเทา ความแตกต่างของระดับสีเทาระหว่างข้อบกพร่องและพื้นหลังมีน้อยอยู่แล้ว และเมื่อมีสัญญาณรบกวนจากภาพ ข้อบกพร่องก็จะถูกกลืนหายไปกับพื้นหลัง อัลกอริทึมไม่สามารถดึงคุณสมบัติหลักออกมาได้ ทำให้ความแม่นยำลดลง

สอง: ขนาดของข้อบกพร่องที่แปรผันอย่างมาก ในภาพอินฟราเรดภาพเดียว ขนาดของจุดร้อนอาจแตกต่างกันหลายสิบเท่า บางจุดเป็นสตริงที่บายพาสทั้งหมดเรืองแสงเป็นบริเวณกว้าง บางจุดเป็นเพียงเซลล์เดียวที่อุ่นขึ้นเล็กน้อยในมุมหนึ่ง ฟิลด์รับความรู้สึกคงที่ ซึ่งเป็นช่วงที่เครือข่ายมองเห็นได้ชัดเจนในครั้งเดียว มักจะสูญเสียอย่างใดอย่างหนึ่งเมื่อเจอการกระจายตัวเช่นนี้: ได้เป้าหมายใหญ่ก็พลาดเป้าหมายเล็ก หรือในทางกลับกัน

สาม: ข้อมูลเป้าหมายขนาดเล็กสูญหาย นี่คือปัญหาที่ยากที่สุด โครงข่ายประสาทเทียมลดขนาดลงทีละชั้น ทำให้ภาพเล็กลงเพื่อดึงความหมายระดับสูง แต่จุดร้อนขนาดเล็กที่เริ่มต้นเพียงไม่กี่พิกเซลจะถูกทำให้เรียบเมื่อเล็กลง จนแทบไม่เหลืออะไรเมื่อถึงเวลาตัดสินใจ และการรู้จำได้รับผลกระทบอย่างมาก

รวมทั้งสามอย่างเข้าด้วยกันก็ชัดเจน: การตรวจจับข้อบกพร่องด้วยอินฟราเรดของ PV นั้นยากเพราะคุณต้องต่อสู้กับ 'มองไม่ชัด ขนาดกระจายตัว หลุดหายง่าย' ในเวลาเดียวกัน การอัปเกรดหลักสามประการของ SESPNet แต่ละอย่างมุ่งเป้าไปที่หนึ่งในปัญหาเหล่านี้: หนึ่งเพิ่มความหมายเชิงความหมายเพื่อระงับพื้นหลัง สองสร้างพีระมิดเพื่อจัดการขนาด สามปกป้องช่องสัญญาณเพื่อกู้คืนเป้าหมายขนาดเล็ก

ทำไมไม่ใช้เครื่องตรวจจับแบบสำเร็จรูปทั่วไปล่ะ? การตรวจจับวัตถุพัฒนาไปเร็วมาก และแบ่งออกเป็นสองเส้นทาง เส้นทางแรกคือแบบสองขั้นตอน: ขั้นแรกคัดกรองพื้นที่候选คร่าวๆ จากนั้นตัดสินแต่ละพื้นที่อย่างละเอียด แม่นยำสูงแต่ช้า อีกเส้นทางคือแบบขั้นตอนเดียว: ดูครั้งเดียวก็ได้ทั้งตำแหน่งและประเภท รวดเร็วและเหมาะกับเวลาจริง ซีรีส์ YOLO คือเรือธงของแบบขั้นตอนเดียว แต่อัลกอริทึมทั่วไปเหล่านี้ถูกฝึกบนภาพที่มองเห็นได้ทั่วไป และเมื่อนำไปใช้กับภาพอินฟราเรด PV ที่มีความคมชัดต่ำและขนาดหลากหลาย ก็ทำงานได้ไม่ดี การอัปเกรดของ SESPNet เติมเต็มช่องว่างทั้งสามนั้น ออกแบบมาเฉพาะสำหรับข้อบกพร่องอินฟราเรด

รูปที่ 5: ปัญหาสามประการของการตรวจจับข้อบกพร่องอินฟราเรด: ความคมชัดต่ำ หลายขนาด และเป้าหมายขนาดเล็ก

รูปที่ 6: โดรนหลายใบพัดถือกล้อง บินเหนือแผงเพื่อถ่ายภาพอินฟราเรดจำนวนมาก ครอบคลุมพื้นที่ในไม่กี่นาทีซึ่งทีมงานใช้เวลาครึ่งวัน

ข้อได้เปรียบทางเทคนิค

ขั้นตอนที่หนึ่ง: การเพิ่มความหมายทางความหมาย ดึงข้อบกพร่องออกจากพื้นหลัง

SESPNet สร้างบน YOLOv10 เป็นโมเดลพื้นฐาน YOLOv10 เป็นหนึ่งในตัวตรวจจับแบบเรียลไทม์ที่ได้รับความนิยมมากที่สุดในปัจจุบัน เปิดตัวโดยทีม Tsinghua ในเดือนพฤษภาคม 2024 ออกแบบมาให้รวดเร็ว แม่นยำ และปรับใช้ได้ง่าย SESPNet ดำเนินการสามอย่างกับมัน และอย่างแรกคือการฝังโมดูลเพิ่มความหมายทางความหมาย (SIEM) ใน backbone

สิ่งที่แก้ไขคือปัญหาความคมชัดต่ำ ความคมชัดต่ำในภาพข้อบกพร่องอินฟราเรดทำให้สัญญาณรบกวนพื้นหลังรบกวนคุณสมบัติที่โมเดลดึงออกมา ส่งผลต่อความแม่นยำ SIEM ทำงานสองทางพร้อมกัน สาขาความสนใจระดับโลก (global attention) รับความหมายโดยรวมของภาพทั้งหมด คำนวณว่าส่วนไหนเป็นพื้นหลังและส่วนไหนอาจซ่อนข้อบกพร่อง เพื่อลดการรบกวนจากสิ่งรบกวน สาขาความสนใจระดับท้องถิ่น (local attention) เน้นที่รายละเอียดและพื้นผิวของข้อบกพร่องเอง เพิ่มความชัดเจนของการแสดงคุณสมบัติ

แต่ละสาขาดูแลสิ่งที่ตัวเองรับผิดชอบ จากนั้นระดับโลกและระดับท้องถิ่นจะถูกถ่วงน้ำหนักและรวมกัน คิดเหมือนกับการหรี่ตาเพื่อมองโครงร่างหลังคาทั้งหมดและกำจัดสิ่งรบกวน จากนั้นโน้มตัวเข้าไปจ้องที่จุดที่น่าสงสัยจุดหนึ่ง รวมระยะใกล้และไกลเข้าด้วยกัน และข้อบกพร่องก็ถูกยกขึ้นจากพื้นหลังที่มัวหมอง คุณสมบัติที่รวมกันยังคงรายละเอียดของข้อบกพร่องในขณะที่ลดการรบกวนจากพื้นหลัง ทำให้การแสดงคุณสมบัติแข็งแกร่งขึ้นอย่างชัดเจน

ผลลัพธ์ปรากฏชัดในการศึกษา ablation ในภายหลัง: เพิ่ม SIEM เพียงอย่างเดียวทำให้ความแม่นยำเฉลี่ยเพิ่มขึ้นในทั้งสามคลาสเป้าหมาย โดยมีความก้าวหน้าอย่างแท้จริงในการต้านทานพื้นหลังที่ซับซ้อน

Backbone คือส่วนของโมเดลที่สัมผัสกับภาพก่อนและดึงคุณสมบัติพื้นฐานออกมา การวาง SIEM ไว้ที่นี่หมายถึงการทำความสะอาดที่ต้นทาง: ก่อนที่จะส่งต่อสิ่งใด คุณสมบัติของข้อบกพร่องจะถูกเสริมความแข็งแกร่งและสัญญาณรบกวนพื้นหลังถูกระงับแล้ว ด้วยแหล่งที่มาที่สะอาด การจัดการขนาดและการระบุตำแหน่งเป้าหมายในภายหลังจะไม่ถูกนำทางผิดโดยความยุ่งเหยิง นั่นคือเหตุผลที่มันอยู่ใน backbone และไม่มีที่อื่น รักษามลพิษตั้งแต่เนิ่นๆ

รูปที่ 7: โครงสร้างสองสาขาของโมดูลเสริมความหมาย SIEM สาขาโกลบอลอ่านภาพรวมเพื่อระงับพื้นหลัง สาขาท้องถิ่นดูรายละเอียดเพื่อเสริมข้อบกพร่อง จากนั้นทั้งสองจะถูกถ่วงน้ำหนักและรวมกัน

รูปที่ 8: แผงโซลาร์เซลล์บนหลังคา ทุ่งโมดูลที่หนาแน่นเป็นฉากที่ยุ่งเหยิงซึ่งก่อให้เกิดการรบกวนต่ออัลกอริทึมการตรวจจับ

ขั้นตอนที่สอง: Pyramid Pooling, จุดร้อนทั้งใหญ่และเล็กอยู่ในโฟกัส

การเปลี่ยนแปลงที่สองแทนที่โมดูล spatial pyramid pooling ดั้งเดิมของ YOLOv10 ด้วย Space Attention Pyramid Pooling Module (SAPPM) ซึ่งมุ่งเป้าไปที่ปัญหาขนาดที่หลากหลาย

"Pyramid pooling" สามารถอ่านได้ว่าเป็นการสแกนแผนที่คุณสมบัติเดียวกันด้วยหน้าต่างหลายขนาดที่แตกต่างกันพร้อมกัน หน้าต่างเล็กมองเห็นรายละเอียดละเอียด เหมาะสำหรับจุดร้อนขนาดเล็ก หน้าต่างใหญ่มองเห็นกว้าง เหมาะสำหรับจุดร้อนขนาดใหญ่ การศึกษานี้รันหน้าต่าง pooling หลายขนาดจากเล็กไปใหญ่แบบขนาน ดังนั้นไม่ว่าข้อบกพร่องจะครอบคลุมหลายแถวหรือเป็นจุดขนาดฝ่ามือ หน้าต่างที่เหมาะสมก็จะจับมันได้

นอกจากนี้ SAPPM ยังเพิ่มเลเยอร์ spatial attention โดยกำหนดน้ำหนักที่แตกต่างกันให้กับคุณสมบัติจากหน้าต่างต่างๆ เพื่อให้ข้อมูลขนาดที่สำคัญจริงๆ ถูกเก็บไว้ด้านหน้าและตรงกลาง ในขณะที่ข้อมูลที่ไม่เกี่ยวข้องถูกลดทอนลง จากนั้นจึงเย็บคุณสมบัติหลายขนาดเหล่านี้เข้าด้วยกันเป็นแผนที่คุณสมบัติที่สมบูรณ์ยิ่งขึ้น กล่าวโดยย่อ ส่วนแรกจัดการกับ "การเห็นทุกขนาด" ส่วนที่สองจัดการกับ "การเน้นสิ่งที่ควรเห็น" เมื่อรวมกันแล้วจะช่วยเพิ่มความสามารถของโมเดลในการรับรู้เป้าหมายหลายขนาดอย่างมาก

สิ่งนี้ช่วยลดปัญหาการเสียอย่างหนึ่งเพื่ออีกอย่างหนึ่งได้โดยตรง เครือข่ายที่มี receptive field คงที่จะสูญเสียเป้าหมายเล็กในขณะที่สนใจเป้าหมายใหญ่ ด้วย SAPPM จุดร้อนทั้งใหญ่และเล็กสามารถมองเห็นได้ชัดเจนในรอบเดียวกัน ไม่ว่าช่องว่างขนาดจะกว้างแค่ไหน

รูปที่ 9: ภาพร่างของ SAPPM multi-scale feature pyramid pooling, สแกนแบบขนานด้วยหน้าต่างขนาดต่างๆ จากนั้นเย็บด้วยการถ่วงน้ำหนัก spatial attention

รูปที่ 10: ภาพถ่ายทางอากาศของโรงงาน โดรนถ่ายที่ระดับความสูงต่างกัน ทำให้ข้อบกพร่องเดียวกันปรากฏในขนาดที่หลากหลายยิ่งขึ้นในภาพ

ขั้นตอนที่สาม: Channel Attention, ดึงเป้าหมายเล็กที่เกือบจะหายไปกลับคืนมา

การเปลี่ยนแปลงครั้งที่สามเกิดขึ้นในส่วนคอของเครือข่าย โดยสร้างกลไกความสนใจช่องสัญญาณหลายระดับ (MCI) ซึ่งแก้ปัญหาที่ยากที่สุดคือการสูญเสียข้อมูลเป้าหมายขนาดเล็ก

ก่อนอื่น มาพูดถึงช่องสัญญาณกัน เมื่อเครือข่ายประมวลผลภาพ มันจะแยกคุณลักษณะออกเป็นหลายช่องสัญญาณขนานกัน แต่ละช่องอธิบายภาพจากมุมที่แตกต่างกัน คุณลักษณะของเป้าหมายขนาดเล็กนั้นอ่อนแออยู่แล้ว กระจายอยู่ตามช่องสัญญาณเหล่านี้ และหากแต่ละช่องสนใจแต่ตัวเองโดยไม่มีการแลกเปลี่ยน ข้อมูลอันมีค่านั้นก็จะจมหายไปได้ง่ายในการส่งต่อทีละชั้น

แนวทางของ MCI คือการสร้างปฏิสัมพันธ์ระหว่างช่องสัญญาณ ให้พวกมันสื่อสารกัน ไม่ว่าช่องสัญญาณใดจะยังคงมีร่องรอยของเป้าหมายขนาดเล็ก ความร่วมมือข้ามช่องสัญญาณจะขยายและรักษามันไว้ ซึ่งช่วยเสริมการสกัดข้อมูลคุณลักษณะขนาดเล็ก และจุดร้อนขนาดเล็กที่กำลังจะหายไปในการลดขนาดตัวอย่างก็จะถูกดึงกลับมา

ตำแหน่งที่ทั้งสามวิธีนี้อยู่ในเครือข่ายก็ถูกออกแบบมาเช่นกัน SIEM ทำความสะอาดคุณลักษณะที่ต้นทางของโครงข่ายหลัก SAPPM สรุปข้อมูลหลายระดับที่ปลายทางของโครงข่ายหลัก และ MCI ทำการขัดเงาครั้งสุดท้ายที่ส่วนคอที่เชื่อมต่อโครงข่ายหลักกับหัวตรวจจับ ตั้งแต่ต้น กลาง ปลาย ครอบคลุมห่วงโซ่ทั้งหมดของการสกัด สรุป และส่งออกคุณลักษณะ และแต่ละขั้นตอนได้รับการแก้ไขเฉพาะจุดสำหรับปัญหาของข้อบกพร่องอินฟราเรด

ทั้งสามวิธีมีบทบาทชัดเจน: SIEM จัดการกับคอนทราสต์ SAPPM จัดการกับขนาด MCI จัดการกับเป้าหมายขนาดเล็ก พวกมันไม่ได้ต่อสู้เพียงลำพัง แต่ส่งต่อกัน: ยกข้อบกพร่องออกจากพื้นหลังก่อน จากนั้นครอบคลุมทุกขนาด แล้วจับเป้าหมายขนาดเล็กที่มีแนวโน้มจะหลุดรอดมากที่สุด ด้วยการผสมผสานนี้ ปัญหาที่ยากที่สุดสามประการของการตรวจจับข้อบกพร่องอินฟราเรดก็ถูกแก้ไขทีละข้อ

รูปที่ 11: จุดร้อนอินฟราเรดจำแนกตามขนาดเป็น ใหญ่ กลาง และเล็ก ขนาดแตกต่างกันมาก และจุดร้อนที่เล็กที่สุดมักถูกมองข้าม

รูปที่ 12: เป้าหมายจางๆ ที่ถูกจับโดยกล้องอินฟราเรด ยิ่งเป้าหมายเล็กและมืดเท่าไหร่ ก็ยิ่งถูกทำให้เรียบหายไปในกระบวนการประมวลผลได้ง่ายขึ้น

การประยุกต์ใช้ผลิตภัณฑ์

ผลการประเมิน: ความแม่นยำ 92.1% 62 เฟรมต่อวินาที

ผลของทั้งสามวิธีนั้นขึ้นอยู่กับข้อมูล นักวิจัยสร้างชุดข้อมูลข้อบกพร่องอินฟราเรดของแผงโซลาร์เซลล์ของตนเอง โดยติดป้ายจุดร้อนตามขนาดพิกเซลที่ครอบครองในภาพเป็นสามประเภท: มากกว่า 64x64 พิกเซลคือใหญ่ ระหว่าง 32x32 ถึง 64x64 คือกลาง ต่ำกว่า 32x32 คือเล็ก การตรวจจับที่ดีหรือไม่ต้องอ่านทีละประเภท ทีละขนาด

ความแม่นยำขึ้นอยู่กับสองเมตริก หนึ่งคือการเรียกคืน (Recall, R) ซึ่งตอบคำถาม "จากข้อบกพร่องที่ควรพบ มีกี่รายการที่ถูกค้นพบ" อีกหนึ่งคือค่าเฉลี่ยความแม่นยำเฉลี่ย (mean Average Precision, PmA) ซึ่งเป็นค่าสรุปของความแม่นยำในการตรวจจับข้ามคลาส ซึ่งเป็นคะแนนรวมที่ตัวตรวจจับให้ความสำคัญมากที่สุด เพิ่มความเร็วในการตรวจจับ ซึ่งวัดเป็นจำนวนเฟรมที่ประมวลผลต่อวินาที และตัวเลขทั้งสามนี้รวมกันบอกเล่าเรื่องราวทั้งหมดของอัลกอริทึม

เริ่มต้นด้วยการตัดส่วนโมดูลทีละส่วน ด้วย YOLOv10 ปกติเป็นพื้นฐาน ค่าเฉลี่ยความแม่นยำเฉลี่ยอยู่ที่ 89.8% เพิ่ม SIEM เพียงอย่างเดียว เพิ่มเป็น 90.4% เพิ่ม SAPPM เพียงอย่างเดียว 90.5% เพิ่ม MCI เพียงอย่างเดียว 90.7% ทุกการปรับเปลี่ยนช่วยได้ รวมทั้งสามอย่างเข้าด้วยกันเป็น SESPNet เต็มรูปแบบ ค่าเฉลี่ยความแม่นยำเฉลี่ยพุ่งขึ้นเป็น 92.1% จุดเด่นคือเป้าหมายขนาดเล็ก: ความแม่นยำ Mini ของพื้นฐานอยู่ที่เพียง 86.7% และเมื่อรวมทั้งสามอย่างแล้วเพิ่มขึ้นเป็น 90.3% เพิ่มขึ้นถึง 3.6 จุด ซึ่งพิสูจน์ให้เห็นถึงการทำงานของ MCI ในการกู้คืนเป้าหมายขนาดเล็ก

รูปที่ 13: การตัดส่วนโมดูลทีละส่วน เมื่อรวมทั้งสามโมดูลเข้าด้วยกัน ความแม่นยำของเป้าหมายขนาดเล็กที่ยากที่สุดเพิ่มขึ้นจาก 86.7% เป็น 90.3%

รูปที่ 14: โรงไฟฟ้าพลังงานแสงอาทิตย์ขนาดใหญ่ติดตั้งบนพื้นดินที่ไม่มีที่สิ้นสุด โมดูลนับพันนับหมื่นของมันคือสิ่งที่อัลกอริทึมนี้ต้องตรวจสอบทีละชิ้น

การเปรียบเทียบแบบตัวต่อตัว: เก้าอัลกอริทึมบนเวทีเดียวกัน

การเปรียบเทียบกับตัวเองยังไม่เพียงพอ การศึกษานี้วาง SESPNet บนเวทีเดียวกันกับอัลกอริทึมกระแสหลักอื่นอีกแปดตัว ฝึกฝนบนชุดข้อมูลเดียวกัน และวัดความแม่นยำและความเร็วเคียงข้างกัน

ผลลัพธ์พูดได้ด้วยตัวเอง อัลกอริทึมสองขั้นตอนคลาสสิกอย่าง Faster R-CNN และ Cascade R-CNN มีการสกัดคุณลักษณะที่จำกัดและทำงานช้า โดยมีค่าเฉลี่ยความแม่นยำเฉลี่ยอยู่ที่ 86% ถึง 88% ไม่เหมาะกับฉากที่ต้องการประสิทธิภาพแบบเรียลไทม์สูง SSD เร็วที่สุดแต่ความแม่นยำเพียง 74.3% ซึ่งต่ำอย่างชัดเจน ซีรีส์ YOLO มีความสมดุลโดยรวมมากกว่า: จาก YOLOv7 ที่ 88.1% ผ่าน YOLOX, YOLOv8, YOLOv10 และ YOLOv11 ความแม่นยำเพิ่มขึ้นเป็นช่วง 89% ถึง 90% ด้วยความเร็วประมาณห้าสิบถึงหกสิบเฟรมต่อวินาที

SESPNet ผลักดันเส้นโค้งนั้นไปทางขวาบนมากขึ้น: ค่าเฉลี่ยความแม่นยำเฉลี่ย 92.1% สูงกว่าอันดับสองประมาณ 2 จุด และ 62.4 เฟรมต่อวินาที ซึ่งอยู่ในระดับเดียวกับกลุ่ม YOLO ที่เร็ว มันไม่ได้เสียสละความเร็วเพื่อเพิ่มความแม่นยำ มันครองตำแหน่งขวาบนของความเร็วและความแม่นยำที่ผู้อื่นไม่สามารถเข้าถึงได้ นั่นคือคุณค่าที่ใหญ่ที่สุด ในฉากที่มีจำนวนโมดูลมหาศาลที่คุณต้องประเมินขณะตรวจตรา ความช้าทุกวินาทีคือต้นทุน

R = TP ÷ ( TP + FN ) · P = TP ÷ ( TP + FP )

สองบรรทัดนั้นคือคำจำกัดความพื้นฐานของเมตริกความแม่นยำ R (recall) วัดสัดส่วนของข้อบกพร่องจริงที่ตรวจพบ P (precision) วัดว่าข้อบกพร่องที่รายงานมีกี่รายการที่เป็นจริง และ PmA คือคะแนนรวมที่คำนวณข้ามคลาสและข้ามระดับความแม่นยำ ตรรกะไม่ซับซ้อน: พลาดให้น้อยที่สุด (recall สูง) และแจ้งเตือนเท็จให้น้อยที่สุด (precision สูง) ควบคุมทั้งสองด้านให้สมดุล แล้วคุณจะได้ตัวตรวจจับที่เชื่อถือได้

รูปที่ 15: การเปรียบเทียบความแม่นยำ-ความเร็วของเก้าอัลกอริทึม SESPNet ครองมุมขวาบนด้วยความแม่นยำ 92.1% และ 62.4 FPS

รูปที่ 16: การทดสอบในโลกจริงบนแพลตฟอร์มฝังตัว SESPNet ที่แม่นยำที่สุดยังคงทำงานได้เสถียรที่ 12.6 FPS

ถูกบีบอัดให้อยู่ในกล่องขนาดเท่าฝ่ามือและยังทำงานแบบเรียลไทม์

การทำงานได้ดีในห้องปฏิบัติการไม่ได้หมายความว่าจะใช้งานได้ในภาคสนาม โรงไฟฟ้าพลังงานแสงอาทิตย์ส่วนใหญ่อยู่ในพื้นที่ห่างไกล ซึ่งอุปกรณ์ตรวจสอบมีข้อจำกัดด้านการคำนวณและพลังงาน ไม่ว่าอัลกอริทึมจะสามารถบรรจุลงในกล่องขนาดเล็กที่ใช้พลังงานต่ำและทำงานแบบเรียลไทม์ได้หรือไม่นั้นคืออุปสรรคสุดท้ายสำหรับการนำไปใช้งานจริง

นักวิจัยได้พอร์ตอัลกอริทึมไปยังแพลตฟอร์มฝังตัวที่ชื่อว่า Jetson Nano เพื่อตรวจสอบ โปรเซสเซอร์ของมันคือชิป ARM แบบสี่คอร์ที่จับคู่กับ GPU 128 คอร์ระดับเริ่มต้น ซึ่งต่ำกว่าสถานีงานในห้องปฏิบัติการที่มีการ์ดเฉพาะทั้งในด้านการคำนวณและพลังงาน SESPNet ถูกปรับใช้ที่ขนาดอินพุตเดียวกัน จากนั้นจึงแข่งขันกับอัลกอริทึมอื่นบนบอร์ดขนาดเล็กนี้

ผลลัพธ์พิสูจน์อีกครั้งถึงความสมดุลของมัน อัลกอริทึมสองขั้นตอนแบบคลาสสิกแสดงให้เห็นถึงข้อจำกัดในสภาพแวดล้อมฝังตัว: Faster R-CNN ลดลงเหลือ 1.9 เฟรมต่อวินาที แทบจะไม่เป็นเรียลไทม์ Cascade R-CNN เพียง 3.7 ซีรีส์ YOLO โดยทั่วไปลดลงเหลือประมาณสิบเอ็ดหรือสิบสองเฟรม ในขณะที่ SESPNet รักษาไว้ที่ 12.6 เฟรมต่อวินาที พร้อมรักษาความแม่นยำสูงสุดที่ 92.1% อยู่เคียงข้าง YOLO ที่มีน้ำหนักเบา แม้จะนำหน้าเล็กน้อย เมื่อลดการคำนวณลงอย่างมาก มันยังคงแม่นยำและเสถียร แสดงให้เห็นว่าการออกแบบเหมาะสมกับสถานการณ์ที่มีทรัพยากรจำกัด

นั่นหมายความว่าโดรนหรือเครื่องตรวจสอบแบบพกพาที่ติดตั้งอัลกอริทึมนี้ไม่จำเป็นต้องส่งภาพกลับไปยังคลาวด์เพื่อประมวลผลอย่างช้าๆ ณ จุดเกิดเหตุ แบบเรียลไทม์ มันสามารถบอกได้ว่าแผงไหนมีจุดร้อน ทั้งประสิทธิภาพการตรวจสอบและความเร็วในการตอบสนองก้าวไปอีกขั้น

การตัดสินใจทันทีมีค่ามากกว่าการประหยัดรอบการบินไป-กลับ การวางคอมพิวเตอร์ไว้ที่ขอบหมายความว่าการตรวจสอบยังสามารถทำงานได้ในโรงงานที่ห่างไกลซึ่งสัญญาณไม่ดี หากพบจุดร้อนที่สงสัยก็สามารถทำเครื่องหมาย ณ จุดนั้นและบินซ้ำเพื่อยืนยันทันที โดยไม่ต้องรอให้ข้อมูลกลับมาและตรวจสอบด้วยตนเองก่อนการบินครั้งที่สอง สำหรับโรงงานขนาดใหญ่ที่วัดเป็นร้อยเมกะวัตต์และมีแผงนับล้าน ความสามารถแบบเรียลไทม์ ณ สถานที่นี้จะตัดสินโดยตรงว่าการตรวจสอบทั้งหมดใช้เวลาหลายชั่วโมงหรือหลายวัน

ปิดท้าย: ไม่มีที่ซ่อนสำหรับแผงร้อนเกินไปทุกแผง

เมื่อมองย้อนกลับไป ความชาญฉลาดของ SESPNet ไม่ได้อยู่ที่การซ้อนโครงสร้างที่ซับซ้อน แต่อยู่ที่การรักษาอาการที่ถูกต้อง ความคมชัดของอินฟราเรดต่ำ ดังนั้นการเสริมความหมายเชิงความหมายจึงระงับพื้นหลัง ขนาดของข้อบกพร่องไม่สม่ำเสมอ ดังนั้น pyramid pooling จึงครอบคลุมทุกขนาด เป้าหมายขนาดเล็กมักจะหายไป ดังนั้น channel attention จึงดึงกลับมา สามการกระทำ แต่ละอย่างมีหน้าที่ และส่งต่อกัน

สิ่งที่หายากกว่าคือมันไม่ได้ทำให้โมเดลอ้วนขึ้นเพื่อความแม่นยำ อัลกอริทึมหลายตัวไล่ตามความแม่นยำสูงอย่างไม่ลืมหูลืมตา สุดท้ายก็ใหญ่เทอะทะ ลากความเร็วลง และไม่สามารถใส่ลงในอุปกรณ์ฝังตัวได้ SESPNet รักษาความเร็วไว้ในขณะที่ทำความแม่นยำสูงสุด และผ่านการทดสอบการลดกำลังประมวลผลอย่างรุนแรง ความสมดุลของความแม่นยำ ความเร็ว และความเบานี้คือคุณภาพที่วงการให้คุณค่ามากที่สุด เทคโนโลยีจะดีหรือไม่นั้นขึ้นอยู่กับว่ามันสามารถทำงานจริงในโรงงานจริงได้หรือไม่

ค่าเฉลี่ยความแม่นยำ 92.1%, 62.4 เฟรมต่อวินาที และเล็กพอที่จะทำงานแบบเรียลไทม์ในกล่องขนาดฝ่ามือ ตัวเลขสามตัวนี้รวมกันเป็นเครื่องมือที่สามารถลงไปในโรงงานและทำงานได้จริง มันเปลี่ยนภาพอินฟราเรดสีเทาหม่นที่เคยยากแม้สำหรับสายตามนุษย์ ให้เป็นรายงานสุขภาพที่ข้อบกพร่องไม่มีที่ซ่อน

เมื่อโดรนที่บรรทุกอัลกอริทึมแบบนี้บินผ่านทุ่งแผงสีฟ้าทีละแปลง แผงที่ร้อนเกินไปทุกแผงจะถูกตรึงและจัดการในทันที จุดร้อนที่ซ่อนอยู่กลายเป็นมองเห็นได้ และความเสี่ยงที่ดูเหมือนเล็กน้อยถูกกำจัด สิ่งที่คงอยู่คือโรงงานที่เปลี่ยนแสงอาทิตย์เป็นพลังงาน อย่างยาวนาน ปลอดภัย และเต็มกำลัง

มุมมองของ Ooitech

สิ่งที่กระทบเราที่สุดคือการตรวจจับและการผลิตเป็นสองด้านของเหรียญแห่งความน่าเชื่อถือเดียวกัน จุดร้อนที่ถูกพบในสนามมักจะย้อนกลับไปที่รอยแตกขนาดเล็กหรือรอยบัดกรีเย็นที่เกิดบนสายการผลิต ซึ่งเป็นเหตุผลที่การเชื่อม stringer การจัดแนว layup และการควบคุม lamination มีความสำคัญมากบนสายการผลิตแผง หากทำขั้นตอนเหล่านี้ถูกต้อง ก็จะป้อนจุดร้อนเข้าสู่สนามน้อยลงตั้งแต่แรก หากคุณต้องการดูว่าสายการผลิตแผงจริงถูกสร้างและปรับแต่งอย่างไร การเดินชมโรงงานของเราบนช่อง YouTube ของ Ooitech (www.youtube.com/ooitech) น่าดูและกดติดตาม