การครอบคลุมของโค้ดด้วย Bazel

รายงานปัญหา ดูแหล่งที่มา

Bazel มีคำสั่งย่อย coverage เพื่อสร้างรายงานความครอบคลุมของโค้ดในที่เก็บซึ่งทดสอบด้วย bazel coverage ได้ เนื่องจากลักษณะที่แตกต่างกันของระบบนิเวศของภาษาต่างๆ นั้นจึงไม่ใช่เรื่องง่ายเสมอไปที่จะทำโปรเจ็กต์หนึ่งๆ ได้

หน้านี้บันทึกขั้นตอนทั่วไปในการสร้างและดูรายงานการครอบคลุม นอกจากนี้ยังมีหมายเหตุเฉพาะภาษาสำหรับภาษาที่มีการกำหนดค่าซึ่งเป็นที่รู้จักกันดี วิธีที่ดีที่สุดคือการอ่านส่วนทั่วไปก่อน แล้วจึงอ่านเกี่ยวกับข้อกำหนดสำหรับภาษาใดภาษาหนึ่ง โปรดดูส่วนการดำเนินการระยะไกลด้วย ซึ่งต้องมีข้อควรพิจารณาเพิ่มเติม

แม้ว่าคุณจะปรับแต่งได้มากมาย แต่เอกสารนี้จะมุ่งเน้นที่การสร้างและการใช้รายงาน lcov ซึ่งปัจจุบันเป็นเส้นทางที่รองรับได้ดีที่สุด

การสร้างรายงานความครอบคลุม

การเตรียมพร้อม

ขั้นตอนพื้นฐานในการสร้างรายงานความครอบคลุมต้องมีสิ่งต่อไปนี้

• ที่เก็บพื้นฐานที่มีเป้าหมายทดสอบ
• เครื่องมือเชนที่ติดตั้งเครื่องมือการครอบคลุมของโค้ดเฉพาะภาษา
• การกำหนดค่า "การใช้เครื่องมือ" ที่ถูกต้อง

2 ตัวเลือกแรกเจาะจงภาษาและตรงไปตรงมาที่สุด อย่างไรก็ตาม แบบหลังอาจทำได้ยากสำหรับโครงการที่ซับซ้อน

"การวัดคุม" ในกรณีนี้หมายถึงเครื่องมือการครอบคลุมที่ใช้สำหรับเป้าหมายที่เฉพาะเจาะจง Bazel อนุญาตให้เปิดการตั้งค่านี้สำหรับชุดย่อยของไฟล์ที่เจาะจงโดยใช้แฟล็ก --instrumentation_filter ซึ่งระบุตัวกรองสำหรับเป้าหมายที่มีการทดสอบโดยเปิดใช้การวัดคุมไว้ หากต้องการเปิดใช้การใช้เครื่องมือสำหรับการทดสอบ คุณต้องแจ้ง --instrument_test_targets ให้

โดยค่าเริ่มต้น bazel จะพยายามจับคู่แพ็กเกจเป้าหมาย แล้วพิมพ์ตัวกรองที่เกี่ยวข้องเป็นข้อความ INFO

การรายงานข่าว

หากต้องการสร้างรายงานการครอบคลุม ให้ใช้ bazel coverage --combined_report=lcov [target] วิธีนี้จะเรียกใช้การทดสอบสำหรับเป้าหมาย และสร้างรายงานการครอบคลุมในรูปแบบ lcov สำหรับแต่ละไฟล์

เมื่อทำเสร็จแล้ว Bazel จะเรียกใช้การดำเนินการที่รวบรวมไฟล์การครอบคลุมทั้งหมดที่สร้างขึ้นและรวมไฟล์เหล่านั้นเป็นไฟล์เดียว ซึ่งสุดท้ายแล้วจะสร้างภายใต้ $(bazel info output_path)/_coverage/_coverage_report.dat

นอกจากนี้ เรายังสร้างรายงานการครอบคลุมอีกด้วยหากการทดสอบไม่ผ่าน โปรดทราบว่ารายงานจะไม่ครอบคลุมแค่การทดสอบที่ไม่ผ่าน แต่จะรายงานเฉพาะการทดสอบที่ผ่านเท่านั้น

การรายงานข่าว

รายงานการครอบคลุมจะแสดงผลในรูปแบบ lcov ที่มนุษย์อ่านไม่ได้เท่านั้น จากตัวอย่างนี้ เราจะใช้ยูทิลิตี genhtml (ซึ่งเป็นส่วนหนึ่งของโปรเจ็กต์ lcov) เพื่อสร้างรายงานที่ดูได้บนเว็บเบราว์เซอร์

genhtml --output genhtml "$(bazel info output_path)/_coverage/_coverage_report.dat"

โปรดทราบว่า genhtml จะอ่านซอร์สโค้ดด้วย เพื่อใส่คำอธิบายประกอบการครอบคลุมที่ขาดหายไปในไฟล์เหล่านี้ ระบบควรจะดำเนินการ genhtml ในรูทของโปรเจ็กต์ bazel เพื่อให้ใช้งานได้

หากต้องการดูผลลัพธ์ เพียงเปิดไฟล์ index.html ที่สร้างขึ้นในไดเรกทอรี genhtml ในเว็บเบราว์เซอร์ใดก็ได้

ดูความช่วยเหลือและข้อมูลเพิ่มเติมเกี่ยวกับเครื่องมือ genhtml หรือรูปแบบการครอบคลุมของ lcov ได้ที่โปรเจ็กต์ lcov

การดำเนินการจากระยะไกล

การเรียกใช้ด้วยการดำเนินการทดสอบระยะไกลมีข้อควรระวังบางประการในขณะนี้ ได้แก่

• ยังเรียกใช้ชุดค่าผสมรายงานจากระยะไกลไม่ได้ ทั้งนี้เนื่องจาก Bazel ไม่ได้พิจารณาไฟล์เอาต์พุตการครอบคลุมเป็นส่วนหนึ่งของกราฟ (ดูปัญหานี้) ดังนั้นจึงไม่สามารถถือว่าไฟล์ดังกล่าวเป็นอินพุตของการดำเนินการชุดค่าผสมได้อย่างถูกต้อง หากต้องการแก้ปัญหานี้ ให้ใช้ --strategy=CoverageReport=local
  • หมายเหตุ: คุณอาจต้องระบุบางอย่าง เช่น --strategy=CoverageReport=local,remote แทน หากมีการตั้งค่า Bazel ให้ลองใช้ local,remote เนื่องจาก Bazel แปลงกลยุทธ์
• และไม่สามารถใช้ --remote_download_minimal และ Flag ที่คล้ายกันนี้ เป็นผลมาจากการรายงานปัญหาก่อนหน้านี้
• ขณะนี้ Bazel จะไม่สร้างข้อมูลการครอบคลุม หากมีการแคชการทดสอบไว้ก่อนหน้านี้ เพื่อหลีกเลี่ยงปัญหานี้ คุณตั้งค่า --nocache_test_results สำหรับการเรียกใช้การครอบคลุมโดยเฉพาะได้ แม้ว่าการดำเนินการนี้จะมีค่าใช้จ่ายสูงในแง่ของเวลาการทดสอบ
• --experimental_split_coverage_postprocessing และ --experimental_fetch_all_coverage_outputs
  • โดยปกติแล้ว การครอบคลุมจะทำงานเป็นส่วนหนึ่งของการดำเนินการทดสอบ ดังนั้นโดยค่าเริ่มต้น เราจะไม่รับการครอบคลุมทั้งหมดกลับมาเป็นเอาต์พุตของการดำเนินการระยะไกลโดยค่าเริ่มต้น แฟล็กเหล่านี้จะลบล้างค่าเริ่มต้นและรับข้อมูลการครอบคลุม ดูรายละเอียดเพิ่มเติมจากปัญหานี้

การกำหนดค่าเฉพาะภาษา

Java

Java ควรทำงานได้ทันทีด้วยการกำหนดค่าเริ่มต้น bazel Toolchains ยังมีทุกอย่างที่จําเป็นสําหรับการดําเนินการระยะไกล ซึ่งรวมถึง JUnit ด้วย

Python

ดูขั้นตอนเพิ่มเติมที่จำเป็นต่อการเปิดใช้การสนับสนุนการครอบคลุมใน Python ได้ในrules_pythonเอกสารการครอบคลุม