Концепция построения бюджетных систем оптической инспекции качества монтажа печатных плат

№ 8’2009
PDF версия
Большинство современных радиоэлектронных устройств имеют модульную конструкцию и реализованы на печатных платах. Постоянная миниатюризация устройств ведет к уменьшению размеров печатных плат и устанавливаемых на них компонентов, что влечет за собой увеличение количества выводов у компонентов и уменьшение шага между выводами. В этой связи традиционные визуальные методы контроля качества монтажа печатных плат оказываются малоэффективными.

Александр Овчинников

Введение

Новое направление в области контроля качества монтажа печатных плат — применение систем автоматизированной оптической инспекции, позволяющих производить контроль любых технологических процессов и всего спектра компонентов.

Автоматические оптические системы контроля печатных плат (Automatic Optical Inspection, AOI) позволяют контролировать качество нанесения паяльной пасты, установки электронных компонентов (наличие, положение, повреждение компонентов и т. п.) и паяльных соединений (наличие перемычек и шариков припоя, отсутствие контакта, избыточный либо недостаточный объем припоя и т. п.) для большинства компонентов, вплоть до размера 0201.

Применение систем автоматизированной оптической инспекции позволяет получить более высокую достоверность результатов контроля и минимизировать брак при высокой скорости контроля.

Однако существующие автоматические оптические системы достаточно дороги и ориентированы на крупносерийное производство с ограниченной номенклатурой изделий (ограничение по номенклатуре связано с необходимостью подготовки системы к проверке каждого вида изделия).

На российском рынке электроники предприятий, выпускающих продукцию крупными сериями, немного. Подавляющее большинство компаний выпускают изделия малыми сериями и имеют большую номенклатуру.

С учетом этих обстоятельств приобретение и использование существующих автоматических оптических систем в большинстве случаев экономически неоправданно.

В этой связи актуальной становится задача разработки бюджетных систем оптической инспекции, которые удовлетворят потребности малых предприятий.

Структурная схема систем оптической инспекции

Основными требованиями к бюджетным системам оптической инспекции являются:

  • выявление основных типов дефектов — отсутствие, неверная ориентация, смещение компонентов, наличие перемычек и отсутствие контакта в паяных соединениях;
  • визуальное представление информации о местах предполагаемых дефектов;
  • малое время подготовки системы к инспекции нового вида печатных узлов;
  • невысокая стоимость.

При этом допускается работа системы в интерактивном режиме.

На основании данных требований можно сформулировать ряд задач, решение которых необходимо при создании бюджетных систем оптической инспекции:

  • получить изображение эталонного объекта;
  • получить изображение тестируемого объекта;
  • выполнить первичную обработку полученных изображений (масштабирование, нормирование по яркости и контрастности, удалить шум с изображений);
  • определить наличие дефектов на тестируемом объекте;
  • при наличии дефектов вывести сообщение о типе и расположении предполагаемого дефекта.

В соответствии с вышеперечисленным можно предложить структурную схему бюджетной системы оптического контроля (рис. 1).

Рис. 1. Структурная схема распознавания изображений

Система оптического контроля должна включать в себя устройства отображения информации, восприятия, предварительной обработки и анализирующее устройство, содержащее блок памяти.

Устройство отображения представляет собой блок, состоящий из видеокамеры, фиксирующей изображение инспектируемой печатной платы, и дисплея, на котором данная информация отображается. Данное устрой-ство предназначено для визуального контроля оператором работы системы.

Устройство восприятия осуществляет ввод информации об объекте в систему. Данный модуль оснащен ортогональными камерами с высоким разрешением (рекомендуемое разрешение — 2-4 мегапикселя), которые гарантируют большую глубину инспекции при максимальной производительности. Для повышения производительности системы, а также для повышения качества инспекции и увеличения числа выявляемых дефектов необходимо использовать несколько камер. Кроме того, выявление некоторых типов дефектов (например, поднятые выводы микросхем) требует использования угловых камер (рекомендуемое разрешение — 4-8 мегапикселей).

Устройство предварительной обработки обеспечивает частичное сжатие информации об объекте и приведение ее к нормированному виду. Здесь выполняется линейное контрастирование, масштабирование (если необходимо), привязка исследуемого изображения к координатам эталонного изображения.

Анализирующее устройство производит сравнение эталонного изображения с изображением проверяемого печатного узла, полученным от видеокамер, и на основе анализа выдает решение о наличии дефектов на данной плате.

Эталонное изображение формируется системой с печатной платы, на которой отсутствуют дефекты, по команде оператора перед началом проверки серийных изделий. При этом оператор может указать области, не требующие проверки (например, области на компонентах с дополнительной информацией, которая может быть воспринята системой как дефект). С эталонного изображения создается двумерный массив данных, в котором содержится информация о цвете.

Методы сравнения изображений

Существует большое количество методов и алгоритмов сравнения изображений, использующих различные подходы и математические модели. Рассмотрим некоторые из них, наиболее отвечающие нашей задаче.

Метод прямого сравнения объекта с эталонным изображением

Метод прямого сравнения основан на поэлементном сравнении изображений с учетом некоторого допустимого порога различий.

Математически алгоритм прямого сравнения имеет вид:

где Si,j и Fi,j — элементы изображений S и F размерностью NxM; D — порог различия.

На рис. 2 изображены матрицы изображений, на которых одинаковым цветом показаны несколько сравниваемых между собой пикселей.

Рис. 2. Пояснения к методу прямого сравнения

Данный метод прост и может быть легко реализован. Однако при наличии в реальных условиях дестабилизирующих факторов надежность способа невелика. При большем значении порога D условию могут соот-вет-ствовать различные объекты, по этой причине возникают ошибки, связанные с неправильной идентификацией объекта (ошибки первого рода). При уменьшении значения D могут возникнуть ошибки типа пропуска объекта (ошибки второго рода). Регулируя величину D, можно лишь менять соотношение между вероятностями возникновения ошибок первого и второго рода в соответствии с заданным критерием оптимальности.

Алгоритм быстрого сравнения изображений (метод скользящего окна) Прямое сравнение двух изображений — достаточно долгий процесс и требует применения высокопроизводительной вычислительной техники.

При сравнении изображение целесообразно разбить на небольшие участки (секторы) и производить сравнение на каждом из них (рис. 3).

Рис. 3. Пояснения к методу быстрого сравнения изображений

При этом первоначально проводится сравнение только одного элемента (пикселя) сектора изображения. Если сравниваемые пиксели отличаются, то сравниваются все пиксели данного сектора. Если же пиксели идентичны, то остальные пиксели сектора не сравниваются, и происходит переход к соседнему сектору изображения. Таким образом, при сравнении двух совершенно одинаковых изображений будет проверено всего несколько процентов пикселей (количество проверенных пикселей будет определяться размером секторов изображения).

Пример разбиения изображений на секторы и первоначально сравниваемые пиксели (они выделены одинаковым цветом) показаны на рис. 3.

Сравнение лишь части пикселей изображения может привести к некоторой погрешности. Однако, по предварительной оценке, при оптимальном определении размера сектора эта погрешность не должна оказывать отрицательного воздействия на качество сравнения изображений.

Метод цветовых гистограмм

Метод цветовых гистограмм — наиболее популярный из методов, использующих цветовые характеристики для индексирования изображений.

Идея метода цветовых гистограмм для индексирования и сравнения изображений сводится к следующему. Все множество цветов разбивается на набор непересекающихся, полностью покрывающих его подмножеств Vi, 0 ≤ i ≤ N. Такое разбиение множества цветов называется базовой палитрой.

Для изображения формируется гистограмма, отражающая долю каждого подмножества цветов в общей цветовой гамме изображения, — массив:

где N[i] — число точек с цветом из множества Vi.

Для сравнения гистограмм вводится понятие расстояния между ними — сумма модулей разности соответствующих элементов гистограмм. Следует отметить, что в зависимости от изначальной цветовой схемы изображения (RGB, CMYK, HSV, Greyscale и т. д.) способы построения гистограмм и вычисления расстояния между ними могут отличаться.

Метод цветовых гистограмм позволяет судить лишь об идентичности изображений и не позволяет локализовать места возможных дефектов. Поэтому использование данного метода целесообразно для первоначальной оценки изображений, либо как дополнение к другим методам.

Корреляционный метод

Корреляционный метод основан на вычислении взаимной корреляции между текущим изображением и эталонным или их локальными частями. Изображения считаются идентичными, если величина корреляции превышает заданный порог:

где N — порог корреляционной функции.

Величина порога определяется на основе вычисления автокорреляционной функции и в процессе обработки может уточняться.

Корреляционный метод, так же как и метод цветовых гистограмм, позволяет получить информацию лишь об идентичности изображений, что накладывает ограничения на его использование в системах оптической инспекции.

Метод муаровой интерферометрии

Суть метода муаровой интерферометрии заключается в следующем. Белый свет от источника через интерференционную решетку под углом проецируется на объект (рис. 4).

Рис. 4. Метод муаровой интерферометрии

Отражение спроектированных полос от объекта, по сравнению с отражением от ровной поверхности, дает контур объекта. Проекции интерференционных полос для двух различных объектов дает различие между этими объектами.

Высота объекта в каждой точке вычисляется по смещению полос. По высоте и площади объекта можно вычислить его объем.

Данный метод хорошо подходит для проверки правильности формы галтели паяного соединения и качества нанесения паяльной пасты.

Методы распознавания на основе системы признаков

При этих методах также необходимы эталоны объектов, но в качестве элементов сравнения используются признаки объекта и эталона, что позволяет сократить объем эталонных данных и время обработки информации. Однако следует иметь в виду, что на практике выделение признаков объектов всегда осуществляется с некоторой погрешностью, а следовательно, необходимо выявлять и учитывать характер и степень возможного рассеяния оценок используемых признаков для каждого из ожидаемых объектов, то есть использовать гистограммы распределения значений признаков.

При большом числе возможных вариантов объектов рекомендуется многоступенчатый (иерархический) алгоритм. При этом на каждой ступени распознавания используется какой-либо из признаков объекта (площадь, периметр, радиусы вписанных и описанных окружностей, моменты инерции, число и расположение углов и т. д.). На нижних уровнях необходимы признаки, не требующие больших вычислительных затрат (например, площади и периметры объектов), а наиболее информативные (например, моменты инерции) — применяются на верхнем уровне, где число альтернатив минимально.

Модифицированный алгоритм быстрого обнаружения дефектов

Рассмотренные выше алгоритмы обработки изображения предназначены для решения частных задач и в большинстве своем не носят комплексного подхода либо ориентированы на иные приложения, не связанные с выявлением дефектов монтажа.

Для решения задачи инспекции печатных узлов с учетом назначения и требований к системе был разработан алгоритм, позволяющий выявлять основные типы дефектов без использования специализированных библиотек с описаниями компонентов.

Разработанный алгоритм включает в себя несколько этапов, нацеленных на выполнение частных задач:

  1. Указание области размещения и зоны металлизации реперных знаков.
  2. Нахождение координат реперных знаков образцового изображения.
  3. Вычисление гистограммы образцового изображения.
  4. Определение порогового уровня.
  5. Нахождение координат реперных знаков тестового изображения.
  6. Совмещение изображений по реперным знакам: совмещение изображений по одному из реперных знаков, вычисление угла поворота, поворот изображения.
  7. Сравнение изображений.
  8. Наложение дефектной картины на образцовое изображение.

Рассмотрим последовательно каждую из перечисленных задач.

Указание области размещения и зоны металлизации реперных знаков Для обеспечения возможности поиска координат центров реперных знаков на первоначальном этапе работы необходимо на образцовом изображении указать область металлизации реперного знака, а также свободную область вокруг него. Предлагается два возможных варианта реализации ввода:

  1. Непосредственное определение координат верхнего левого и нижнего правого углов для области металлизации и свободного пространства с использованием матрицы образцового изображения.
  2. Интерактивное определение необходимых областей по изображению с использованием специальных программных продуктов. Второй вариант является наиболее удобным для конечного пользователя, так как позволяет работать со зрительными образами и минимизировать вероятность задания ошибочных данных, но требует разработки специальных программных модулей.

Нахождение координат реперных знаков образцового изображения

Анализ нескольких десятков изображений печатных узлов, отличающихся цветом маски и содержащих реперные знаки различной формы, показывает, что:

  1. Реперные знаки представляют собой области матриц изображений достаточно правильной формы с однородным заполнением по яркости.
  2. Перепад средних значений яркостей пикселей на границе свободная область/металлизация составляет не менее 85%.
  3. На краях областей реперных знаков присутствуют пиксели с достаточно низким уровнем яркости, что обусловлено качеством покрытия областей металлизации и точностью их изготовления.
  4. Если пренебречь краевыми пикселями, то разброс значений яркости пикселей внутри области металлизации не превышает 20-30%.
  5. В свободной области ни на одном из образцов нет пикселей с уровнем яркости, превышающим среднее значение яркости пикселей зоны металлизации.
  6. В качестве критерия для выделения зоны металлизации на тестируемой плате может выступать наличие в зоне поиска пикселей с уровнем яркости выше среднего значения на исходной печатной плате.

Опираясь на полученные в результате анализа изображений реперных знаков данные, специалисты разработали алгоритм нахождения в заданной области реперных знаков и определения координат их центров на основе поэлементного поиска пикселей со значением яркости, превышающим заданное значение.

Вычисление гистограммы образцового изображения и определение порогового уровня Оценка характера распределения яркости пикселей изображения, определение порога допустимой ошибки при сравнении и возможная яркостная коррекция изображений выполняется на основе яркостных гистограмм.

Вычисление гистограммы производится путем попиксельного просмотра матрицы изображения и формирования матрицы-строки S, где каждый элемент S[i] характеризует число пикселей с уровнем яркости, соответствующим индексу данного элемента.

Сравнение гистограмм изображения текущего печатного узла и эталонного изображения позволяет принять решение о необходимости яркостной коррекции изображения и определить пороговый уровень. Следует отметить, что создание области пространства внутри системы с защитой от внешних засветок, в которой будут формироваться изображения печатных узлов, позволит отказаться от вычисления гистограмм и яркостной коррекции изображений, а пороговый уровень определить путем анализа яркостных характеристик нескольких точек печатных узлов.

Нахождение координат реперных знаков тестового изображения

Алгоритм поиска центров реперных знаков тестового изображения в целом идентичен поиску координат реперных знаков образцового изображения. Единственным отличием в данных задачах является то, что в случае образцового изображения области поиска определяет пользователь, а в случае тестового изображения области поиска принимаются такими же, как на образцовом изображении.

Совмещение изображений по реперным знакам

Совмещение изображений производится в 2 этапа. На первом этапе изображения по-пиксельно смещаются до совпадения координат центров одного из реперных знаков. На втором этапе определяется угол поворота изображений и выполняется их поворот. Угол поворота вычисляется по разности координат центров несовмещенных реперных знаков (рис. 5).

Рис. 5. Пояснения к вопросу вычисления угла поворота

Сравнение изображений

Сравнение изображений производится аналогично сравнению по быстрому алгоритму, рассмотренному выше. Однако предлагаемый алгоритм модифицирован и оптимизирован для решения поставленной задачи. Так, в предлагаемом алгоритме введено понятие порогового уровня, окно первоначального сканирования определяется исходя из типа детектируемых дефектов и установленных на плате компонентов.

Наложение дефектной картины на образцовое изображение

Данная операция предназначена для более наглядного представления результатов сравнения изображений и позволяет «выделять» дефектные области на печатных платах путем изменения яркости пикселей тестового изображения, соответствующих дефектным областям, выявленным в результате сравнения. (Устанавливается либо максимальное, либо минимальное значение яркости.)

В зависимости от конечной реализации всего алгоритма данный этап можно объединить с операцией сравнения изображения, добавив в него соответствующие операции либо выделив его в отдельный этап.

Результаты экспериментальных исследований

Апробация предлагаемого алгоритма сравнения изображений была проведена на реальных образцах печатных плат с установленными компонентами. В качестве эталонных изображений использовались изображения печатных плат, прошедших ОТК. Тестовые изображения формировались с печатных плат, выходящих со сборочной линии.

Обработка изображений выполнялась с использованием программного продукта, созданного на основе предложенного в данной статье алгоритма.

На рис. 6 представлены образцовые и тестовые фрагменты изображений печатных плат, а также результаты сравнения с использованием разработанного алгоритма.

Рис. 6. Фрагмент эталонного изображения печатной платы: а) фрагмент эталонного изображения, б) фрагмент тестового изображения (стрелкой показан отсутствующий компонент)

Как видно на рис. 7, на полученном изображении в области, выделенной цветом, присутствуют черные пиксели, свидетельствующие о наличии дефекта. Для наиболее эффективного выделения дефектных областей целесообразно использовать цветную подсветку.

Рис. 7. Фрагмент изображения результата сравнения

Заключение

Создание систем оптической инспекции и разработка алгоритмов обработки изображений являются комплексными задачами, требующими решения задач механики, электроники, оптики и программирования.

В статье были рассмотрены только основные принципы реализации и требования к системам, а также предложен алгоритм обработки изображений, принципиально отличающийся от используемых в серийно выпускаемом оборудовании. Однако данные вопросы являются ключевыми и позволят создавать достаточно простое и высокоскоростное оборудование, в котором так нуждаются небольшие сборочные предприятия. ИМЯ

Литература

  1. Гонсалес Р. Цифровая обработка изображений. М.: Техносфера, 2005.
  2. Яне Б. Цифровая обработка изображений / Учеб. пособие. М.: Техносфера, 2007.
  3. Сойфер В. А., Гашников М. В., Глумов Н. И., Ильясова Н. Ю. Методы компьютерной обработки изображений. М.: Физматлит, 2003.
  4. Форсайт Д. А. Компьютерное зрение: современный подход / Пер. с англ. М.: Вильямс, 2004.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *