Классификация, детекция и сегментация изображений: отличия
Основы3 минРедакция Innovialabs
Коротко
Классификация отвечает «что на изображении», детекция — «что и где» в виде рамок, сегментация — «какие именно пиксели» принадлежат объекту; чем точнее ответ, тем дороже разметка, поэтому выбирайте самую простую задачу, которая решает бизнес-вопрос.
Короткий ответ
Представьте фото полки в магазине с тремя бутылками воды и пачкой сока.
- Классификация скажет: «На изображении — напитки» или «Полка заполнена / полка пустая». Одна метка на всё изображение.
- Детекция нарисует рамки (bounding boxes) вокруг каждой бутылки и пачки и подпишет их: «вода», «вода», «вода», «сок». Становится понятно, сколько объектов и где они.
- Сегментация закрасит каждый пиксель, относящийся к объекту, точно повторяя его контур, включая горлышко и этикетку.
| Задача | Вопрос | Результат | Сложность разметки |
|---|---|---|---|
| Классификация | Что на изображении? | Метка (или несколько) на весь кадр | Низкая |
| Детекция | Что и где? | Рамки с классами | Средняя |
| Сегментация | Какие именно пиксели? | Маска по контуру | Высокая |
Классификация
Модель получает изображение и выдаёт класс с уверенностью: «брак — 0,93». Бывает многоклассовая (одна метка из списка) и многометочная (несколько меток сразу, например «царапина» и «скол»).
Разметка: каждому изображению присваивается метка. Это быстро, часто достаточно сортировки файлов по папкам.
Ограничение: модель не знает, где дефект и сколько объектов в кадре. Если на фото несколько деталей, классификация плохо подходит.
Детекция объектов
Модель находит каждый объект, обводит рамкой и называет класс. Это позволяет считать объекты, отслеживать их на видео и понимать, где они находятся.
Разметка: разметчик рисует прямоугольник вокруг каждого объекта и выбирает класс. Важны единые правила: что делать с частично закрытыми объектами, как обводить объекты у края кадра, какой минимальный размер размечать.
Ограничение: рамка грубо описывает форму. Для наклонных, вытянутых или перекрывающихся объектов в рамку попадает много фона.
Сегментация
Есть три варианта:
- Семантическая — каждый пиксель получает класс («дорога», «человек», «фон»), но отдельные объекты одного класса не различаются.
- Instance-сегментация — маска отдельно для каждого объекта: «бутылка 1», «бутылка 2».
- Паноптическая — объединение двух подходов для всей сцены.
Разметка: обводка контуров полигонами или закрашивание кистью. Это самый трудоёмкий тип. Помогают инструменты полуавтоматической разметки, где модель предлагает маску по клику, а человек её поправляет.
Когда нужна: если важны площадь, форма или точная граница — размер пятна коррозии, контур опухоли, зона посева на снимке поля.
Что выбрать для типовых задач
Контроль качества на производстве.
- Деталь одна в кадре, нужно ответить «годна / брак» — классификация.
- Нужно указать место дефекта или посчитать дефекты — детекция.
- Важна площадь или длина дефекта для допуска — сегментация.
Полки в ритейле.
- Проверка заполненности полки в целом — классификация.
- Подсчёт товаров, поиск пустых мест, проверка выкладки по планограмме — детекция, это самый частый выбор.
- Точный расчёт доли полки бренда — иногда сегментация, но чаще хватает рамок.
Медицинские изображения.
- Сортировка снимков на «норма / требует внимания» — классификация.
- Поиск и подсчёт образований — детекция.
- Измерение размеров и объёмов, планирование вмешательств — сегментация.
В медицине любая модель — инструмент поддержки решения врача, а не замена ему, и разметку должны делать или проверять профильные специалисты.
Частые ошибки
- Начинать со сложной задачи. Сегментация «на всякий случай» многократно увеличивает стоимость разметки, хотя бизнесу нужен был подсчёт.
- Нечёткие правила разметки. Два разметчика обводят один объект по-разному, и модель учится на шуме.
- Данные не из реальных условий. Модель обучена на идеальных фото, а на производстве другой свет и угол камеры.
- Нет отложенной выборки для проверки. Без неё невозможно честно сравнить варианты.