Главная
Поиск. Виджеты сервисов
Назад в раздел
Статьи по данной теме

Разделы

Основной блог Авторские статьи Аккредитация лабораторий Система менеджмента Техника лабораторных работ Лаборатория. Авторский блог Эксперты на связи
Условия использования
Политика конфиденциальности
Документация
ООО «Линко» © 2025
Контрольные карты Шухарта для внутрилабораторного контроля качества
Контрольные карты Шухарта для внутрилабораторного контроля качества

Контрольные карты Шухарта для внутрилабораторного контроля качества

Пример построения контрольных карт Шухарта с использованием образца для контроля. Рассмотрим использование контрольных карт для контроля стабильности показателей качества результатов анализа. Проведём достоверную оценку показателей повторяемости, внутрилабораторной прецизионности и точности результатов анализа.


Содержание

Контроль стабильности результатов анализа
Что такое контрольная карта?

Контроль стабильности с использованием контрольных карт Шухарта:

Построение контрольной карты Шухарта

Анализ данных контрольных карт и их интерпретация
Пример построения контрольных карт Шухарта для ВЛК

Контроль стабильности результатов анализа

В соответствии с ГОСТ ISO/IEC 17025 любая испытательная лаборатория должна располагать процедурами управления качеством для того, чтобы контролировать достоверность проведенных испытаний (анализа). Основным элементом подтверждения достоверности результатов анализа является реализация в лаборатории процедур внутреннего контроля качества результатов анализа.

Внутрилабораторный контроль всех видов основан на информации, получаемой в процессе выполнения контрольных процедур. Контрольная процедура – процедура получения показателей качества результатов анализа с использованием контрольных измерений (определений), выполненных с применением средств контроля.

В рамках системы внутреннего контроля рассматривают:

  • оперативный контроль процедуры анализа;
  • контроль стабильности результатов анализа.

Основное отличие контроля стабильности от оперативного контроля состоит в том, что при реализации оперативного контроля вывод о том, удовлетворительна процедура анализа или нет, делается на основании одной контрольной процедуры. Контроль стабильности проводится в течение контрольного периода времени, с определенной периодичностью.

Контроль стабильности результатов анализа может предусматривать следующие формы:

1) контроль стабильности результатов анализа с использованием контрольных карт, реализуемый путем контроля и поддержания на требуемом уровне:

  • повторяемости результатов параллельных определений,
  • внутрилабораторной прецизионности,
  • точности результатов анализа;

2) периодическая проверка подконтрольности процедуры выполнения анализа;
3) выборочный статистический контроль (по альтернативному признаку) внутрилабораторной прецизионности, точности результатов анализа, полученных за определенный период времени.

При организации контроля стабильности выбирают в зависимости от организации работ в лаборатории применительно к каждой процедуре анализа одну из форм контроля стабильности. В данной статье мы рассмотрим использование контрольных карт (а именно контрольных карт Шухарта) для контроля стабильности показателей качества результатов анализа.

Контроль стабильности результатов анализа с использованием контрольных карт является визуальным средством наблюдения за динамикой изменений показателей качества результатов анализа, последующего установления причин этого изменения и оперативного управления качеством анализа на основе установленных при работе с контрольными картами правил рассмотрения возникающих ситуаций. Анализ данных контрольных карт позволяет проводить как корректирующие, так и предупреждающие мероприятия (по ГОСТ ISO/IEC 17025), обеспечивающие получение результатов рабочих измерений с необходимой точностью.

Информация о статистических оценках показателей качества, получаемая при контроле стабильности с использованием контрольных карт, позволяет провести достоверную оценку показателей повторяемости, внутрилабораторной прецизионности и точности результатов анализа.

Вернуться к содержанию

Что такое контрольная карта?

Контрольная карта — это график, на который наносят в установленном порядке значения статистического показателя в последовательности выборок (контрольных процедур), используемый для управления процессом и снижения изменчивости процесса.

При построении контрольной карты по горизонтальной оси откладывают номер контрольной процедуры, соответствующий дате, исполнителю и другим факторам, характеризующим контрольную процедуру, а по вертикальной оси — результаты контрольных процедур (рисунок 1).

Общий вид контрольной карты

Рисунок 1. Общий вид контрольной карты

Контрольная карта состоит обычно из трех линий. Средняя линия представляет собой требуемое среднее значение характеристики контролируемого показателя качества. Две другие линии (контрольные границы), одна из которых находится над центральной — верхний предел действия, а другая под ней — нижний предел действия, представляют собой максимально допустимые пределы изменения значений контролируемого показателя качества.

Контрольная карта Шухарта (ККШ) — это контрольная карта с контрольными границами Шухарта, предназначенная для разделения причин изменчивости контролируемой характеристики на случайные или специальные. Применение контрольных карт Шухарта основано на сопоставлении результатов контрольных процедур с установленными нормативами контроля: пределами действия (устанавливаемыми для доверительной вероятности Р = 0,997) и пределами предупреждения (для доверительной вероятности Р = 0,95).

Вернуться к содержанию

Пределы действия

Контрольные границы на карте Шухарта находятся на расстоянии Зσ по обе стороны от средней линии, где σ — известное стандартное отклонение совокупности или его оценка.

Если статистика подчиняется нормальному распределению, границы на расстоянии ± Зσ от центральной линии показывают, что приблизительно 99,7 % значений статистики попадут в эти пределы при условии, что процесс находится в статистически управляемом состоянии. Вероятность нарушения границ, вызванного случайностью события, а не реальным изменением процесса, предполагается столь малой, что при появлении точки вне этих границ следует предпринять определенные действия. Так как действия предпринимают именно в этой точке, то контрольные границы уровня Зσ также называются «пределами действия».

Пределы предупреждения

Часто на контрольной карте границы проводят еще и на расстоянии ± 2σ. Тогда любое выборочное значение, попадающее за границы ± 2σ, может служить предупреждением о приближающемся выходе процесса из состояния статистической управляемости. Поэтому границы ± 2σ называют «пределами предупреждения».

Если по результатам наблюдений точка находится вне предупреждающих границ, но внутри контрольных границ, то, несмотря на то что никаких воздействий на процесс не требуется, необходимо обратить внимание на процесс для выявления наличия (или отсутствия) специальной причины изменчивости процесса. В этом случае может быть целесообразным сокращение интервала времени между контрольными процедурами и/или увеличение количества контрольных определений для выявления наличия изменений процесса.

Вернуться к содержанию

Контроль стабильности с использованием контрольных карт

Общий порядок действий при построении контрольных карт Шухарта выглядит следующим образом:

Таблица 1 — Порядок действий для контроля стабильности результатов анализа с помощью контрольных карт

Шаг Действие
1 Выбрать алгоритмы проведения контрольных процедур:
  • контроль точности — с применением ОК, метода добавок совместно с методом разбавления пробы, метода добавок, метода разбавления пробы, метода варьирования навески, контрольной методики анализа;
  • контроль внутрилабораторной прецизионности и контроль повторяемости — с использованием ОК или рабочих проб.
2 Определить необходимое число контрольных процедур и временной диапазон для их получения.
3 Рассчитать значения средней линии, пределов предупреждения и действия.
4 Нанести на контрольную карту значения средней линии, пределов предупреждения и действия (в виде горизонтальных линий).
5 В соответствии с выбранным алгоритмом проведения контрольных процедур получить результаты контрольных измерений и сформировать контрольные процедуры.
6 Рассчитать результаты контрольных процедур и в точке, соответствующей номеру контрольной процедуры, наносят их значения на контрольную карту.
7 Провести анализ контрольных карт и, при необходимости, корректирующие или предупреждающие действия.

При определении необходимого числа контрольных процедур для достоверной оценки каждого из контролируемых показателей качества рекомендуется ориентироваться на приложения И, К РМГ 76-2014 (скачать pdf) (оценка контролируемого показателя качества считается достоверной, если неопределенность этой оценки не превышает 0,33). В разделе "Пример построения контрольных карт" мы подробно покажем, как по РМГ 76 найти искомые значения.

Необходимое число контрольных процедур, реализуемых в течение месяца, может быть установлено на основании рекомендаций, приведенных в таблице 2.

Таблица 2 — Рекомендуемое число контрольных процедур за месяц

Число анализируемых рабочих проб за месяц Число контрольных процедур, не менее
не более 10 2
от 11 до 20 3
от 21 до 50 4
от 51 до 100 7
от 101 до 200 10
от 201 до 500 12
свыше 500 15

При выполнении контрольных измерений с каждой серией рабочих проб допустимо откладывать на контрольной карте результаты контрольных процедур в привязке к однотипным условиям проведения анализа (например, один результат контрольной процедуры, выбранный случайным образом из числа полученных за рабочий день (ряд смен), если в течение рабочего дня (ряда смен) условия проведения анализа приняты стабильными). При этом временной диапазон для получения необходимого числа контрольных процедур определяют исходя из числа результатов контрольных процедур, откладываемых на контрольной карте.

Контрольные измерения выполняют по возможности равномерно в течение временного диапазона в соответствии с выбранным алгоритмом проведения контрольных процедур.

Динамику изменения стабильности процесса анализа отслеживают на основе регулярного анализа данных контрольных карт Шухарта. Интерпретация результатов анализа является основанием для проведения (при необходимости) корректирующих и/или предупреждающих действий с целью обеспечения стабильности процесса анализа рабочих проб.

Контрольные карты Шухарта допустимо строить в единицах измеряемых содержаний, в приведенных величинах, в относительных величинах.

Вернуться к содержанию

Контрольные карты Шухарта в единицах измеряемых содержаний

Контрольные карты Шухарта в единицах измеряемых содержаний строят:

  • для поддиапазонов с постоянными значениями показателей качества результатов анализа в единицах измеряемых содержаний;
  • в привязке к началу и концу диапазона анализа рабочих проб (если показатели качества результатов анализа установлены в виде линейной зависимости от содержания определяемого компонента или в виде постоянного значения в относительных единицах для всего диапазона анализа рабочих проб).

Примечание — В этом случае, при использовании в качестве средств контроля рабочих проб, определяют поддиапазоны, для которых устанавливают постоянные значения (в единицах измеряемых содержаний) показателей качества результатов анализа.

При построении контрольной карты значения средней линии, пределов предупреждения и действия, результаты контрольных процедур рассчитывают в соответствии с таблицей 3 (графа 2).

Вернуться к содержанию

Контрольные карты Шухарта в приведенных величинах

Контрольные карты Шухарта в приведенных величинах строят для всего диапазона анализа рабочих проб при наличии зависимости показателей качества результатов анализа от измеряемых содержаний и использовании различных средств контроля.

При построении контрольной карты используют приведенные величины — значения средней линии, пределов предупреждения, пределов действия, результатов контрольных процедур, нормированные:

  • при контроле точности — в единицах предела предупреждения;
  • при контроле внутрилабораторной прецизионности — в единицах точечной оценки показателя внутрилабораторной прецизионности;
  • при контроле повторяемости — в единицах точечной оценки показателя повторяемости.

Содержание определяемого компонента в используемых средствах контроля — ОК или рабочих пробах — должно соответствовать, в общем случае, началу, середине и концу диапазона анализа рабочих проб, при этом распределение средств контроля, частота проведения контрольных измерений для каждого из средств контроля подлежат согласованию с числом (объемом) рабочих проб, анализируемых в различных точках диапазона.

При построении контрольной карты расчет значений средней линии, пределов предупреждения, пределов действия, результатов контрольных процедур осуществляют в соответствии с таблицей 3 (графа 3).

Вернуться к содержанию

Контрольные карты Шухарта в относительных величинах

Контрольные карты Шухарта в относительных величинах строят для всего диапазона анализа рабочих проб, если в этом диапазоне показатели качества результатов анализа установлены в виде постоянных значений в относительных единицах.

Требования к используемым при построении контрольных карт в относительных величинах средствам контроля аналогичны требованиям к средствам контроля при построении контрольных карт в приведенных величинах. Использование одного ОК при построении контрольных карт в относительных величинах нецелесообразно. В этом случае строят контрольные карты в единицах измеряемых содержаний.

При построении контрольной карты расчет значений средней линии, пределов предупреждения, пределов действия, результатов контрольных процедур осуществляют в соответствии с таблицей 3 (графа 4).

Таблица 3 — Расчет результатов контрольных процедур, нормативов контроля: пределов действия и предупреждения, средней линии — при построении контрольных карт Шухарта

Наименование рассчитываемых параметров Формула для расчета параметров в единицах измеряемых содержаний Формула для расчета параметров в приведенных величинах* Формула для расчета параметров в относительных величинах*
1 2 3 4
Контроль повторяемости (для n контрольных определений)
Результат контрольной процедуры rк = Xmax − Xmin rк,о = (Xmax − Xmin) / σr r'к,о = 0,01 σr,отн rк,о =
(Xmax − Xmin) / X̅
Средняя линия rср = an σr rср,о = rср / σr = an r'ср,о = an × 0,01 σr,отн
Предел предупреждения rпр = A1,n σr rпр,о = rпр / σr = A1,n r'пр,о = A1,n × 0,01 σr,отн
Предел действия rд = A2,n σr rд,о = rд / σr = A2,n r'д,о = A2,n × 0,01 σr,отн
Примечание:
Xmax (Xmin) — максимальный (минимальный) результат из n контрольных определений;
σr — значение точечной оценки показателя повторяемости в единицах измеряемых содержаний, соответствующее содержанию компонента в пробе, найденному как среднее арифметическое значение результатов контрольных определений — X̅;
σr,отн — значение точечной оценки показателя повторяемости в относительных единицах, % (в этом случае σr = 0,01 σr,отн × X̅).
Контроль внутрилабораторной прецизионности (для двух контрольных измерений)**
Результат контрольной процедуры Rк = | X̅1 − X̅2 | Rк,о = | X̅1 − X̅2 | / σRЛ R'к,о = Rк,о × 0,01 σRЛ,ОТН =
| X̅1 − X̅2 | / X̿
Средняя линия Rср = a2 σRЛ Rср,о = Rср / σRЛ = a2 R'ср,о = a2 × 0,01 σRЛ,ОТН
Предел предупреждения Rпр = A1,2 σRЛ Rпр,о = Rпр / σRЛ = A1,2 R'пр,о = A1,2 × 0,01 σRЛ,ОТН
Предел действия Rд = A2,2 σRЛ Rд,о = Rд / σRЛ = A2,2 R'д,о = A2,2 × 0,01 σRЛ,ОТН
Примечание:
1 (X̅2) — результат первичного (повторного) контрольного измерения;
σRЛ — значение точечной оценки показателя внутрилабораторной прецизионности в единицах измеряемых содержаний, соответствующее содержанию компонента в пробе, найденному как среднее арифметическое значение результатов контрольных измерений — X̿ (X̿ = | X̅1 + X̅2 | / 2);
σRЛ,ОТН — значение точечной оценки показателя внутрилабораторной прецизионности в относительных единицах, % (в этом случае σRЛ = 0,01 σRЛ,ОТН × X̿).
Контроль точности с применением ОК
Результат контрольной процедуры Kк = X̅ − C Kк,о = (X̅ − C) / Kпр K'к,о = Kк,о × 0,01 δл =
(X̅ − C) / C
Средняя линия Kср = 0 Kср,о = Kср / Kпр = 0 K'ср,о = 0
Предел предупреждения Kпр,в = Kпр = Δл
Kпр,н = − Kпр
Kпр,в,о = Kпр,о = Kпр / Kпр = 1
Kпр,н,о = − Kпр,о = − 1
K'пр,в,о = K'пр,о = 0,01 δл
K'пр,н,о = − K'пр,о = − 0,01 δл
Предел действия Kд,в = Kд = 1,5 Δл = 1,5 Kпр
Kд,н = − Kд
Kд,в,о = Kд,о = Kд / Kпр = 1,5
Kд,н,о = − Kд,о = − 1,5
K'д,в,о = K'д,о = 1,5 K'пр,о =
0,015 δл
K'д,н,о = − K'д,о = − 0,015 δл
Примечание:
X̅ — результат контрольного измерения аттестованной характеристики ОК;
С — аттестованное значение ОК;
± Δл = ± 2σ (Δл) — значение интервальной оценки показателя точности результатов анализа в единицах измеряемых содержаний, соответствующее аттестованному значению ОК;
± δл — значение интервальной оценки показателя точности результатов анализа в относительных единицах, % (в этом случае Δл = 0,01 Δл C).

* - При расчете результатов контрольных процедур, средней линии, пределов предупреждения и действия в приведенных и в относительных величинах используют значения результатов контрольных процедур rK, RK, KK, средней линии rcp, Rcp, Kcp, пределов предупреждения rпр, Rnp, Knp и пределов действия rд, Rд, Kд определяемые по формулам графы 2.
** - Значения коэффициентов an, A1,n, A2,n приведены в таблице 4.

Таблица 4 — Значения коэффициентов an, A1,n, A2,n

n an A1,n A2,n
2 1,128 2,834 3,686
3 1,693 3,469 4,358
4 2,059 3,819 4,698
5 2,326 4,054 4,918

Вернуться к содержанию

Построение контрольных карт Шухарта

Результаты контрольных определений, результаты контрольных процедур, выводы оперативного реагирования по результатам контроля вносят в таблицу. Рекомендуемые формы приведены ниже (для контроля точности рассмотрен вариант с применением ОК; варианты с применением иных средств контроля приведены в РМГ 76-2014, п. 6.3.3 (скачать pdf)).

Также наряду с таблицами рекомендуется ведение Журнала контроля стабильности результатов анализа, где дополнительно приводится информация о шифре пробы, исполнителе, дате проведения анализа и другие данные, необходимые для идентификации контрольных измерений, а также проведенные корректирующие или предупреждающие действия либо ссылка на внутренний документ лаборатории, в котором эти действия отражены.

Рассчитанные в соответствии с таблицей 3 значения средней линии, предела предупреждения и предела действия используют для построения контрольной карты.

Вернуться к содержанию

Карта для контроля повторяемости

Для контроля повторяемости используют контрольную карту, на которой откладывают результаты контрольных процедур — расхождения результатов контрольных определений.

Для диапазона (поддиапазона) с постоянным значением показателя повторяемости результатов анализа на контрольной карте в единицах измеряемых содержаний откладывают расхождения результатов контрольных определений проб, содержание определяемого компонента в которых соответствует этому диапазону (поддиапазону).

Если НД на методику анализа предусматривает параллельные определения для получения результата анализа, то контрольную карту для контроля повторяемости допустимо строить с использованием результатов контрольных определений, выполняемых для получения результатов контрольных измерений при контроле внутрилабораторной прецизионности с применением контрольной карты.

Если НД на методику анализа не предусматривает параллельные определения, контрольную карту строят с использованием результатов контрольных определений, выполняемых специально для целей контроля повторяемости.

Таблица 5 — Данные для построения контрольной карты для контроля повторяемости

Контролируемый объект
Определяемый компонент
Методика анализа
Единица измерения
Период заполнения контрольной карты
Предел предупреждения: rпр (rпр,о, r'пр,о)
Предел действия: rд (rд,о, r'д,о)
Средняя линия: rср (rср,о, r'ср,о)
Номер контрольной процедуры l
(l = 1,L🠒)*
Результат контрольного определения Результат контрольной процедуры
rкI = XmaxI − XminI
(rк,оI = rкI/ σrI)
(r'к,оI = rкI/ X̅I)
Выводы о несоответствии результата контрольной процедуры пределу действия или предупреждения** Результат интерпретации данных контрольной карты, требующий корректирующих/предупреждающих действий с целью обеспечить стабильность процедуры анализа рабочих проб***
1-го X1l ... n-го Xnl

* L — число контрольных процедур.
** Указывают в виде: «сверх предела действия» или «сверх предела предупреждения».
*** Указывают выявленную ситуацию с учетом перечисленных ниже.

Вернуться к содержанию

Карта для контроля внутрилабораторной прецизионности

Для контроля внутрилабораторной прецизионности могут быть использованы карты двух видов:

1) карта, на которой откладывают результаты контрольных процедур для контроля внутрилабораторной прецизионности, получаемые для различных проб;

Такие контрольные карты в единицах измеряемых содержаний или в относительных величинах строят для диапазона (поддиапазона) с постоянным значением показателя внутрилабораторной прецизионности результатов анализа в единицах измеряемых содержаний σR или в относительных единицах σRЛ,ОТН соответственно, при этом используют пробы, содержание определяемого компонента в которых соответствует этому диапазону (поддиапазону).

2) карта, на которой откладывают последовательно текущие расхождения результатов контрольных измерений (предыдущего и последующего) одной и той же пробы, стабильной в течение временного диапазона, или OK.

RK2 = | X̅2 − X̅1 |,..., RKI = | X̅I − X̅I-1 |,..., RKL+1 = | X̅L+1 − X̅L | , где { X̅I, l = 1,..., L + 1 } — результаты контрольных измерений; L — число контрольных процедур. Результаты контрольных измерений получают в условиях внутрилабораторной прецизионности.

При построении карты выбирают один из вышеприведенных видов.

Таблица 6 — Данные для построения контрольной карты для контроля внутрилабораторной прецизионности (при использовании различных проб)

Контролируемый объект
Определяемый компонент
Методика анализа
Единица измерения
Период заполнения контрольной карты
Предел предупреждения: Rпр (Rпр,о, R'пр,о)
Предел действия: Rд (Rд,о, R'д,о)
Средняя линия: Rср (Rср,о, R'ср,о)
Номер контрольной процедуры l
(l = 1,L🠒)*
Результат контрольного измерения одной пробы Результат контрольной процедуры
RкI = | X̅1I − X̅2I |
(Rк,оI = RкI / σRЛI)
(R'к,оI = RкI / X̿I)
Выводы о несоответствии результата контрольной процедуры пределу действия или предупреждения** Результат интерпретации данных контрольной карты, требующий корректирующих/предупреждающих действий с целью обеспечить стабильность процедуры анализа рабочих проб***
первичного X̅1I повторного X̅2I

* L — число контрольных процедур.
** Указывают в виде: «сверх предела действия» или «сверх предела предупреждения».
*** Указывают выявленную ситуацию с учетом перечисленных ниже.

Таблица 7 — Данные для построения контрольной карты текущих расхождений для контроля внутрилабораторной прецизионности

Контролируемый объект
Определяемый компонент
Методика анализа
Единица измерения
Период заполнения контрольной карты
Предел предупреждения: Rпр (Rпр,о, R'пр,о)
Предел действия: Rд (Rд,о, R'д,о)
Средняя линия: Rср (Rср,о, R'ср,о)
Номер контрольного измерения l
(l = 1,L+1🠒)*
Результат контрольного измерения
l
Результат контрольной процедуры
RкI = | X̅l − X̅l-1 |
(Rк,оI = RкI / σRЛ)
(R'к,оI = RкI / X̿I)
(l = 2,L+1🠒)
Выводы о несоответствии результата контрольной процедуры пределу действия или предупреждения** Результат интерпретации данных контрольной карты, требующий корректирующих/предупреждающих действий с целью обеспечить стабильность процедуры анализа рабочих проб***

* L — число контрольных процедур.
** Указывают в виде: «сверх предела действия» или «сверх предела предупреждения».
*** Указывают выявленную ситуацию с учетом перечисленных ниже.

Вернуться к содержанию

Карта для контроля точности

Для контроля точности используют контрольную карту, на которой откладывают результаты контрольных процедур. В статье рассмотрен вариант с применением образца для контроля (ОК); варианты с применением иных средств контроля приведены в РМГ 76-2014, п. 6.3.3.

При выборе контрольной процедуры для контроля точности с применением ОК допустимо в качестве средства контроля использовать контрольную пробу. В этом случае построению контрольной карты с применением контрольной пробы предшествует специальный эксперимент, предусматривающий одновременное проведение контрольных измерений ОК и контрольной пробы, что позволяет оценить наличие систематического смещения в результатах анализа контрольной пробы.

При построении контрольной карты для диапазона (поддиапазона) с постоянным значением показателя точности результатов анализа используют ОК или рабочие пробы, содержание определяемого компонента в которых соответствует этому диапазону (поддиапазону).

При построении контрольной карты для поддиапазона (диапазона) с постоянным значением показателя точности результатов анализа в единицах измеряемых содержаний (в относительных единицах) и при формировании контрольных процедур с применением контрольной методики анализа используют рабочие пробы, содержание определяемого компонента в которых соответствует поддиапазону (диапазону) с постоянным значением показателя точности результатов анализа в единицах измеряемых содержаний (в относительных единицах) как для контролируемой, так и для контрольной методик.

Таблица 8 — Данные для построения контрольной карты для контроля точности результатов анализа с использованием ОК (при построении контрольной карты в единицах измеряемых содержаний)

Контролируемый объект
Определяемый компонент
Методика анализа
Единица измерения
Период заполнения контрольной карты
Предел предупреждения: Kпр,н _________ Kпр,в
Предел действия: Kд,н ___________________ Kд,в
Средняя линия: Кср
Аттестованное значение ОК: C
Номер контрольной процедуры l
(l = 1,L🠒)*
Результат контрольного измерения
l
Результат контрольной процедуры
KкI = X̅l − C
Выводы о несоответствии результата контрольной процедуры пределу действия или предупреждения** Результат интерпретации данных контрольной карты, требующий корректирующих/предупреждающих действий с целью обеспечить стабильность процедуры анализа рабочих проб***

* L — число контрольных процедур.
** Указывают в виде: «сверх предела действия» или «сверх предела предупреждения».
*** Указывают выявленную ситуацию с учетом перечисленных ниже.

Таблица 9 — Данные для построения контрольной карты для контроля точности результатов анализа с использованием ОК (при построении контрольной карты в приведенных величинах или в относительных величинах

Контролируемый объект
Определяемый компонент
Методика анализа
Единица измерения
Предел предупреждения: Kпр,н,о (K'пр,н,о) ________ Kпр,в,о( K'пр,в,о)
Предел действия: Kд,н,о (K'д,н,о) ___________________ Kд,в,о (K'д,в,о)
Средняя линия: Кср,о (К'ср,о)
Диапазон измерений:
Номер контрольного измерения l
(l = 1,L🠒)*
Результат контрольного измерения
l
Аттестованное значение ОК
Cl
Результат контрольной процедуры
Kк,оI = (X̅I − Cl) / ΔлI
(K'к,оI = (X̅I − Cl) / Cl)
Выводы о несоответствии результата контрольной процедуры пределу действия или предупреждения** Результат интерпретации данных контрольной карты, требующий корректирующих/предупреждающих действий с целью обеспечить стабильность процедуры анализа рабочих проб***

* L — число контрольных процедур.
** Указывают в виде: «сверх предела действия» или «сверх предела предупреждения».
*** Указывают выявленную ситуацию с учетом перечисленных ниже.

Вернуться к содержанию

Анализ данных контрольных карт и их интерпретация

С целью отследить динамику изменения стабильности процесса анализа проводят регулярный анализ контрольных карт в течение временного диапазона и их интерпретацию.

В случае контрольных карт для контроля повторяемости или внутрилабораторной прецизионности сигналом к возможному нарушению стабильности процесса анализа служит появление на контрольной карте следующих ситуаций:

1) одна точка вышла за предел действия;
2) девять точек подряд находятся выше средней линии;
3) шесть возрастающих точек подряд (при построении контрольной карты с использованием одного и того же ОК (пробы));
4) две из трех последовательных точек находятся выше предела предупреждения;
5) четыре из пяти последовательных точек находятся выше половинной границы зоны предупреждения (т. е. четыре из пяти последовательных результатов контрольных процедур превышают значение rср + (rпр − rср) / 2 при контроле повторяемости, значение Rср + (Rпр − Rср) / 2 — при контроле внутрилабораторной прецизионности).

Примечание — Допускается использовать другие тревожные ситуации в качестве сигналов к возможному нарушению стабильности процесса анализа.

В случае контрольных карт для контроля точности сигналом к возможному нарушению стабильности процесса анализа служит появление на контрольной карте следующих ситуаций:

1) одна точка вышла за пределы действия;
2) девять точек подряд находятся по одну сторону от средней линии;
3) шесть возрастающих или убывающих точек подряд;
4) две из трех последовательных точек вышли за пределы предупреждения;
5) четыре из пяти последовательных точек вышли за половинные границы верхней или нижней зоны предупреждения (т. е. значения четырех из пяти последовательных результатов контрольных процедур больше Кпр / 2 или меньше −Кпр / 2);
6) восемь последовательных точек находятся по обеим сторонам средней линии, и все эти точки вышли за половинные границы зоны предупреждения (т. е. модуль значений восьми последовательных результатов контрольных процедур превышает значение Кпр / 2).

При появлении одной из перечисленных ситуаций необходимо выяснить причины возникшей ситуации, приостановить процесс анализа (при необходимости) и провести корректирующие или предупреждающие действия.

Вернуться к содержанию

Пример построения контрольных карт Шухарта для ВЛК

Рассмотрим пример построения контрольных карт Шухарта по контролю точности, внутрилабораторной прецизионности и повторяемости с использованием образца для контроля в относительных величинах для методики определения содержания свинца в речной воде.

1) Методика: используется аттестованная методика определения массовой концентрации свинца в питьевых и природных водах методом атомно-абсорбционной спектрометрии с электротермической атомизацией.

2) Метрологические характеристики методики

Диапазон измерений,
мг/дм3
Показатель точности
(при Р = 0,95) δ, %
Предел повторяемости
rотн, %
Предел воспроизводимости
Rотн, %
от 0,001 до 0,01 вкл. 40 37 52

За результат анализа принимают среднее значение из результатов двух параллельных определений (n = 2).

3) Средство контроля: в качестве ОК используют СО воды с массовой концентрацией свинца (С = 0,002 мг/дм3).

4) Расчет числа результатов контрольных процедур, необходимых для достоверной оценки показателей качества результатов анализа, осуществляют следующим образом: вычисляют значение коэффициента γ и, опираясь на значение неопределенности (не более 0,33) при заданном в методике числе параллельных определений (n = 2) и найденном коэффициенте γ, по таблицам приложения И РМГ-76-2014 устанавливают минимально необходимое число контрольных процедур.

γ = ((γ*)2 + (n − 1) / n)0,5

Подставив показатели качества из методики (Rотн, rотн), получаем:

γ* = σRЛ,отн / σr,отн ,
σRЛ,отн = 0,84 Rотн / 2,77 = 0,84 × 52% / 2,77 = 16%,
σr,отн = rотн / 2,77 = 37% / 2,77 = 13%,
γ* = 16% / 13% = 1,2,
γ = ((1,2)2 + (2 − 1) / 2)0,5 = 1,4

Примечание — Равенство σRЛ = 0,84 σR применимо при отсутствии информации о значении σRЛ.

По таблицам приложения И РМГ-76-2014 определяем число контрольных процедур, необходимых для достоверной оценки показателей качества результатов анализа:

  • для оценки показателя точности — 26;
  • для оценки показателя внутрилабораторной прецизионности — 12;
  • для оценки показателя повторяемости — 18.

Принимаем, что 30 контрольных процедур будет достаточно для достоверной оценки стабильности показателей качества.

5) Расчет границ регулирования контрольных карт Шухарта производят следующим образом:

а) для контроля повторяемости:
средняя линия, r'ср,о = a2 × 0,01 × σr,отн = 1,128 × 0,01 × 13 = 0,15;
предел предупреждения, r'пр,о = A1,2 × 0,01 × σr,отн = 2,834 × 0,01 × 13 = 0,37;
предел действия, r'д,о = A2,2 × 0,01 × σr,отн = 3,686 × 0,01 × 13 = 0,48.

б) для контроля внутрилабораторной прецизионности:
средняя линия, R'ср,о = a2 × 0,01 × σRЛ,отн = 1,128 × 0,01 × 16 = 0,18;
предел предупреждения, R'пр,о = A1,2 × 0,01 × σRЛ,отн = 2,834 × 0,01 × 16 = 0,45;
предел действия, R'д,о = A2,2 × 0,01 × σRЛ,отн = 3,686 × 0,01 × 16 = 0,59.

в) для контроля точности:
средняя линия, K'ср,о = 0
пределы предупреждения К'пр,о = 0,01 δл = 0,01 × 0,84 × δ = 0,01 × 0,84 × 40 = ± 0,34;
пределы действия К'д,о = 0,015 δл = 0,015 × 0,84 × δ = 0,015 × 0,84 × 40 = ± 0,50.

6) Сводим данные для построения контрольных карт Шухарта в таблицу рекомендуемой формы:

Таблица 10 — Данные для построения контрольных карт Шухарта для контроля точности, для контроля внутрилабораторной прецизионности и повторяемости результатов измерений с использованием ОК (расчет величин в относительных единицах) и результаты интерпретации данных контрольных карт

Объект Вода поверхностных источников водоснабжения
Определяемый показатель Массовая концентрация свинца
Методика анализа Аттестованная методика определения массовой концентрации свинца в питьевых и природных водах методом атомно-абсорбционной спектрометрии с электротермической атомизацией
Единица измерения мг/дм3
Период заполнения контрольной карты 10.01.22-23.12.22
Аттестованное значение образца для контроля 0,002
Контрольная карта: для контроля повторяемости для контроля внутри-лабора-торной прецизионности для контроля точности
Пределы предупреждения r'пр,о=0,37 R'пр,о=0,45 K'пр,о=±0,34
Пределы действия r'д,о=0,48 R'д,о=0,59 K'д,о=±0,50
Средняя линия r'ср,о=0,15 R'ср,о=0,18 K'ср,о=0
Но-мер кон-троль-ного изме-ре-ния l Результаты параллель-ных определений Хl Результат контрольного измерения X̅l Результат контрольной процедуры Вывод о несоответствии результата контрольной процедуры пределам действия или предупреждения Результат интер-претации данных контрольных карт, требующий корректи-рующих действий с целью обеспечения стабильности процедуры анализа рабочих проб
1-го кон-трольного определе-ния Хl,1 2-го кон-трольного определе-ния Хl,2 для контроля повторяе-мости rк,l=(Xl,max−Xl,min)/X̅ для контроля внутри-лабора-торной преци-зионности Rк,l=|X̅1−X̅2|/X̿ для контро-ля точности Kк,l=(X̅l−C)/C при контроле повторяе-мости при контроле внутри-лабора-торной преци-зионности при контроле точности
1 2 3 4 5 6 7 8 9 10 11
1 0,0014 0,0013 0,0014 0,071 -0,300
2 0,0016 0,0021 0,0019 0,263 0,303 -0,050
3 0,0026 0,0022 0,0024 0,167 0,233 0,200
4 0,0018 0,0014 0,0016 0,250 0,400 -0,200
5 0,0021 0,0025 0,0023 0,174 0,359 0,150
6 0,0026 0,0024 0,0025 0,080 0,083 0,250
7 0,0023 0,0024 0,0024 0,042 0,041 0,200
8 0,0018 0,0016 0,0017 0,118 0,341 -0,150
9 0,0016 0,0012 0,0014 0,286 0,194 -0,300
10 0,0014 0,0012 0,0013 0,154 0,074 -0,350 Сверх предела преду-преж-дения
11 0,0013 0,0015 0,0014 0,143 0,074 -0,300
12 0,0027 0,0026 0,0027 0,037 0,634 0,350 Сверх предела действия Сверх предела преду-прежде-ния Одна точка за пределом действия на карте по контролю преци-зион-ности. Две из трех после-дователь-ных точек за пределом преду-прежде-ния на карте по контролю точности.
13 0,0022 0,0026 0,0024 0,167 0,118 0,200
14 0,0025 0,0019 0,0022 0,273 0,087 0,100
15 0,0028 0,0026 0,0027 0,074 0,204 0,350
16 0,0026 0,0021 0,0024 0,208 0,118 0,200
17 0,0024 0,0025 0,0025 0,040 0,041 0,250
18 0,0020 0,0023 0,0022 0,136 0,128 0,100
19 0,0023 0,0018 0,0021 0,238 0,047 0,050
20 0,0028 0,0022 0,0025 0,240 0,174 0,250 Девять точек подряд находятся по одну сторону от средней линии на карте по контролю точности.
21 0,0024 0,0027 0,0026 0,115 0,039 0,300
22 0,0025 0,0023 0,0024 0,083 0,080 0,200
23 0,0016 0,0015 0,0016 0,063 0,400 -0,200
24 0,0018 0,0020 0,0019 0,105 0,171 -0,050
25 0,0020 0,0019 0,0020 0,050 0,051 0,000
26 0,0022 0,0014 0,0018 0,444 0,105 -0,100 Сверх предела преду-прежде-ния
27 0,0028 0,0018 0,0023 0,435 0,244 0,150 Сверх предела преду-прежде-ния Две из трех после-дователь-ных точек за пределом преду-прежде-ния на карте по контролю повторяе-мости
28 0,0024 0,0020 0,0022 0,182 0,044 0,100
29 0,0025 0,0024 0,0025 0,040 0,128 0,250
30 0,0018 0,0020 0,0019 0,105 0,273 -0,050

7) Строим контрольные карты и интерпретируем их данные. Выводы о несоответствии результатов контрольных процедур пределам действия или предупреждения (при наличии) и результаты интерпретации данных карт, требующие корректирующих действий, вносим в таблицу.

Контрольная карта Шухарта. Контроль повторяемости результатов измерений с использованием ОК

Рисунок 2. Контрольная карта Шухарта. Контроль повторяемости результатов измерений с использованием ОК (в относительных единицах)


Контрольная карта Шухарта. Контроль стабильности внутрилабораторной прецизионности результатов измерений с использованием ОК

Рисунок 3. Контрольная карта Шухарта. Контроль стабильности внутрилабораторной прецизионности результатов измерений с использованием ОК (в относительных единицах)


Контрольная карта Шухарта. Контроль точности результатов измерений с использованием ОК

Рисунок 4. Контрольная карта Шухарта. Контроль точности результатов измерений с использованием ОК (в относительных единицах)

Примечание — В качестве дополнительного сигнала на картах отмечены сигналы к возможному нарушению стабильности процесса анализа, указанные в разделе "Анализ данных контрольных карт и их интерпретация": значение rср + (rпр − rср) / 2 при контроле повторяемости, Rср + (Rпр − Rср) / 2 — при контроле внутрилабораторной прецизионности), ± Кпр / 2 — при контроле точности.

Также с вышеприведенным примером построения контрольных карт Шухарта для контроля стабильности результатов анализа вы можете познакомиться в формате таблицы Excel (скачать xlsx).

Вернуться к содержанию

Библиография

3 августа 2022 г. 8:40

 34,1 К    7,5 К

Реклама

Общество с ограниченной ответственностью "Линко", ИНН 7203563403, ERID: 2VtzqxFhmzm

Почта Линко

Отправитель: Общество с ограниченной ответственностью "Линко"

ГОСТ ISO/IEC 17025-2019. Интерактивный курс

  • 32 интерактивных занятия по всем основным темам.
  • Разработка Руководства по качеству и процедур в ходе курса.
  • Лекционная часть материалов включена в занятия.

Доступен c 9 июня 2025 г.

Подробнее

Изменения в документах

Расширен перечень сведений, обязательных к передаче в ФСА. Изменения к Приказу МЭР 704

Опубликован Приказ Минэкономразвития РФ № 730 от 20.11.2024. В отношении аккредитованных испытательных лабораторий дополнительно к сведениям, указанным в пункте 1 Положения о составе сведений, представляемых аккредитованными лицами в ФСА, необходимо предоставлять следующие сведения ...


Новая версия методических рекомендаций СМ № 04.1-4.0009 вступила в силу

Калибровочные лаборатории могут руководствоваться документом при подготовке к процедуре аккредитации, РОА, подтверждения компетентности аккредитованного лица. Новая версия рекомендаций — 05.1 от 3 февраля 2025 г. опубликована на официальном сайте Росаккредитации. Документ вводится в действие c 17 февраля 2025 г.


Протокол испытаний: как правильно оформить документ по ГОСТу

Рассмотрим оформление протоколов испытаний в соответствии с требованиями законодательства. Особое внимание уделим положениям ГОСТ ISO/IEC 17025-2019 и ГОСТ Р 58973-2020. Подробно разберем каждый пункт этих требований и дадим рекомендации, как правильно оформить протоколы испытаний, чтобы избежать проблем на проверках.

Познакомиться со статьей

Семинары серии «Весенняя капель»

Примите участие во всех встречах весеннего цикла.

Работа с рисками и возможностями

2 ак.ч

Работа с рисками и возможностями Записаться

Записи. Результаты. Данные и информация

5 ак.ч

Записи. Результаты. Данные Записаться

Ключевые правила расчета сроков на ПК-1-2-5

1 ак.ч

Ключевые правила расчета сроков на ПК-1-2-5 Записаться

ГОСТ 17025: персонал, конфиденциальность, беспристрастность и помещения

2 ак.ч

ГОСТ 17025: персонал, конфиденциальность, беспристрастность, информация и помещения Записаться

Новая политика ФСА. Области технической компетенции

1 ак.ч

Новая политика ФСА. Области технической компетенции Записаться

Требования к структуре. Практикум

6 ак.ч

Требования к структуре. Практикум Записаться

Интерактивный модуль «Процессный подход в лаборатории» возвращается

Успейте записаться первыми на новый семинар-практикум от Линко

Интерактивные карточки

Помогут лучше осовоить материал и интересно провести время.

Семинар-практикум

Строим подробнейшую схему всего процесса "Управление документами и записями".

Перейти к модулю

Актуальные темы

Применение мозгового штурма в лаборатории

Мозговой штурм — это метод, который используется для стимулирования группы людей к разработке идей. Может сопровождать все этапы процесса управления рисками (идентификацию, анализ источников, факторов риска, анализ и оценку риска и его обработку).


Метод Дельфи в лаборатории: как эксперты помогают принять верное решение

Один из групповых методов экспертных оценок, который позволяет обобщить в одно мнение оценки многих специалистов. Метод Дельфи применяется для прогнозирования развития событий. Может эффективно применяться для оценки рисков.


Открытая разработка документов - 2025

Открытая разработка документов Новая версия РК выходит 1 марта

Проект поможет в разработке своего руководства. Элитный документ, проверенный и усиленный в юридических вопросах. Более объективный продукт нового поколения. Новая СМ от Линко, не имеющая аналогов.

 
Подробнее об ОРД-25 и ОРД-Эксперт

Линко Практикум

Могут принять участие 2‑10 сотрудников Вашей лаборатории или можете участвовать сами.


Небольшая лекция позволит вспомнить материал или получить новые знания. Работайте в группе с преподавателем в формате практики, чтобы закрепить теоретический материал и лучше понять его применение в реальных ситуациях.


Беспристрастность и конфиденциальность. Практикум по ГОСТ ISO/IEC 17025-2019

Доступен 12 мая 2025 г.

6 ак.ч

При обнаружении риска для беспристрастности лаборатория должна быть в состоянии продемонстрировать то, как она устраняет или минимизирует такой риск.

Подать заявку

Требования к структуре. Практикум по ГОСТ ISO/IEC 17025-2019

Доступен 26 мая 2025 г.

6 ак.ч

Лаборатория должна определить управленческую структуру и взаимосвязи между службами, установить полномочия всех сотрудников, документировать свои процедуры, демонстрировать, как она минимизирует соответствующие риски.

Подать заявку

Требования к ресурсам. Персонал. Практикум по ГОСТ ISO/IEC 17025-2019

Доступен 2 июня 2025 г.

6 ак.ч

Персонал должен работать в соответствии с системой менеджмента. Необходимо документировать требования к компетентности, гарантировать, что персонал обладает компетентностью для выполнения деятельности и для оценки значимости отклонений.

Подать заявку

Выберите любую тему для участия

Выбрать Практикум

Органолептический анализ в лаборатории. Требования к помещениям и условиям окружающей среды

Расскажем о требованиях законодательства к проведению органолептических испытаний, проектированию лабораторных помещений, контролируемым параметрам окружающей среды и освещённости. Обратим внимание на стандарты и руководства, которые необходимо соблюдать при проведении органолептических испытаний.

Познакомиться со статьей

Новые нормативы и стандарты

Введены новые стандарты для испытательных лабораторий. Легкая промышленность

Производство продукции лёгкой промышленности охватывает широкий ассортимент товаров. Перед тем как одежда, обувь и трикотаж попадут к конечному потребителю, они должны пройти ряд испытаний и проверок. Мы подготовили подборку последних стандартов для лабораторий, играющих важную роль в обеспечении качества и безопасности такой продукции.


На обсуждении новые нормативы качества воды и ПДК в водных объектах

Новый приказ заменит действующий в настоящее время приказ Министерства сельского хозяйства РФ от 13 декабря 2016 г. № 552. В случае принятия вступит в силу 1 сентября 2025 года. Из перечня нормативов исключается ряд загрязняющих веществ, добавляется нефтеокисляющий микробный препарат «Океанида».


Курсы и семинары. Весна 2025

Контроль качества результатов измерений (анализа). Нормативные документы и требования к контролю качества анализа на основании ГОСТ Р ИСО 5725-2002

9 - 10 апреля 2025 г.

16 ак.ч

Что Вы узнаете:

Планирование, проведение ВЛК, оценка приемлемости результатов анализа, примеры расчета погрешности методики, документирование, сопоставление результатов испытаний двух лабораторий, проведение анализа МСИ.

Для кого:

Руководители лабораторий, менеджеры по качеству и испытатели.

Записаться

Оценка неопределенности результатов измерений в испытательной лаборатории

11 апреля 2025 г.

5 ак.ч

Что Вы узнаете:

Ответы на теоретические и практические вопросы оценки неопределенности результатов измерений, включая отличия неопределенности от погрешности, виды, методы оценивания, источники, примеры расчета неопределенности.

Цель семинара:

Избавить слушателей от невольного страха перед «Великим и ужасным Гудвином» – неопределенностью измерений.

Записаться

Оценивание неопределенности измерений с учетом неопределенности пробоотбора

11 апреля 2025 г.

3 ак.ч

Что Вы узнаете:

Зачем рассчитывать неопределенность при отборе проб и как это сделать; термины и определения; подходы к оцениванию неопределенности отбора проб; источники неопределенности; алгоритм оценки неопределенности при отборе проб.

Вы научитесь:

Рассчитывать неопределенности при отборе проб, принимать решения по результатам проведения отбора проб.

Записаться

Оценка неопределенности результатов измерений и отбора проб в испытательной лаборатории

11 апреля 2025 г.

8 ак.ч

Что Вы узнаете:

Ответы на теоретические и практические вопросы оценки неопределенности, включая отличия неопределенности от погрешности, виды, методы оценивания, источники, примеры расчета неопределенности.

Цель семинара:

Избавить слушателей от невольного страха перед «Великим и ужасным Гудвином» – неопределенностью измерений.

Записаться

Метрологическая прослеживаемость лабораторий

24 - 25 апреля 2025 г.

16 ак.ч

Что Вы узнаете:

Принципы метрологической прослеживаемости, международную систему величин и единиц, основные действия при установлении прослеживаемости.

Вы научитесь:

Выбирать и применять подходящие эталоны, обобщать опыт обеспечения единства измерений, применять разъяснения и рекомендации по требованиям ГОСТ ISO/IEC 17025-2019.

Записаться

Управление записями в испытательной лаборатории

29 - 30 апреля 2025 г.

16 ак.ч

Будут рассмотрены:

Требования ГОСТ ISO/IEC 17025-2019 и Критериев аккредитации, предъявляемые к ведению записей в испытательной лаборатории, варианты обеспечения лабораторией соответствия данным требованиям.

Вы научитесь:

Формировать и вести лабораторные записи в соответствии с требованиями, применять правила управления, в том числе внесения изменений, резервного и архивного хранения записей.

Записаться

Внедрение методик (методов) измерений в Испытательной лаборатории (верификация и валидация методик)

16 мая 9:00 мск

8 ак.ч

Будут рассмотрены:

Вопросы внедрения методик в деятельность испытательной лаборатории в соответствии с требованиями ГОСТ ISO/IEC 17025-2019.

Что разберем:

Валидация и чем она отличается от верификации, что делать, если нужно валидировать методику, с чего начать, конкретные примеры, ответы на вопросы.

Записаться

Подготовка лаборатории к подтверждению компетентности, аккредитации

28 - 30 мая 2025 г.

24 ак.ч

Что вы узнаете:

Как подготовить лабораторию к прохождению процедуры аккредитации или подтверждения компетентности (ПК) в национальной системе аккредитации, какие документы разработать, сформировать, кому, когда предоставить?

Особенность:

Полный комплект знаний для успешной подготовки к аккредитации и ПК в НСА оценят менеджеры по качеству, специалисты и руководители ИЛ.

Записаться

При обучении на курсах Вы получите
удостоверение о ПК

Удостоверение о повышении квалификации является государственным документом, имеет юридическую силу и подтверждает факт успешного обучения по выбранной программе.

Лицензия № Л035-01215-72/00958262 подтверждает право вести образовательную деятельность.

Отправить заявку очень просто: сделайте это в один клик с платформы или напишите на почту: info@linco.spb.ru

Чат. Линко Форум. Лаборатории

Наш Телеграм чат для Лабораторий. Тысячи специалистов общаются вместе, задают вопросы и получают ответы. Множество рубрик, материалов, документов и ценных ссылок. Богатый источник данных. Этот инструмент подойдет Вам.

Присоединиться

Весенние семинарские дни

 

9,91 балла
Учебный центр Линко получил 717 оценок и отзывов за год

Первые Практикумы

ГОСТ ISO/IEC 17025-2019

Общие требования к компетентности испытательных и калибровочных лабораторий

Выберите любую тему для участия

Выбрать Практикум

Подробные статьи

Пройдите простую регистрацию, чтобы получить доступ к материалам.

Регистрация Вход

Центр информации

Поддержка пользователей, быстрая обратная связь по работе сервисов Линко.

Написать