ISO, менеджмент, консалтингпользователи сайтаRSSФОРУМСТАНДАРТЫГОСТ РСЛОВАРЬНАВИГАТОРКОНСУЛЬТАНТЫ 
Логин : Пароль:   
       [регистрация] [напомнить пароль]
 

ФОРУМ
• Re: методики описания БП 
 23. Окт 08:43 от PrilipkoAI
• ISO 22000:2018 
 10. Сент 23:29 от GurbanovR
• HACCP vs FSMS 
 23. Авг 10:52 от PrilipkoAI
• Re: план контроля качества 
 13. Авг 12:07 от Facebook



Диалог о внутреннем аудите СМК: Как вы яхту назовете, так она и поплывет

Страница для печати 

  • размещено в разделе: Школа качества
  • Автор: KosKa


  • найти еще статьи по теме:


    Критические замечания одного из читателей к статье "Еще раз о внутреннем аудите" привели к активной дискусии, которая "перекочевала" в личную переписку автора и критика. Здесь по согласию сторон дана полная сводка этой переписки, так как она может показаться кому-то интересной. Я, например, считаю, что, если не содержание, то развитие и течение этой дискуссии весьма характерны...

    Внутренний аудит СМК: Как вы яхту назовете, так она и поплыветНачало этой дискуссии было положено здесь. В соответствии с договоренностью, дискуссия продолжилась по электронной почте. Я решил опубликовать сводку по этой дискуссии, так как она может представлять интерес для кого-нибудь из посетителей сайта www.KlubOK.net

                В дискуссии участвуют:

                Константин Стрюков (он же KosKa), инженер по качеству, Инекс Профешнл Групп (г. Киев)

                Леонид Маликов (он же Mall), менеджер по качеству, Внедренческий центр DRV (г. Калининград)

                Здесь приводится полная сводка этой переписки, в хронологическом порядке. Стилистика, орфография и пунктуация авторов сохранены (за исключением самых очевидных ляпов), текст был несколько сокращен, там где это было возможно без искажения смысла.

                Синим цветом выделено цитирование оппонентами друг друга, красным - комментарии "редактора" :.

                Итак:

    ЧЕТВЕРГ, 11.09.2003

    Добрый день, Константин!

                Закончилось отпускное время, теперь можно приступить и к дебатам.

                Но сначала "О конструктивности". То, что для одного "неконструктивно", для другого может быть очень принципиальным моментом.

                В особенности, если вводится непривычный для данной области термин и не дается к нему пояснений. Здесь нет темы для спора, так как общепринятая практика предполагает такие пояснения давать. Это я еще раз возвращаюсь к "Формальной модели системы управления".

                Тем более что в начале Вашей статьи тоже упоминалось о важности толкования терминов.

                То, что Вы дали в своем ответе - как раз неконструктивно, потому что не может быть применено: в нормативных документах ISO определение или описание "Формальной модели" отсутствует (и нет такого понятия). И как такая модель может оказаться у ЛПР, руководствующегося критериями СМК (или принципами TQM), непонятно.

                В других областях знаний (ИТ, теории автоматов, теории игр) есть разработанные методы создания формальных систем. И мне кое-что о них известно.

                Но в применении к СМК - я предположил, что Вы являетесь пионером. Если это не так и Вам не очень трудно, сообщите, пожалуйста, первоисточник для практического применения.

                Конечно заманчиво иметь в голове такой автомат для принятия решений, но скорее всего это возможно лишь в самых простейших ситуациях.

                 * Прим.: Есть такой анекдот о сортировщике апельсинов, который должен ежесекундно принимать решения и поэтому он в страшном напряжении и не спит ночами. А с точки зрения его соседа - сортировка апельсинов очень спокойная работа и там все предельно просто.

                Сколько людей столько и мнений.

                 Пока я отдыхал, просмотрел еще раз имеющиеся у меня источники. В большинстве случаев определение "формальный" в применении к системам управления (коллективами, организациями и тем более бизнес - предприятиями) имеет скорее негативный оттенок. Хотя, например, в применении к документообороту это применимо в большей степени, чем к другим областям деятельности (в позитивном смысле).

                Если вы имеете ввиду под формализацией > документированность некоторой части СМК, тогда все понятно и дальнейших пояснений не требует.

                Но, в общем случае, это довольно небольшая часть системы. И даже у ISO наметилась тенденция к уменьшению уровня документированности.

                 Если следовать этой логике, то аудитор, как и другие ЛПР руководствуются во многом и неформальными знаниями (принципами, критериями и т.п.). И именно здесь основные проблемы внутреннего аудита. Внешние аудиторы от этих проблем отгородились простой формулой - "аудитор не дает рекомендаций".

                Для внутреннего аудитора - это не проходит. От него требуется непосредственное участие и в анализе причин выявленных Несоответствий и в подготовке КД и ПД так далее..

                Хотя я встретил месяца два назад на одном из сайтов статью, в которой утверждалось, что внешний аудитор теперь тоже делает что-то подобное (или рекомендует, точно уже не помню, но можно уточнить) .

                А ведь известно - от того, как сформулирована проблема, часто зависит и выбор пути ее решения.

                Это я уже непосредственно о самом внутреннем аудите и задаче его совершенствования. Есть такая задача и у меня. В основном это двигает меня в диалоге с Вами. Я бы мог все это проговаривать и с самим собой, но это менее продуктивно.

                Теперь о Вашем вопросе -

                "А не могли бы Вы объяснить, что такое "область действия СМК"? Очень любопытно... Что вообще такое "область действия системы"?"

                Это очень просто. Даже если в Вашем вопросе ирония, я изложу это из тех же соображений, о которых сказал выше.

                * Прим.: Вы упоминали о SADT и мне это нравится ( Теория Формализованного представления "Неформального").Дам несколько напоминаний из SADT, на которые в дальнейшем хочу опираться. Они не противоречат принципам ISO и даже в чем-то развивают. Например, вводят понятие о "Точке зрения" на систему или процесс. Так вот одним из первых шагов создания текстово -графической модели системы по SADT (после определения "субъекта моделирования", "цели" и "точки зрения") является введение "ограничений" системы. Граница системы отделяет все, лежащее внутри нее и является областью описываемой системы. А все, лежащее вне, образует среду системы.

                Естественно, что правила, созданные в системе, могут эффективно действовать только внутри ее границ. Примерно так я и понимаю "область действия СМК".Естественно, я говорю об области действия уже реально действующей или проектируемой СМК, а не о чем-то еще.

                Во-первых, эту область предлагается застолбить по требованию п. 4.2.2.(ИСО 9001-2000) в Руководстве по качеству:

                "…Организация должна разработать и поддерживать в рабочем состоянии Руководство по качеству, включающее:

                a) указание области применения системы менеджмента качества, в том числе детальные обоснования любых исключений (см. п. 1.2),…"

                 * Прим.: Это выдержка одной из редакций ИСО 9001-2000 на русском языке. Этих редакций довольно много и все они различаются по тексту изложения. Однако все авторы русских текстов утверждают, что эти тексты гармонизированы с английским оригиналом. Это тоже может быть дополнительной иллюстрацией к утверждению о невозможности создания формальной модели СМК, по ее описанию на великом и могучем…, а не на формализованном языке. Кстати, в SADT используется естественный язык.

                 Могу привести, например, одно исключение из требований ИСО, которое записано в нашем Руководстве: "Область действия Системы Качества не предусматривает процедуры управления измерительными и контрольными приборами (пункт 7.6 стандарта ISO 9001:2000), так как они отсутствуют".

                Затем постепенно разрабатывая проект СК и реализуя его вы только тем и занимаетесь, что накладываете требования ИСО на свою Систему Управления и пытаетесь протянуть ножки по этой одежке (и при первом же внутреннем аудите проверяете, на что реально Вы вышли. На этом этапе (с позиции моего сегодняшнего существования) работа аудитора выглядит наиболее простой, ну, примерно... как у сортировщика апельсинов).

                Один из первых наших документов так и называется -Назначение и область действия СК. (В наших документах СМК урезано до СК).

                Затем, если Вам предстоит сертификация, кратко описываете эту область в заявке на сертификацию СК. В этой Заявке организация обязана определить территориальную границу действия СК (Ваше предприятие могло внедрить Систему на одной из многих территориально удаленных площадок) и область Вашей бизнес - деятельности (или области, если их несколько) , которые Вы предполагаете сертифицировать.

                Вот так реально мы и определяли область деятельности нашей СК. Мне кажется, что я уже ответил на Ваш вопрос. Может быть вспомню еще что-нибудь, если потребуется.

                 Вообще, мне сейчас пока интересно окунуться в эту тему. Готов продолжить. Но, если после прочтения того что я написал, Вам скучно, прошу сообщите. Я пойму.

                 * Прим.: "То, что хорошо русскому, немцу - смерть." Это - из известного у нас фильма Сергея Бодрова.

                 Кстати, когда Вы намечаете закончить Вашу статью - процедурой об аудите? Здесь, по-видимому, мы далеко разойдемся в точках зрения.

                С уважением, Леонид Маликов

    ПЯТНИЦА 12.09.2003

    Добрый день, Леонид

                Ну что ж, давайте вернемся к нашей дискуссии.

                Ваше замечание по поводу необходимости расшифровки терминологии принимаю безоговорочно. Правда, я не ожидал такого сопротивления терминам "модель" и "формальная система", так как считаю их в некотором смысле фундаментальными для изучения и инжиниринга систем.

                То, что Вы дали в своем ответе - как раз неконструктивно, потому что не может быть применено: в нормативных документах ISO определение или описание "Формальной модели" отсутствует (и нет такого понятия). И как такая модель может оказаться у ЛПР, руководствующегося критериями СМК (или принципами TQM), непонятно.

                ЛПР всегда имеет дело не с реальной системой (хотел бы я знать, что это такое), а с ее моделями. Модель может быть сформирована эвристически - на основании образования, личных качеств, опыта и т.п. В этом случае она может быть внутренне противоречивой, неполной. Но хуже всего даже не это, а то, что разные ЛПР используют разные модели для принятия решений. И нет никакой гарантии, что решения, принимаемые разными ЛПР не будут противоречить друг другу.

                В случае же формальной модели (в нашем случае представляемой совокупностью регламентов) у всех ЛР будет существенно схожие модели для принятия решений. Я здесь не говорю об одинаковых моделях, так как строго говоря они всегда будут отличаться благодаря различию точек зрения и особенностям восприятия разных людей.

                 Пока я отдыхал, просмотрел еще раз имеющиеся у меня источники. В большинстве случаев определение "формальный" в применении к системам управления (коллективами, организациями и тем более бизнес - предприятиями) имеет скорее негативный оттенок. Хотя, например, в применении к документообороту это применимо в большей степени, чем к другим областям деятельности (в позитивном смысле).

                То, что вы здесь называете формальностью, на самом деле следует называть "формалистикой", т.е. подобием формальности. Вот это действительно бич СМК в моей, да и наверное Вашей, стране.

                А то, что в публикациях по СМК часто встречаются вольности в обращении с терминологией - это отчасти "заслуга" словаря ISO 9000 (на мой взгляд, он требует доработки)

                Если вы имеете ввиду под формализацией - документированность некоторой части СМК, тогда все понятно и дальнейших пояснений не требует.

    Но, в общем случае, это довольно небольшая часть системы. И даже у ISO наметилась тенденция к уменьшению уровня документированности.

                Я действительно под формализацией имел ввиду регламентацию. Но регламентация сама по себе не плоха. Например, профессор Чернышев на своих лекциях "Основы корпоративного принятия решений" в Высшей школе экономики в 1996 году приводил такой пример: Космическая программа "Аполло", благодаря которой американцы первыми высадились на луну, содержала огромное количество регламентирующей документации. Цифра ужасающая - вес все документации достигал 300 000 тонн!!! Для ее перевозки потребовалось бы 5000 вагонов. Более того, по мнению Чернышева именно проблемы с регламентацией в СССР сделали возможным поражение СССР в этой "космической гонке".

                Дюркгейм еще в 1895 году говорил, что регламентация должна удовлетворять четырем требованиям: быть внутренне непротиворечивой, справедливой, самоорганизующейся, и не столько ограничивать, сколько давать свободу. Идеальная картинка - мечта менеджера :-).

                А ведь известно - от того, как сформулирована проблема, часто зависит и выбор пути ее решения.

                Не просто часто, а всегда зависит. И не только выбор пути решения, но и сама возможность решения проблемы зависит от правильной ее формулировки.

                Теперь о Вашем вопросе - "А не могли бы Вы объяснить, что такое "область действия СМК"? Очень любопытно... Что вообще такое "область действия системы"?"

    Это очень просто. Даже если в Вашем вопросе ирония, я изложу это из тех же соображений, о которых сказал выше.

    * Прим.: Вы упоминали о SADT и мне это нравится ( Теория Формализованного представления "Неформального").Дам несколько напоминаний из SADT, на которые в дальнейшем хочу опираться. Они не противоречат принципам ISO и даже в чем-то развивают. Например, вводят понятие о "Точке зрения" на систему или процесс. Так вот одним из первых шагов создания текстово - графической модели системы по SADT (после определения "субъекта моделирования", "цели" и "точки зрения") является введение "ограничений" системы. Граница системы отделяет все, лежащее внутри нее и является областью описываемой системы. А все, лежащее вне, образует среду системы.

    Естественно, что правила, созданные в системе, могут эффективно действовать только внутри ее границ. Примерно так я и понимаю "область действия СМК".Естественно, я говорю об области действия уже реально действующей или проектируемой СМК, а не о чем-то еще. …

    Вот так реально мы и определяли область деятельности нашей СК. Мне кажется, что я уже ответил на Ваш вопрос. Может быть вспомню еще что-нибудь, если потребуется.

                За иронию прошу прощения. Знаю за собой такую слабость и стараюсь с ней бороться (с переменным успехом :-))

                А вот на ограничениях хочу остановиться поподробнее.

                Вы приравниваете

                 "область действия СМК" = "граница СМК"

                Не возражаю, пусть так.

                Но Вы ведь знакомы с SADT. Значит, знаете, что границы системы - это лишь абстракция, которую устанавливает исследователь системы для ограничения области познания. В терминах SADT граница системы - это совокупность всех входов и выходов системы.

                В соответствии моделью ISO 9001 система "Внутренний аудит" это часть системы (т.е. подсистема) "СМК". Так как система "ВА" не единственная подсистема "СМК" (а тогда это была бы одна и та же система), значит совокупность всех входов и выходов системы "СМК" будет отличаться от совокупности всех входов и выходов системы "ВА" количественно и качественно. А раз так, то в соответствии с нотацией SADT, границы этих систем буду различными. Т.е.

                 "граница СМК" <> "граница системы ВА"

                и, в соответствии с предложенной Вами терминологией,

                 "область действия СМК" <> "область действия системы ВА"

                Именно это (и только это!) я имел ввиду, когда не согласился с Вашей репликой о том, что "автор придумал ограничения ВА".

                Кстати, когда Вы намечаете закончить Вашу статью - процедурой об аудите? Здесь, по-видимому, мы далеко разойдемся в точках зрения.

                Не думаю, что разойдемся сильно. Причин две. Во-первых, я должен руководствоваться требованиями стандартов (в том числе ISO 19011), если рассчитываю когда-нибудь сертифицировать СМК :-). Во-вторых, и это важнее, наши разногласия коснулись внутренней сущности ВА, а не правил его планирования, проведения или документирования.

                Процедура, которая действительно скоро появится на сайте, разработана в соответствии с ISO 19011, опробована на практике и оказалась вполне рабочей. Более того, она "приняла участие" в сертификационном аудите, успешно его преодолела и получила высокую оценку со стороны аудиторов авторитетного международного ОС.

                Для меня она слегка утратила актуальность, но думаю может пригодиться людям, которые вообще не знают как подступиться к аудитам или любителям "рыбы" :-)

                Надеюсь на дальнейшее сотрудничество. В частности рассчитываю услышать Ваше мнение по поводу процедуры (она появится в понедельник-вторник):-)

                С уважением,
    Стрюков Константин

    ВТОРНИК 16.09.2003

    Добрый день, Константин!

                Меня опять в Вашем ответе кое-что зацепило. Причем, все это в русле обсуждения проблем аудита.

                Возражаю только там, где это важно с точки формулировки проблемы аудита.

                Я буду вклиниваться прямо в Ваш текст.

                …ЛПР всегда имеет дело не с реальной системой (хотел бы я знать, что это такое), а с ее моделями. Модель может быть сформирована эвристически - на основании образования, личных качеств, опыта и т.п. В этом случае она может быть внутренне противоречивой, неполной. Но хуже всего даже не это, а то, что разные ЛПР используют разные модели для принятия решений. И нет никакой гарантии, что решения, принимаемые разными ЛПР не будут противоречить друг другу.

    В случае же формальной модели (в нашем случае представляемой совокупностью регламентов) у всех ЛР будет существенно схожие модели для принятия решений. Я здесь не говорю об одинаковых моделях, так как строго говоря они всегда будут отличаться благодаря различию точек зрения и особенностям восприятия разных людей…

                Тут мне почудилось что-то от известной философской теории о непознаваемости реального мира. Конечно, в этом что-то есть. Но с этим тяжело жить, теряется какая-то опора, ориентиры.

                Мне ближе такое представление о реальном мире (на чью-то умную мысль по этому поводу я наткнулся случайно) > "Если одно и тоже утверждение относительно какого-либо факта сделали несколько человек, то с большой долей уверенности можно сказать, что это факт реального мира".

                Прим.: Это, конечно, не дословно. Где-то это в моих анналах это сохранилось, просто хочется быстрее ответить, пока запал не кончился.

                Здесь можно сразу возразить - а может быть эти несколько человек вчера сбежали из психушки или видели мираж (или НЛО или что-нибудь еще похлеще). Бывает, когда и целые народы, как бараны идут к своей гибели, и даже как-то осознают это, но, по-видимому, все же какой-то мираж принимают за реальность. А реальность для них становится миражом. Но это что-то вроде массового психоза.

                Исключения есть всегда, но в целом это правило работает. Но это же об отдельных фактах, а не системе, возразите Вы. Подождите, подойдем и к реальной системе. И не просто системе, а живой системе, реально действующей и целеустремленной или целесообразной, как хотите.

                Причем мне ближе, да и понятнее другим, когда я говорю, что ЛПР в простейших (или типовых)случаях (ситуациях) просто использует некоторые тоже простые и понятные правила (часто общеизвестные и гарантированно не дающие осечки, с точки зрения ЛПР), по которым он действует. Заметьте, действует по правилам (или по "понятиям", хотя это одно и тоже). Ведь многие бизнесмены удивятся, если мы что- то в разговоре с ними начнем онаучивать в отношении того, как они что-то там моделируют в своих решениях.

                Моделировать можно в спокойной обстановке, в штабе, в выработке стратегии, в нашей дискуссии. А на фронте - нужно действовать сообразно ситуации, поставленной задаче и опережать противника (и даже, возможно, чуть-чуть соседа, если у полевой кухни - но деликатно).

                Прим.: Опять почему-то на ум пришел этот бедный сортировщик апельсинов. Он или недавно устроился на эту работу и темп подачи апельсинов для него слишком быстрый, а навыки сортировки не отработаны до автоматизма; или слишком много каких-то необычных апельсинов, что он мучается - не зная, что с ними делать (т. е. обычными правилами он не всегда может пользоваться, а время поджимает, отсюда шок); или завышенные требования к самому себе и чрезмерно низкая самооценка результатов своей работы, а главное он не видит выхода из этой отчаянной ситуации, возможно, какое-то давление со стороны хозяина или других - семья, дети, некуда уйти (типичный синдром безысходности зацикленного на чем-то человека, ситуации "кролика и удава", мелкого бизнесмена, а может быть аудитора или кого-то еще, наверно, у многих были такие моменты).

                Еще сюда же Прим.: 1. Пример простейшей Модели (Системы) оповещения и принятия решения. Это не выдумка, а личное наблюдение. Недавно, мы ехали в наш курортный город Светлогорск. Я обратил внимание, что наш шофер почти каждой встречной машине так своеобразно помахивает рукой. А я уже этот жест когда-то видел у другого шофера (сам то я не автомобилист, а то бы, наверно, помнил, что он обозначает). Помню, что мне даже что-то объясняли по поводу этого жеста. Но что….? Если приветствует знакомых, то слишком много их, почти каждый встречный - знакомый. Наконец спросил. Оказалось, мы проезжали укромное место, где пристроилась машина ГИБДД ( одним словом гаишники) и приветственный жест шофера - условный знак встречным собратьям- Будьте осторожны, ГИБДД за поворотом!

                Шоферское братство придумало свою Систему безопасности на дорогах против ГИБДД.

                Формальной такую систему не назовешь. А какое ей дать название с Вашей точки зрения и просьба, дать с обоснованием. С моей точки зрения это реальная система. Почему? - 1. Она реально действует. 2. Выполнять ее никто не принуждает (по словам нашего шофера - это его внутреннее побуждение, так подсказывает действовать - его совесть и некоторые профессиональные принципы). 3. Используется очень многими, а возможно у Вас тоже. 4. Она целесообразна и достаточно эффективна. 4. Попадает под определение системы - как совокупность взаимосвязанных и взаимодействующих элементов.

                2-й Пример. Но второй пример из реальной деятельности известного мне ЛПР уже более высокого ранга. Наверно, я уже Вас достал. Но, меня куда-то понесло. В первую очередь я что-то доказываю самому себе. Если не интересно, Примечания - не читайте.

                Когда я был молодым специалистом, то однажды пошел набираться опыта у известного мне главного технолога

                довольно большого предприятия (по калининградским меркам) - тогда они все были государственными.

                Среди прочей любопытной информации, он мне рассказал, как он справляется с потоком бумаг, приходящих ему из разных мест. Это звучало примерно так: "Сижу, спокойно работаю, со всем справляюсь. И, вдруг, откуда ни возьмись - нарастает поток бумаг, и на все и всем отвечать, грозные резолюции, сжатые сроки. Начинаю добавлять темпа в работе, остаюсь сверхурочно. Но однажды чувствую, что все - завалили. Тогда вот так складываю руки ( и показывает, как он складывает руки на груди) и ничего не делаю. Весь в бумагах - по самую макушку. Сижу, проходит день, другой, неделя. Сама собой отваливается одна бумага, другая, третья (т.е. сроки прошли и никто ничего об этих бумагах не спрашивает), тогда опять начинаю спокойно работать и все снова налаживается."

                Поскольку такая ситуация возникала периодически, то и это правило он возвел в систему (модель Неформального поведения в чисто формальной ситуации). Здесь я выразился по научному, раньше таких терминов не применяли. Это было просто его житейское правило в его производственной деятельности. Назвать его формальным ни с какой точки зрения я не могу. Наоборот, формальные правила в таких случаях предписывают - совсем другое.

                Вот тут Вы скажете, так это все примеры из оперативной деятельности. Да, а реальная деятельность организаций на 90 с лишним процентов и есть оперативная деятельность. Кстати, вы что-то там сказали о неэффективности аудита для этого. Я тороплюсь хоть что-то Вам отправить. Уже поздно. А завтра у меня домашние дела. Попробую среди недели что-то накропать. Я еще не иссяк.

                Да я обещал, о реальной системе. Во-первых мне ближе понятие "Образ", когда я говорю с собой или пытаюсь влезть в какую-то проблему. И пока у меня не сложился образ, я чувствую себя не готовым к решению, а если будут пытать и требовать выдам формальный ответ, но сообщу об этом.

                Так вот перейдя к образам и принятию быстрых решений и нестандартным ситуациям- это я уже не буду расписывать, представьте себе игру футбольной команды (или даже шахматную игру или даже любые гонки), там налицо реальная действующая система и наигранные до автоматизма модели, но со способностью видоизменяться по ситуации. Хотя есть набор формальных правил, которых нужно придерживаться, но саму игру классных игроков можно назвать искусством. Здесь тоже не может идти речи о формальной системе.

                А вот как Вам это, из области биологических систем ( говорят у них есть социальный разум, если у Вас есть возможность знакомиться с материалами "Непланета.Ру".) - образец симбиоза и Бизнес - системы в среде Пчелы - Человек. Здесь много аналогий и с СМК. Я поговорю подробнее, если будут возражения. Но здесь невозможно даже намекнуть на формальность системы. Кстати, многие идеи СМК от биологических реальных социумов (систем).

                Я совсем не против моделей и регламентации в управлении. Я против их фетишизации. Это всего лишь вспомогательные и далеко не универсальные средства в реальной и многообразной жизни предприятий.

                Что касается неполных и противоречивых моделей, то я не хочу углубляться в то, хорошо это или плохо. Просто это - общеизвестный факт, что нет универсальных средств на все случаи жизни. Тогда можно утверждать, что набор или даже система моделей (принятых и утвержденных в какой-либо организации), в общем случае, будет напоминать одежду из сетки на теле человека. А если еще она и противоречива, то это уже рваная сетка. Так вот для прикрытия голых мест нужно использовать какие-то другие средства, может быть - и временные и неформальные, да ещё и официально не принятые в системе. После опробования на каком-либо "голом" месте, возможно, их удастся потом перевести в разряд формальных.

                Какой же выход, если есть несколько ЛПР и на каждом из них сетки разного вида и формы. Для этого в первую очередь практиками (часто это просто использование житейского опыта) придуманы разнообразные выходы из положения (далее можно поговорить и об этом). Не зря же говорят - "Голь на выдумки хитра". И вот здесь уже можно совершенно определенно сказать - объединение "формальных" и "неформальных" средств обязательно создадут полноценную одежду без дыр и прорех. Нужно только, чтобы система это допускала, где нужно и где возможно.

                Ну, Вы ниже уже привели слова Дюркгейма об этом же. А раз привели без оговорок, значит согласны. Согласен с ними и я, просто пишу другими словами.

                Прим.*: Выше под "голым телом" понимается та самая "реальность" на которую мы пытаемся набросить сначала "сетку", затем "одежду" разного вида и фасона и ещё "уздечку" в придачу (чтобы дергать, когда потребуется). Отсюда небольшое уточнение Вашей мысли - ЛПР, в первую очередь, имеет дело с реальной жизнью и ее следами, иногда плохо пахнущими, а затем уже со всем остальным, чтобы как-то следы не очень пахли и жизнь больше соответствовала…. Чему? Ответ хотелось бы дать чуть позже разобравшись с принятием решений. Он не так очевиден, как кажется на первый взгляд. И зависит от того, какими принципами и схемами решений Вы будете руководствоваться ( в частности, как аудитор или другой ЛПР).

                Осталось и мне здесь привести несколько изречений. Второе может показаться слишком категоричным. Но что-то рациональное есть и в нем:

                1. "Бизнес - это умение принимать правильные хозяйственные решения в условиях неопределенности" (Аксиома Гарвардской школы бизнеса)

                2. "Есть только один способ отличиться в бизнесе. И он не в том, чтобы следовать правилам. Он в том, чтобы нарушать их" (Билл Фром "Десять заповедей бизнеса и как их нарушать")

                Дальше я хочу представить Принятие решений в виде процесса, попытаться. Посмотрим, что из этого выйдет. Хотя бы чуть-чуть. Пусть сам процесс будет "черным ящиком". Но вокруг него тоже много интересного.

                Интересно, что мы все без исключения и постоянно принимаем решения и часто даже не осознавая этого. Главное в этом процессе - ЛПР. Многое зависит от его личности.

                Мне не так давно попалась любопытная классификация, в которой люди по типу принятия решений делятся условно на 5 групп:

                - гении - (типа Ленина, Наполеона) с их известным изречением: "Сначала нужно ввязаться в драчку, а там посмотрим". Для них главное - это их желания, остальное не имеет значения, для них наиболее привычно использования "метода проб и ошибок". Затраты на реализацию принятого ими решения их, как правило, мало интересуют.

                - аналитики - это приверженцы различных расчетов, исследований в преддверии принятия решений (я в определенной степени принадлежу к ним).

                - интуитивщики, действующие по наитию (причем для них есть даже научная рекомендация - если явных предпочтений в вариантов нет, выбирай первое, что пришло в голову. Оно скорее всего самое верное. Вот по этому принципу я в основном и описываю эту процедуру Принятия Решений, а уже затем сверяю с некоторыми источниками, которые удается найти в Интернет)

                - далее прагматики и последнее уже не помню.

                Конечно, в жизни чаще встречаются сочетания этих типов.

                 Процесс может быть циклическим (состоять из подготовительных этапов, этапа непосредственного выбора варианта и этапов оценки, отслеживания и подведения итогов после достижения цели). Статус Решения используется для определения уровня ЛПР, на котором будет принято окончательное решение. Без представления об Энергии ЛПР процесс тоже вряд ли будет эффективным. Усталый Шеф в лучшем случае отмахнется от ваших предложений, а в худшем пошлет подальше.

                И вот тут мы подошли к тому, что с чем сравнивается. Я разместил на входе:

                - Реальную ситуацию (Наличие проблемы в реальной деятельности, Необходимость выбора и т.п.),

                - Средства (Формальные и Неформальные, Правила, Принципы, Табу, Даже Гадания и Заклинания, Методы и Методики, Интуиция Исполнителей, Наличие свободных Ресурсов, Оборудования, Инструментов),

                - Энергию ЛПР ( т. е. все человеческие качества и ЛПР и тех, кто будет брошен на выполнение принятого варианта Решения).

                В моем рассуждении Формальное занимает в Системе принятия Решений только часть ресурсов (Ценностей Системы). Примерно так же дело обстоит и в СМК в целом.

                Но, это в общем случае. А когда мы в начале пути (или, например, перед Сертификацией), то практически перед нами довлеет это формальное. Но через некоторое время это проходит. Восстанавливается некоторый Баланс между Формой и Содержанием, Буквой и Духом Системы. Вот измерять этот Дух невероятно сложно, здесь я с Вами согласен. Но тенденция все же такая.

                Мы сейчас, более года - на послесертификационном пути. Срок небольшой по меркам тех, у кого он измеряется десятилетиями. Говорят, что нужны годы и годы, чтобы достичь высокого уровня в области качества. Но, мы уже в поисках такого Баланса.

                …Я действительно под формализацией имел ввиду регламентацию. Но регламентация сама по себе не плоха. Например, профессор Чернышев на своих лекциях "Основы корпоративного принятия решений" в Высшей школе экономики в 1996 году приводил такой пример: Космическая программа "Аполло", благодаря которой американцы первыми высадились на луну, содержала огромное количество регламентирующей документации. Цифра ужасающая - вес все документации достигал 300 000 тонн!!! Для ее перевозки потребовалось бы 5000 вагонов. Более того, по мнению Чернышева именно проблемы с регламентацией в СССР сделали возможным поражение СССР в этой "космической гонке".

    Дюркгейм еще в 1895 году говорил, что регламентация должна удовлетворять четырем требованиям: быть внутренне непротиворечивой, справедливой, самоорганизующейся, и не столько ограничивать, сколько давать свободу. Идеальная картинка - мечта менеджера :-)….

                По первому абзацу - неуверен, а второй для нас - к месту, берем на заметку в дальнейшем разговоре.

                …А вот на ограничениях хочу остановиться поподробнее.

    Вы приравниваете

    "область действия СМК" = "граница СМК"

    Не возражаю, пусть так.

    Но Вы ведь знакомы с SADT. Значит, знаете, что границы системы - это лишь абстракция, которую устанавливает исследователь системы для ограничения области познания. В терминах SADT граница системы - это совокупность всех входов и выходов системы.

    В соответствии моделью ISO 9001 система "Внутренний аудит" это часть системы (т.е. подсистема) "СМК". Так как система "ВА" не единственная подсистема "СМК" (а тогда это была бы одна и та же система), значит совокупность всех входов и выходов системы "СМК" будет отличаться от совокупности всех входов и выходов системы "ВА" количественно и качественно. А раз так, то в соответствии с нотацией SADT, границы этих систем буду различными. Т.е.

    "граница СМК" <> "граница системы ВА"

    и, в соответствии с предложенной Вами терминологией,

    "область действия СМК" <> "область действия системы ВА"

    Именно это (и только это!) я имел ввиду, когда не согласился с Вашей репликой о том, что "автор придумал ограничения ВА"…

                Не совсем так:

                1. "область действия СМК" = "граница СМК" - верно не потому, что это мое мнение. Это вытекает из положений самого стандарта. СМК в области Качества это система верхнего уровня и естественно, что ее требования действуют в пределах ее границ. За границами тоже могут действовать, а могут и нет ( за границей, как заграницей. Полная аналогия с государственной границей). Здесь с моей стороны нет никакой натяжки и Вы с этим согласились.

                2. Исходя из того, что Внутренний Аудит является частью (подсистемой) СМК и, если взглянуть на модель ниже (Рис.2), то он расположен в блоке процессов "Измерение, анализ, улучшение". И здесь Вы правы, но можно даже усилить (конкретизировать) Ваше утверждение:

                ---- Рис. 2 (Рисунок представлял собой модель ISO 9001:2000. Удален при форматировании дискуссии - не думаю, что кто-то из интересующихся обсуждением эту модель не помнил. - С.К.) ----

                "Подсистема ВА" Всегда расположена внутри "СМК",

                а дальше опять по аналогии с государством: ВА подчинена СМК, ею управляется, обслуживает ее потребности и действует везде, где предписано требованиями СМК (естественно, что за этими аббревиатурами стоят реальные живые люди). Из п. 8.2.2. ISO 9001:2000 следует:

                Организация, через запланированные интервалы, должна проводить внутренние аудиты для определения того:

                соответствует ли система менеджмента качества запланированным мероприятиям (см. п. 7.1), требованиям настоящего международного стандарта, а также требованиям к системе менеджмента качества, установленным самой организацией, и

                эффективно ли внедрена, и поддерживается ли в рабочем состоянии.

                Проведение аудитов должно планироваться с учетом статуса и важности процессов и областей, подлежащих аудиту, а также результатов предыдущих аудитов. Критерии, область, частота и методы проведения аудитов должны быть определены. Подбор аудиторов и руководство аудитами должны гарантировать объективность и беспристрастность процесса аудита. Аудиторы не должны проверять свою собственную работу.

                Если прочесть только подпункт б), то уже можно сделать вывод, что

                "область действия СМК" = "область действия системы ВА".

                Если предположить противное ВА действует только в области собственных процессов или где-то в СМК есть закрытые для ВА области, то тогда приходим к положению, что пункт б) будет выполняться частично. Но это противоречит требованиям ISO требует обоснования в Руководстве по Качеству. Наверно, в каких-то случаях это и возможно (тем более, что на это как-то намекает абзац после подпункта б)). Но это скорее исключения. У нас мы даже работу аудитора проверяем, понимая, что очередной аудит третьей стороны такую проверку обязательно сделает и лучше у себя на "кухне" лишний раз подчистить.

                В известных мне организациях придерживаются такой же точки зрения (за исключением наиболее таинственных уголков, куда и сертифицирующий аудитор не зайдет, даже если очень сильно захочет. Но естественно, что такие территории уже не могут являться областью действия СМК, или совсем не важны с точки зрения Качества, что примерно одно и тоже).

                Еще, так и вертится на языке, аналогия с автомобилем: его физические границы - в области его кузова и прочих внешних частей, а ездит он, куда пошлют, т.е. его область функционирования и собственные границы, это не одно и то же. С Аудитом и Аудитором - то же самое. А посему, если задачу поставили, цель определили, будь добр подготовь такую методику, чтобы была эффективна для любого уголка СМК, любого процесса и его продукта. (А не наоборот, если аудит периодичен и методика не эффективны, поэтому качество продукции, по определению, не будем проверять.)

                Я это говорю потому, что знаю постановку вопроса руководства и есть примеры преодоления и периодичности и недостатков методик. Главное здесь в том, какие реальные задачи ставятся перед аудитом и какие ресурсы для этого выделяются. Ведь требования стандарта ISO - это ограничительная планка снизу, а не сверху. Верхний уровень определяется и преодолевается на предприятии.

                И последнее, среди наших документов СМК есть свой Справочник терминов и определений, по которым мы спорили до хрипоты, и которые нам особенно хотелось прояснить. В частности, там есть определение Автоматизированной Системы, как совокупности аппаратного и программного обеспечения, ОБУЧЕННОГО ПЕРСОНАЛА и технологии их взаимодействия. Это же определение, в части Персонала и Технологии хорошо дополняет стандартное определение Системы (реально действующей), которое я приводил выше, и СМК, в том числе.

                ...Процедура, которая действительно скоро появится на сайте, разработана в соответствии с ISO 19011, опробована на практике и оказалась вполне рабочей. Более того, она "приняла участие" в сертификационном аудите, успешно его преодолела и получила высокую оценку со стороны аудиторов авторитетного международного ОС.

    Для меня она слегка утратила актуальность, но думаю может пригодиться людям, которые вообще не знают как подступиться к аудитам или любителям "рыбы" :-)

    Надеюсь на дальнейшее сотрудничество. В частности рассчитываю услышать Ваше мнение по поводу процедуры (она появится в понедельник-вторник):-)…

                Принимаю.

                С уважением,
    Леонид Маликов

    ЧЕТВЕРГ, 25.09.2003

    Добрый день, Леонид.

                Простите за небольшую задержку с ответом.

                Знаете, мне кажется, что мы не можем прийти к единому мнению в первую очередь из-за того, что используем различные концепции, да и понятийный аппарат тоже.

                Мне показалось из Ваших сообщений, что Вы не разделяете формализм и формалистику. Вы используете в рамках нашей дискуссии термин "формальный" в его обыденном значении, там, где следовало бы использовать термин "формалистичный".

                Я в своей аргументации пользуюсь аксиоматикой общей теории систем (по крайней мере, в доступном мне объеме). Вы же, по видимому, с ней не знакомы и трактуете мои слова по-своему. Поэтому наш разговор все более становится похожим на разговор слепого с глухим :-).

                Я уже совсем было написал Вам ответ в духе наших первых сообщений: километр текста с вкраплением Ваших цитат и моими на них ответами. Но потом перечитал то, что получилось, и понял, что позиции наши ничуть не прояснились, хотя мы общими усилиями написали тучу текста.

                Поэтому я все удалил, и решил написать по возможности покороче. Хочу ответить только на два Ваших последних вопроса, или скорее вопроса-примера. Именно эти вопросы были мной выделены, так как, по моему мнению, ответив на них, я наиболее проясню свою позицию в этом слегка затянувшемся обсуждении.

                …Шоферское братство придумало свою Систему безопасности на дорогах против ГИБДД.

    Формальной такую систему не назовешь. А какое ей дать название с Вашей точки зрения и просьба, дать с обоснованием…

                Пожалуйста. Это - сложная система. Если использовать определение профессора Массачусетского университета Форрестера, то сложная система - "… это многозвенная структура высокого порядка с нелинейной обратной связью. Все социальные системы относятся к этому классу… Сложные системы обладают многими на первый взгляд неожиданными и малопонятными свойствами.". (Можно, конечно, не считать определение, данное признанным авторитетом в области систем управления, достаточно обоснованным, но стоит ли?..)

                Эта система объективно существует, ей, как и любой сложной системе, присущи свойства саморегулирования и противодействия внешним воздействиям.

                Эта система целесообразна. Ее цель - достижение гомеостаза (равновесия) и, в конечном итоге, выживание.

                Давайте теперь предположим гипотетическую ситуацию, что некая группа людей решила целенаправленно управлять такой системой (прошу обратить внимание - здесь "целенаправленно" означает уже вполне конкретную волевую цель конкретной группы людей). Для этого им придется как-то описать эту систему. Это логично - нельзя управлять тем, чего не осознаешь. Описать можно, например, простым языком. Типа этого: "Система состоит из водителей, их автомобилей, дороги, инспекторов ГИБДД… Подсистема "Водитель" состоит из… Входом подсистемы водитель является окружающая обстановка, в том числе, наличие инспекторов ГИБДД…" (это утрированный пример, поэтому мне не охота расписывать его в полном объеме). Такое описание очень расплывчато, но тем не менее оно в определенной степени формально, так как оно регламентировано правилами языка, законами формальной логики, а так же при его построении использован вполне определенный язык (в этом случае - "обыденный" русский язык).

                Это описание - модель системы. И оно формально (пусть, в некоторой степени).

                Но этой формальности недостаточно для того, чтобы можно было использовать те или иные методы управления. Именно поэтому, если мы хотели бы управлять такой системой осознанно, нам пришлось бы построить "более формальную" модель. Например, мы могли бы использовать для этой цели IDEF0. А можем "ограничиться" написанием комплекса регламентирующих нормативно-правовых актов и/или стандартов.

                Если резюмировать, то я бы хотел четко объяснить свою позицию: формализация прямо связана с процессом познания. Как только исследователь начинает изучать систему (с любой целью) - он неизбежно создает (осознанно или нет) формальную модель познаваемой системы. И если Вы утверждаете, что управляете системой, значит, и это необходимо, Вы должны иметь формальную модель этой самой управляемой системы.

                Второй пример не менее интересен и показателен. А с моей точки зрения - даже более :-).

                …Это звучало примерно так: "Сижу, спокойно работаю, со всем справляюсь. И, вдруг, откуда ни возьмись - нарастает поток бумаг, и на все и всем отвечать, грозные резолюции, сжатые сроки. Начинаю добавлять темпа в работе, остаюсь сверхурочно. Но однажды чувствую, что все - завалили. Тогда вот так складываю руки ( и показывает, как он складывает руки на груди) и ничего не делаю. Весь в бумагах - по самую макушку. Сижу, проходит день, другой, неделя. Сама собой отваливается одна бумага, другая, третья (т.е. сроки прошли и никто ничего об этих бумагах не спрашивает), тогда опять начинаю спокойно работать и все снова налаживается."

    Поскольку такая ситуация возникала периодически, то и это правило он возвел в систему (модель Неформального поведения в чисто формальной ситуации). Здесь я выразился по научному, раньше таких терминов не применяли. Это было просто его житейское правило в его производственной деятельности. Назвать его формальным ни с какой точки зрения я не могу. Наоборот, формальные правила в таких случаях предписывают - совсем другое…

                Это случай, который хорошо иллюстрирует утверждение, что "…социальные системы принадлежат к этому классу (классу сложных систем -прим.)". Предприятия - типичная сложная система. И на этом примере хорошо видно, как работает саморегулирование в сложных системах: "узкое место" - руководитель - вызывает сначала бумажный затор, а затем система фильтрует и сжимает поток информации до тех пор, пока пропускная способность канала не восстановится.

                Но вот что здесь неверного, так это неадекватная формальная модель. Т.е., вероятнее всего, комплекс регламентирующих документов, описывающих систему управления, предписывает создание массы бумаг, часть из которых никому не нужна (ведь система "нашла" способ от них на время "отказаться"). Либо, даже если все из этих бумаг необходимы - наверняка часть из них можно рассматривать и отфильтровывать на более нижних уровнях управления.

                Вполне возможно, что ранее формальная модель была вполне адекватна реальной деятельности. Но потом, могло произойти, например, увеличение масштабов деятельности, и тот же порядок работы при существенно большем объеме данных стал невозможен, так как начали сказываться физические ограничения ЛПР. То есть мы можем говорить, что модель стала неадекватной.

                Спасибо Вам за этот пример :-). Именно для определения такого рода проблем в первую очередь я и предлагал использовать внутренний аудит.

                На этом поставлю точку, т.к. свою позицию изложил.

                С уважением,
    Стрюков Константин

    ЧЕТВЕРГ, 25.09.2003

    Добрый день, Константин!

                С моей точки зрения, вы просто тему разговора уводите в сторону теории (хотя вспомните Ваш начальный аргумент, о том, что Ваша статья - это не научный трактат, а обмен опытом.

                (Это же Ваши слова - "Легко заметить, что это НЕ монография или научный трактат. Я просто пытаюсь вслух поразмышлять о ВА. Я явно говорю о том, что все написанное - обобщение опыта автора. Нужно ли объяснять, насколько субъективная вещь - опыт?")

                Конечно, "субъективная вещь - опыт", тогда причем здесь теория систем, да еще общая. Я именно с точки зрения опыта с Вами и веду разговор. И вдруг вы перескакиваете в теорию (причем имеющую косвенное отношение к СК) и пытаетесь здесь найти аргументы, а их здесь просто нет. Мы с Вами изначально говорим об опыте работы с СК и аудите, в частности. Хотя мне известна и общая теория систем и теория автоматов и математическая логика и то, что практика без теории слепа и кое-что еще из этой области. Но давайте о реальности и практической деятельности.

                И все примеры я Вам привел не из теории. Теперь об обыденном значении. Термины, после того как изобретаются кем-то, проходят через научные и околонаучные споры, проходят обкатку и возможно приживаются в практической деятельности и даже в обыденной жизни. А слишком глубокая наука - не для реальной практики на предприятии. В терминологии ИСО, с моей точки зрения, не так уж много теории, все достаточно понятно, и тем не менее, даже Консультанты, говорят о "птичьем"языке. Многие практики становятся в тупик. А мы еще с Вами будем лезть в дебри теории.

                В области СК нет общепринятых терминов - "формальный", "формализм" и "формалистика". Поэтому логично посмотреть их вначале в общеизвестных источниках (специальные слишком узки для этой темы). Мне просто приходится это делать, хотя и не хочется.

                Я не люблю бездоказательных утверждений.

                Далее пойду по Вашему тексту.

                …Знаете, мне кажется, что мы не можем прийти к единому мнению в первую очередь из-за того, что используем различные концепции, да и понятийный аппарат тоже…

                Аппарат и концепция едины у нас в основе едины - стандарты ИСО в области СК. Остальное требует пояснения, механический перенос из другой области создает проблему взаимопонимания. Поэтому из общепризнанных источников выберу термины, пронумерую их определения, чтобы ссылаться на то, которое использую, если потребуется в дальнейшем. И по-моему все должно стать на место.

                … Мне показалось из Ваших сообщений, что Вы не разделяете формализм и формалистику. Вы используете в рамках нашей дискуссии термин "формальный" в его обыденном значении, там, где следовало бы использовать термин "формалистичный"…

                Разделяю и не только я, Это общепринятое разделение: Формалистика и Формализм в о общеизвестном смысле (в т. ч. и научном, в некоторых случаях) - синонимы, но есть нюанс - Формалистика - это засушенный формализм (крайняя степень его).

                Подтверждение (это из общеизвестного сайта, поэтому, слава богу, не требует больших затрат времени):

                ------ (Здесь Леонид разместил вытяжки из Большого экономического словаря, словарей Ожегова и Ушакова по поводу толкований терминов "формальный" и "формалистика". Я убрал эти врезки из тех соображений, что пытливый читатель и сам в состоянии заглянуть в эти словари (а места эта врезка занимала много). - С.К.) -----

                И наконец, подслушанное, (Из практики производственной деятельности, например, спорящих в кулуарах после планерки: …Формально Вы правы, не спорю, но по существу дела…" и далее разговор идет уже о не формальном и только здесь можно найти истинные причины и прорывы в запутанных производственных проблемах. Не спорю - это бытовое, но как Вы будете доносить свои аргументы этим работягам и практикам.

                Но в словарях - это уже не бытовое, а общепринятое.

                …Пожалуйста. Это - сложная система. Если использовать определение профессора Массачусетского университета Форрестера, то сложная система - "… это многозвенная структура высокого порядка с нелинейной обратной связью. Все социальные системы относятся к этому классу… Сложные системы обладают многими на первый взгляд неожиданными и малопонятными свойствами.". (Можно, конечно, не считать определение, данное признанным авторитетом в области систем управления, достаточно обоснованным, но стоит ли?..)

    Эта система объективно существует, ей, как и любой сложной системе, присущи свойства саморегулирования и противодействия внешним воздействиям.

    Эта система целесообразна. …

    Если резюмировать, то я бы хотел четко объяснить свою позицию: формализация прямо связана с процессом познания. Как только исследователь начинает изучать систему (с любой целью) - он неизбежно создает (осознанно или нет) формальную модель познаваемой системы. И если Вы утверждаете, что управляете системой, значит, и это необходимо, Вы должны иметь формальную модель этой самой управляемой системы…

                Просьба, остановитесь и загляните в требования по образованию Аудитора по ИСО , там всего лишь среднее образование, даже не средне-техническое. Хотя с моей точки зрения это не правильно. Но это факт. Этот специалист так глубоко не пойдет. Ему что-нибудь попроще.

                …Второй пример не менее интересен и показателен. А с моей точки зрения - даже более :-).



    Это случай, который хорошо иллюстрирует утверждение, что "…социальные системы принадлежат к этому классу (классу сложных систем -прим.)". Предприятия - типичная сложная система. И на этом примере хорошо видно, как работает саморегулирование в сложных системах: "узкое место" - руководитель - вызывает сначала бумажный затор, а затем система фильтрует и сжимает поток информации до тех пор, пока пропускная способность канала не восстановится.

    Но вот что здесь неверного, так это неадекватная формальная модель. Т.е., вероятнее всего, комплекс регламентирующих документов, описывающих систему управления



  • размещено в разделе: Школа качества
  • Автор: KosKa


  • найти еще статьи по теме:
      

    менеджмент качества ( процессы | школа качества | нормирование | управление качеством | хассп)
    книги: стандарты | качество | ХАССП | маркетинг | торговля
    управленческий консалтинг ( планирование и контроль | конфликтменеджмент)
    новости и события: пресс-релизы | новые стандарты | новости партнеров | новости | архив новостей, статей
    новая торговля (автоматизация | магазиностроение | маркетинг и экономика)
    интернет-маркетинг (создание сайта | интернет - бизнес)
    финансы & страхование (страхование | бизнес-школа)
    обзоры и интервью: маркетинг | консалтинг | торговля | управление качеством )
    энциклопедия: это интересно | глоссарий | о семье | менеджмент семьи | каталог ресурсов