Analiza systemów pomiarowych - MSA

MSA – jak analizować wyniki metody ARM (czyli coś więcej niż %GRR i ndc)

W niniejszym opracowaniu przedstawiono szczegółowo sposób analizy wyników zastosowania metody ARM (nazywanej też często metodą GRR lub R&R).

Metoda ARM – przegląd wytycznych

W zakresie oceny skuteczności prowadzonych działań kontrolnych stosowanych jest co najmniej kilkanaście metod, których dobór zależy od specyfiki pomiaru (np. niszczący lub nieniszczący) oraz od obiektu badania (np. czy oceniany jest sam przyrząd pomiarowy, czy także jego wykorzystanie przez kontrolerów) [2]. Jedną z najbardziej popularnych jest metoda ARM (nazywana też często R&R). Jest ona oparta na średnich i rozstępach wyliczanych z danych pochodzących z pomiarów zwykle dziesięciu odpowiednio dobranych części, przeprowadzonych przez trzech operatorów, z których każdy wykonuje trzy serie pomiarów [3]. Bardzo typową formą prowadzenia tej analizy jest wykorzystanie popularnej formatki dostępnej w formacie pliku MS Excel – stąd cel tego artykułu, którym jest przedstawienie sposobu analizowania wyników metody ARM udokumentowanej w tej właśnie postaci. Na rys. 1 przedstawiono typowy wygląd formatki do metody ARM.

Rys. 1. Formatka MS Excel – metoda ARM
Źródło: [3]

Formatka składa się z trzech zasadniczych części:

1. Nagłówek – górna część formatki.
2. Dane wejściowe – lewa część formatki, w której podane są dane z pomiarów oraz wstępne przeliczenia średnich, rozstępów, a także w dolnej części – limitów karty kontrolnej R.
3. Wyniki finalne – prawa część formatki, w której podane są m.in. najważniejsze dane wyjściowe: %GRR oraz ndc.

Z punktu widzenia wiarygodności wyników uzyskanych z metody ARM ważne jest spełnienie kilku warunków, w tym m.in. następujących:

• części są kontrolowane zawsze w losowej kolejności,
• kontrolerzy nie mogą mieć możliwości zidentyfikowania mierzonej części – tzn. nie mogą mieć możliwości zapamiętania wyników pomiarów uzyskanych dla tej konkretnej części,
• części odzwierciedlają cały zakres tolerancji lub cały zakres typowej zmienności procesu produkcyjnego.

Sama analiza polega później na analizie szeregu wskaźników, które obrazują jakość kontrolowanego systemu pomiarowego. Są to, oprócz %GRR i ndc, także: %EV, %AV oraz %PV.

Analiza wyników – krok 1

Pierwszym krokiem analizy powinno być sprawdzenie, czy w zebranych wynikach nie pojawiły się tzw. zakłócenia specjalne, czyli wartości, które wydają się „nietypowe” dla obserwowanego systemu pomiarowego. Analiza taka w metodzie ARM dokonywana jest z wykorzystaniem znanej z SPC karty kontrolnej dla rozstępów. Jak przedstawiono na rys. 2, w zebranych danych występuje zakłócenie specjalne u operatora oznaczonego jako A. Przy pomiarze sztuki nr 4 pojawił się niespodziewanie duży rozrzut pomiędzy wynikami. Przyczyn może być wiele, zaczynając od błędnego wpisania wyniku, po zabrudzenie na mierzonej części. Ważne jest, żeby przyczynę takiego zakłócenia zidentyfikować i usunąć, po czym powtórzyć pomiary dla tej sztuki. Bez tego dalsze obliczenia obarczone będą dużym błędem.

Rys. 2. Analiza stabilności pomiarów w metodzie ARM
Źródło: Opracowanie własne

W analizie ARM ważne jest też wybranie tego, co będzie dla uzyskanych wyników wartością odniesienia (tzw. wartość RF). Jeżeli analiza MSA jest robiona pod kątem zatwierdzenia systemu pomiarowego do kontroli jakości, wartością odniesienia powinna być szerokość pola tolerancji (Tol), jeżeli system będzie potrzebny do sterowania procesami (SPC), wartością odniesienia powinna być całkowita zmienność systemu pomiarowego (TV) – rys. 3.

Rys. 3. Wartości odniesienia w analizie ARM                                                                                                                                      Źródło: opracowanie własne

Analiza wyników – krok 2

Drugim krokiem analizy powinno być sprawdzenie, czy do przeprowadzenia badania zostały dobrze dobrane części. Tak jak podano wcześniej, części powinny reprezentować cały zakres tolerancji lub zakres zmienności procesu. Wskaźnikiem informującym o rozpiętości części jest %PV. Nie są określone ścisłe wytyczne do analizy tego wskaźnika (nie ma podanych wartości prawidłowych, wymaganych), ale mimo to można tę wartość poddać analizie.

Jeżeli przy zastosowaniu jako wartości odniesienia szerokości pola tolerancji (rys. 4) wartość %PV będzie przekraczała 100%, będzie to wynikiem dobrania części spoza pola tolerancji. Efektem tego mogą być „sztucznie” polepszone wartości %GRR i ndc. Bazują one bowiem bezpośrednio na wartości PV.

Rys. 4. Oznaka źle dobranych części do analizy ARM
Źródło: opracowanie własne

Niska wartość %PV świadczy o tym, że części wykorzystane do badania były do siebie bardzo podobne. W związku z tym nawet drobne co do wartości błędy, np. powtarzalności, będą miały bardzo znaczące odzwierciedlenie we wskaźnikach %EV, %AV oraz %GRR.

Można zaryzykować wskazówkę, że dobrze dobrane części do badania powinny mieć wartość %PV powyżej około 75%, ale nie przekraczać wartości 100%.

Analiza wyników – krok 3

Wskaźnikami, które są podsumowaniem analizy ARM, są %GRR oraz ndc. Zgodnie z wytycznymi branży motoryzacyjnej [3] %GRR powinien być niższy niż 10%. Od tej wartości, a do 30% włącznie system może być warunkowo zaakceptowany. %GRR powyżej 30% wskazuje na system niemożliwy do zaakceptowania z uwagi na problemy z powtarzalnością lub odtwarzalnością wyników (rys. 5).

Rys. 5. Przykładowe wyniki analizy ARM Źródło: opracowanie własne

Wartość ndc powinna wynosić co najmniej 5. Systemy z ndc poniżej tej wartości mają małą wiarygodność z uwagi na to, że w odniesieniu do PV błędy powtarzalności i odtwarzalności są zbyt znaczące. Wyniki przedstawione na rys. 5 świadczą o bardzo słabym systemie pomiarowym. Wskaźnik %GRR znacznie przekracza dopuszczalne 30%, a ndc nie osiąga wymaganego minimum. Tak słabych wyników nie może też tłumaczyć źle dobrana próbka, ponieważ %PV bliski jest 80%. Niezbędne jest zatem znalezienie przyczyny takich wyników analizy w celu usprawnienia systemu pomiarowego.

Analiza wyników – krok 4

Jeżeli wartości %GRR i ndc nie są zadowalające, należy przyjrzeć się wynikom powtarzalności (EV) oraz odtwarzalności (AV). Wskażą one, gdzie tkwi problem w systemie pomiarowym (rys. 6).

Rys. 6. Wskaźniki powtarzalności i odtwarzalności
Źródło: opracowanie własne

W analizowanych w tym artykule wynikach problem widać zarówno w powtarzalności (%EV prawie 50%), jak i odtwarzalności (%AV powyżej 40%). Należy więc wrócić od danych źródłowych, żeby sprawdzić, gdzie dokładnie pojawił się ten problem (rys. 7).

Rys. 7. Wyniki źródłowe do analizy ARM
Źródło: opracowanie własne

Po wstępnej analizie zebranych danych widać, że największy rozstęp, bo wynoszący aż 4,9 (przy wartościach 0,6 i 1,2 u pozostałych mierzących), ma operator A. To jego rozstęp podniósł znacznie wartość EV, czyli wpłynął na tak duży problem z powtarzalnością. Gdyby rozrzut wyników tego operatora w poszczególnych próbach nie był większy niż przynajmniej to, co zaprezentował operator B (Rb=1,2), wartość %EV spadłaby znacznie z obecnego poziomu około 47% do wartości około 23%. Zatem przy odpowiednio niskiej odtwarzalności taki system mógłby już być warunkowo zaakceptowany.

W zakresie problemów z odtwarzalnością trudno znaleźć na pierwszy rzut oka „winnego”, ale jeżeli wróci się do problemów z powtarzalnością, problem nabiera innego światła. Wskaźnik %EV był zawyżony przez operatora A, ale warto zauważyć, że duża wartość Ra=4,9 była w przypadku każdej części spowodowana zawyżonym wynikiem trzeciej serii pomiarowej. Pojawiła się więc jakaś stała przyczyna, która spowodowała, że ta ostatnia seria operatora A (i tylko jego) dała wyższe wyniki. Mogło się więc okazać, że np. przed pierwszym pomiarem nieprawidłowo wyzerowano urządzenie pomiarowe lub jakieś zanieczyszczenie przykleiło się do szczęk pomiarowych i dlatego cała seria pomiarów została zniekształcona. Gdybyśmy powtórzyli tę serię 10 pomiarów operatora A, jego wartość Ra spadłaby znacznie i można by (wnioskując po dwóch pierwszych seriach pomiarów) zaryzykować stwierdzenie, że osiągnęłaby wartość około 0,6-0,7. Spadłaby także wartość średnia wyników operatora A i wartości średnie dla operatorów A, B i C wyniosłyby odpowiednio: około 122,35, 121,53 i 122,77. Jak widać, wyniki operatora B są niższe niż dwóch pozostałych, stąd też problemy z wartością %AV, która wyniesie około 27%. Gdyby w badaniu nie brał udziału operator B, wtedy odtwarzalność liczona dla operatorów A i C wyniosłaby około 14%, co jest wynikiem znacznie lepszym.

Ostatecznie, po poprawieniu trzeciej serii pomiarów operatora A i usunięciu wyników operatora B wartość %GRR spadła do około 23%, co pozwala na warunkowe zaakceptowanie systemu pomiarowego, tym bardziej że wartość ndc wzrosła do 5 (rys. 8).

Rys. 8. Wyniki analizy ARM po zmianach Źródło: opracowanie własne

Podsumowanie

Przedstawiona w niniejszym artykule analiza wyników pokazuje, jak ważne jest dokładne rozumienie wszystkich wskaźników występujących w analizie ARM. Dopiero ich szczegółowa analiza jest w stanie pokazać nie tylko ogólną jakość systemu pomiarowego, ale także doprowadzić do jego poprawienia. Co oczywiste, w artykule posłużono się pewnymi uproszczeniami, zmieniając poszczególne wyniki i dokonując oszacowań, ale celem takich działań było pokazanie, jaki wpływ na ostateczne wartości wskaźników w metodzie ARM mają poszczególne wartości pomiarów uzyskane przez biorących udział w badaniu operatorów. Warto też pamiętać, że pogłębione wnioski można wyciągać z wykorzystaniem bardziej zaawansowanych metod, w tym np. analizy ANOVA [1].

Źródła powiązane

1. Diering M., Pająk E., Bieżąca ocena przydatności systemów pomiarowych w procesie wytwarzania, część I: metodyka, „Zarządzanie Przedsiębiorstwem” 2010 r., nr 1.
2. Dietrich E., Schulze A., Metody statystyczne w kwalifikacji środków pomiarowych, maszyn i procesów produkcyjnych, Notika System 2000 r.
3. Measurement System Analysis, Reference Manual, Fourth Edition, AIAG-Work Group, Daimler Chrysler Corporation, Ford Motor Company, General Motors Corporation 2010 r.

Autor: Tomasz Greber [PROQUAL]