보안 메트릭 : "메트릭"이란 무엇입니까?

메트릭 풍경에 관련된 많은 중요하고 유용한 도구가 있습니다, 그들은 함께 맞는 방법의 그들 중 일부에 대해 살펴 보겠습니다합니다. 이 토론을 위해, 나는 이전에 제공하는 "측정"의 정의를 고수합니다 :

메트릭은 감소하고 이야기를 제시하기위한 몇 가지 데이터와 알고리즘이다.

이러한 통계, 벤치 마크 및 추론과 같은 다른 측정 도구는 각각 우리의 지적 풍경에 자신의 자리를 가지고 있지만, 그들 모두의 원인이되는 원리는 과학적인 방법에 뿌리를두고있다. 과학의 방법을 제어하고 우리 주변의 세계를 이해하기위한 인류의 위대한 발명품 중 하나입니다. 과학이 작동하는 방법은, 그 원인의 입력의 변화가 출력에 영향을 미칠 것입니다 방법에 대한 가설 한 후, 그 일의 원인 / 결과 관계의 일종 대한 가설에 의해 무언가의 이해를 얻기 위해 시도합니다.컨트롤 세트 - - 만약 당신이 그 일을 한 후에 또 다른 세트 남겨두고있는 동안, 당신은 실험 장치의 입력을 변경 변경되지 않은, 그리고 변화 지원의 결과 있는지 확인하거나 가정을 파괴한다.

이제 나는 내 자리에서 뛰어 올라 벽에 전등 스위치를 내리고 시작하면 우리는 모든 회의실에 앉아있는 누군가가 "누군가가 여기에 조명을 차단하는 방법을 알아?"묻는 상상하자, 난 과학에 종사하고 있습니다 그것은 특히 장대 한 실험이 아니라면 : 나는 하나의 스위치보고 암시 적으로 가정하고 과거의 실험에 따라 "라이트 스위치 제어 등". 내가 빛이 내 통제 상황입니다, 지금에 있는지 관찰하고 실험을 수행하는 스위치를 플립. 빛이 나는 스위치를 플립 순간 사라지면, 나는 합리적으로 스위치와 빛 사이의 원인 / 효과의 관계를 추론 할 수있다. 

그래서 난 / 오프가는 그 스위치와 빛의 원인 / 효과 관계를 더욱 확신 할 수있는 스위치를 몇 번 튀겨서 성가신 반복 실험을 할 수 있었다.

우리가 너무 바쁜 생활입니다 - - 우리들 대부분은 우리가 과학적인 방법을 구체화로 할 많은 것들을 생각하지 않습니다하지만 우리는 우리가 무슨 일을하는지의 원인 / 효과에 대해 뭔가를 대한 가설하고 정말마다. 

그것은 지식을 습득하는 과정의 필요한 부분이다 : 빛 스위치와 경험이없는 경우에와 빛을 해제하는 방법을 알고, 조명 스위치를 사용하고 결국, 광 스위치의 당신의 잠재 의식 이론에 따라 작동하는 데의 년 후에 할 수 없습니다 당신은 조명 스위치는 대부분 그런 식으로 작동 원칙을 확립 편안하게됩니다. 당신이 명백한 조명 스위치와 회의실에서 자신을 발견하는 경우, 당신은이 것을 대한 가설에 의해 빛을 해제하는 과정을 시작합니다 스위치가되었습니다 

(즉, 당신의 경험은 당신 조명 작업 지시 방법 때문에)하지만 당신은 생각하지 않은 그것은 어떻게 생겼는지.

혹시 통계로 작업 한 경우, 조만간 누군가가 말할 것이다 확실한 것이다 "상관 관계가 인과 관계를 의미하는 것은 아닙니다."당신이 두 가지 사이의 상관 관계를 찾을 수 있습니다 그냥 있기 때문에, 당신은 다른 원인이있는 것은 배운 적이 여부를 하나도 전혀 다른됩니다. 의 지구 온난화를 생각해 보자 : 해적의 수는 떨어졌다으로 행성의 온도는 지속적으로 증가하고있다. 그건 사실이다. 그러나 그 사실을 관찰하는 것은 해적의 부족이 지구 온난화에 대한 책임을 의미하지 않습니다 - 사실 무한의 번호가 잘못 당신이 어떤 주어진 상황에 가지고 올 수있는 가상의 원인 / 효과 관계, 어쩌면 하나 올바른 소수의 것. 우리는 통계를 사용하는 이유는 별도 확인에 관심이있을 수있는 수의 상관 관계를 찾고 우리의 데이터 세트를 탐구하는 것입니다. 당신은 당신의 과학 레일 떨어져 가자 수있는 최악의 방법 중 하나는 원인 / 효과 관계를 확인하지 않고 속단하는 것입니다, 당신이 뭔가를 간과 할 때, 당신은 완벽하게 타당 완전히 틀린 답에 도달 할 수 있습니다. "상관 관계가 인과 관계를 의미하는 것은 아니다"이유는 유행어가 너무 반복이다 : 그것은 당신의 가설과 원인 / 효과 분석 전성 검사를 수행 할 수있는 신호입니다.

학습과 경험을 발견하기위한 시스템 - 통계는 우리의 데이터의 원인 / 효과의 관계를 탐구하기위한 도구라는 의미에서 "발견"이다. 메트릭들의 맥락에서, 추론은 "엄지 손가락의 법칙"또는 의사 결정에서 사용 된 전략을 캡슐화하는 방법으로 사용된다. 그것은 우리가 우리의 경험을 공유에 대한 의사 소통 방법, 우리는 보안에 상당히 자주를 참조하십시오. 난 내가 컴퓨터 보안 분야에서 일을하고 그들이 아, 방화벽 및 안티 바이러스 "라고 대답 한 사람을 말했지만, 언제나 달러가 있다면? 물건의 종류는? "나는 어딘가에 궁전에 은퇴 할 수있다. 그들이 그에게 물어 때 암시 적으로 말하고있는 것은이 보안 방화벽과 안티 바이러스 사이의 관계는 그들에게, 또는 아마도 것입니다 

즉, 보안이 무엇을 .

과거에 우리를 위해 근무하고 추론 될 것들 - - 우리가 다루고있는 문제에 대한 우리의 이해는 학습 행동의 차이를 이해하는 것이 중요합니다. 여기에 보안 추론의 예 : 당신은 가장 심각한 이상에 심각한 순서에 취약성을 감소시켜야한다. 많은 사람들이 그렇게하고, 실제로 엄지 꽤 좋은 규칙입니다. 당신이 그것을 해체와 가정에서 크리프 위치를 볼 수있는 중요한 눈으로 그것을 본다면 : 취약점 '심각도 점수가 정확하게 특정 순간에 발생하는 무엇을 매핑하고 있다는 것을 정도의 경험은 모든 사람의 일치합니다. 통계에 대한 매혹적인 것들 중 하나는 우리가 우려 할 정도 의 공유 우리의 대 경험. 우리는 정규화 및 데이터 공유에 갈 때 나중에이 시리즈에서 더 많은 세부 사항에서 그 주제에 얻을 것이다.

당분간은 두 개의 서로 다른 종류의 것으로 측정 생각하는 것이 좋다 : 내부의 경험을 캡처 사람, 공유의 경험을 다루는 것. 취약성 관리 시스템은 개별 취약점에 적용되는 심각도 점수가 보안 커뮤니티의 공유 경험을 바탕으로 아마 발견의 결과입니다됩니다 반면, 내부 경험과 거래 메트릭의 예는, 시간에 따른 취약점 수있을 ! 그렇게 같은 지식의 무리에 요인 점수 시스템 사용 않았다 특정 취약점은 '중요'라고, 누가 누구이든간에 : 그것은 원격으로 악용 될 수를, 등, 야생에서 이용가 발견 적 가치가있다 그런 이유 그들이 제공하기 때문이다 일관성을 공동의 경험을 우리는 신뢰할 수있는 취약점 관리 시스템은 뭔가 그 평가가 눈을 가린 엔지니어가 다트 판에 다트를 던질 필요에 의해 생성되지 않았 음을, 중요 말할 때. 그래서, 당신은 우리가 지식을 캡처하는 방법을 표준화의 중요한 방법으로 추론 생각할 수있는 - 그것이 우리가 우리의 메트릭의 한 부분으로 간주하는 것입니다 무엇이든 우리의 정의를 확립에 매우 중요합니다.

항공 모함, 1988 시트로엥 광고를 자동차를 실행 - 매우 짧은 거리에있는 0-110

벤치 마크 : 내가 소개하고 싶은 마지막으로 개념이있다. 그리고, 우리는 그것에 대해 테스트, 우리는 우리가 우리의 문제에 대한 일정 수준의 지식을 캡처 생각 테스트를 설정 - 벤치 마크는 공통의 경험에 도달하는 또 다른 방법입니다. 이제, 우리는 다양한 시스템 벤치 마크에 대해 수행하는 방법에 대한 통계를 생산하고, 자동으로 모든 시간을 참조 할 필요없이 벤치 마크에 가서 모든 기본 가정을 캡슐화 할 수 있습니다. 의 인기 벤치 마크를 살펴 보자 : 0-60 회 자동차의. 다른 자동차보다 : 그 벤치 마크의 기본 가정은 짧은 시간에 0-60을 갈 수있는 자동차 (빠른 0-60 얻기에! 더 정확하게) 빠른 점이다. 자동차의 그룹에 대한 60의 점수를 감안할 때, 우리는 60의 시간이 전문 드라이버에, 활성화 된 자동차의 트랙션 컨트롤 시스템, 직선으로 측정 된 것을 기본 가정을 다시 정의 할 필요없이 그들이 가속화하는 방법에 대해 이야기 할 수 바퀴에서, 등등. 벤치 마크는 우리가 비교의 중요한 점에 초점을 맞출 수 있도록 우리의 경험을 정상화 할 수 있습니다. 누군가가 벤치 마크에 사기꾼 때 그렇게 지독한 이유입니다 - 그것은 그 기본 가정을 해킹 의심으로 일반적인 경험에 대해 추론 할 수있는 능력을 던졌습니다.

자신의 통계 프로그램을 사용하는 엄지 손가락, 또는 발견의 좋은 규칙은 조직 외부에서 결과를 공유하고자한다면, 당신은 정상화, 추론 및 벤치 마크에 대해 생각을 시작해야한다는 것입니다. 그렇지 않은 경우 - 당신의 측정 프로세스가 완전히 내부에 초점을 맞춘 경우 - 당신은 중요한 숫자가 시간이 지남에 따라 위아래로 이동 여부에 대해 고민 할 수 있습니다. 메트릭에 대해 심각하게하려면,하지만 당신은 결국 다른 사람들과 경험을 비교하는 것이 좋습니다 '하고 당신이 당신의 프로세스를 설계하는 동안 공유하고 마음에 정상화 부담하면 당신은 아마 더 나은 결과를 얻을 수 있습니다.

우리가 자주 속단 정말 의사 결정의 기초가되는 원인 / 효과의 관계를 이해하지 않고 "일을 수행하는 방법"으로 아이디어를 안치하기 때문에 보안이 오히려 초라한 상태에있는 이유 중 하나입니다. 우리는 같은 간단한 질문에 대답 할 수없는 이유는 : "우리는 방화벽을 쓴다면 얼마나 더 위험 우리가 될 것"첫째, 떨어져, 우리가 정말 방화벽이 위험을 줄이는 방법을 많이 알고하지 않습니다, 우리는 단지 하나있어 우리는 들었다, 그래서 우리는이 사라진 경우 어떻게 될지에 대한 이론의 종류를 설정할 수 있기 때문입니다.

문제를 더 복잡하게하기 위해 우리는 우리가 과학적인 방법, 즉 공유 된 경험을 통해 얻게되는 다른 것들 중 하나를 이용할 수 없습니다. 우리의 방화벽을 모두 동일한 구성 된 경우에, 우리는 방화벽이 어떤 효과가 있다고 대한 가설, 실제로 방화벽과 사용자 / 사이트의 인구를 가지고하지 않고 직접 자신의 결과를 비교할 수 있습니다.

통계는 우리에게 매우 매력적이고 강력한 나타나는 이유입니다 : 그들은 그 경험에게 자신이하지 않고 누군가 다른 사람의 경험에서 배울 수있는 마법의 방법을 제공하는 것 같습니다. 그것은 통계가 이렇게하면 나는 그것을 롤 정도로 불행한 경우에, 나는 차량에서 던진거야 가능성을 줄일 수 있음을 나타냅니다 때문에, 내 큰 바퀴 이상 높이의 4 × 4를 구동 할 때 내가 내 안전 벨트를 넣을 수 있습니다. 롤 오버에 사망 한 지난 10 년 동안 그 다른 사람? 그들은 제어 설정했다. 자신의 안전 벨트를 착용하고 살해하지 않은 사람은 실험 설정했다. 시간과 많은 실험을 통해 우리는 안전 벨트가 생명을 구할 수 있다는 확신을 얻는다. 컴퓨터 보안에서, 필드는 신종이며, 우리는 충분한 실험 데이터 점은 우리가 결정적으로 불행하게도, 많은 배울 수 있도록하지 않는 것이, 너무 빨리 변경합니다. 그래서 우리는 우리가 방화벽을 사용하고 누가 신뢰하고 ​​그들이 도움을 생각하는 사람들이 있기 때문에 방화벽이 도움이 가정합니다. 그리고, 아마 사실이지만 우리가 모르는 얼마나 사실이다.

인류의 공통 경험의 영역 중 일부는 우리가 매우 밀접 원인 / 효과 및 결과를 연구만큼 사회적으로 중요하고, 우리는 그들이 얻을 결정적으로 입증하는 것이 아니라 가까운 이론을 구축 할 수있어 충분한 데이터를 가지고 : 당신은 바보입니다 당신은 라스베가스에있는 담배, 또는 놀이 슬롯 머신을 연기합니다. 그러나 당신이 당신의 방화벽없이하고 싶은 경우? 우리는 정말 말할 수있을 정도로 일반적인 경험이나 충분한 데이터가 없습니다. 우리는이에서 피할 수없는 결론 중 하나는 우리가 우리의 보안 경험과 결과에 대한 정보를 수집하고,보다 효율적으로 정보를 공유하는 훨씬, 훨씬, 훨씬 더 나은 일을 할 필요가있다. VERIS (링크) 및 BSIMM (링크)와 같은 일이 그렇게 중요한 이유입니다 - 그들은 컴퓨터 보안의 과학 실험의 일부입니다 : 우리는 무엇을 측정하고 결과를 결과. 기준을 유지하는 것은 우리의 보안 상태를 개선 할 수있는 유일한 방법입니다.

마지막으로 점 : 메트릭이 속임수가 될 수 있습니다. 당신은 정말 확실하지 않은 무엇인가의 사람을 설득 - 유명한 레일리의 경구는, "거짓말, 빌어 먹을 거짓말, 그리고 통계가있다"꽤 정확하게 측정의 가장 일반적인 사용 중 하나를 요약한다. 그게 내가 메트릭, 제가 위에서 제시 한 정의를 사용하는 이유 중 하나입니다. 그것은 당신이 기본 가정 및 (제공하는 최소한의 서비스) 데이터와 함께이를 제시하지 않는 한 메트릭이 정말 어떤 좋지 않다는 것을 이해하는 것이 중요합니다. "공격의 80 %는 내부에서 온다"그들은보다 내부자 위협에 더 신경을 쓰는에 수신기를 조작하기위한 가짜 메트릭 : 컴퓨터 보안에서, 우리는 속임수 메트릭 양이 유의 사실의 공정한 수를 본 적이있다. 정당화 될 수도, 그리고 다른 사람에 절대적으로 정확하지 않을 수있는 몇 가지 경우에 - 우리는 통계에 대한 심각한 거라면, 우리는 그보다 훨씬 더 많은 할 필요가있다.

나는 일반적으로 우리는 사람들이 같은 주장에 도전도 기꺼이하지 않는 통계를 생산 나쁜 일을하고 있기 때문에 "공격의 80 %"와 같은 가짜 메트릭 보안에 무게를 가지고 이유가 두려워 해요.어떻게 그 상황에서 '공격'을 정의합니까 "방법은 다음과 같습니다, 그런데입니까? 어떻게 당신이 그들을 계산 했습니까? 어떤 집단에서 당신은 당신의 데이터를 수집 않았다 "그들은 당신이 당신이 메트릭을 제시하는 경우에 대해 방어 할 수 있어야합니다 세 가지 질문입니까? :

• 당신이 측정하는 것을 당신의 개념을 정의

• 당신의 계수의 신뢰성을 이해 : 당신은 자동 수집 또는 주관적인 자기보고에 의존하고

• 당신의 연구와 대조군의 인구를 이해