한 권으로 읽는 컴퓨터 구조와 프로그래밍을 읽고 스터디를 위해 이해한대로 정리한 글입니다.😀
오디오 디지털화 하기
디지털 오디오
- 샘플링을 하면 오디오를 디지털화 할 수 있다.
* 여기에서의 샘플링 : 일정 시간 간격으로 신호의 진폭이나 높이를 측정한다는 뜻.
사인파 샘플링
시간마다 일정한 샘플링 주파수로 사각파를 얻을 수 있고, 상승 엣지마다 신호의 높이를 기록할 수 있다.
(ADC를 사용 : 샘플링하여 아날로그 -> 0101 형식으로 디지털로 바꾸는 변환기)
아날로그 -> 디지털 변환되었다.
디지털 -> 아날로그로 다시 변환하기.
(DAC 사용 : 샘플링하여 디지털 -> 아날로그로 바꾸는 변환기)
적은 샘플로 했더니 파형이 왜곡 되었다. -> 샘플을 늘려서 파형을 개선하였다.
But. 실제 상황에서는 두 파형 둘다 상관은 없다.
현재까지는 시간에 따른 샘플링을 하였다. 그런데 복잡한 경우에는 다른 방식으로 샘플링을 해야한다.
음악 악보에는 한 시점에 여러음표가 중복되어있는 경우가 있다.
이러한 중복된 음표의 파형은 다음과 같이 사인파의 합으로 만들어진다.
푸리에 변환
앞쪽에서는 시간에 따른 진폭을 알아봤다. 푸리에 변환은 주파수에 따른 진폭을 그릴 수 있다.
푸리에 변환의 응용
1. 스펙트럼 분석기
: 푸리에 변환으로 주파수 음의 볼륨을 표시해줌.
2. 헤먼드 B-3 오르간
: 키를 누르면 '톤 휠', '드로우 바'에 의해서 소리가 혼합되어 나온다.
그래픽 이퀄라이저
그래픽 이퀄라이저는 조절 가능한 필터의 집합이다.
필터는 정해진 주파수를 통과시키거나 막아버리는 장치.
필터의 종류
로우패스 : 특정 주파수보다 낮은 주파수라면 통과시킴
하이패스 : 특정 주파수보다 높은 주파수라면 통과시킴
밴드패스 : 최저 주파수 ~ 최고 주파수 사이 빼고 나머지 주파수는 무시
노치 : 특정 주파수만 제외함
롤오프 : 필더 엣지가 둥근 것을 뜻함(날카롭지 않고 둥글게 떨어진다)
로우패스 필터로 걸러낸 예시
: 소리가 달라진다. (B4는 약간 줄어들었고 D5는 거의 없어짐)
이전 내용 푸리에 변환하기
그림 6-34에서 푸리에변환 + 로우필터 적용할 경우
1. 푸리에 변환 완료 (시간 기준 샘플링에서 주파수 기준으로 변경)
2. 로우 필터 변환 완료 (높은 주파수는 특정 주파수 이후로 갈수록 감소시켜서 서서히 없애버림)
이러한 과정을 거치면서 6-34의 삐뚤빼뚤 했던 파형에서 왜곡을 사라지게 만들었다.
이처럼 왜곡을 사라지게 하기 위해서는 적절한 필터를 사용하여 필터링을 해야한다. 그리고 시간 기준, 주파수 기준 등을 정하여 적절히 샘플링을 해야한다. 이와 관련된 법칙이 있다.
나이퀴스트 비율
: 신호를 제대로 잡아내기 위해서는 적어도 최고 주파수의 2배의 샘플링 비율로 샘플을 얻어야 한다는 법칙
위상차
: 어떤 신호를 전달 할 때 전달하는 위치가 다르면 시간차로 인해 위상차가 발생함
오디오 압축
오디오에는 많은 데이터가 을어있기 때문에 데이터를 압축해서 공간을 덜 차지하게 만들어준다.
무손실 압축
원래 데이터를 그대로 유지하기 때문에 최대로는 절반까지만 크기를 줄여줄 수 있다.
종류 : FLAC(Free Lossless Audio Codec : 무료 무손실 오디오 코덱)
손실 압축
사람이 잘 인식할 수 없는 소리를 없애서 높은 압축률을 제공한다.
종류 : MP3, ACC, Ogg
디지털 이미지
디지털 이미지는 픽셀로 이루어진 직사각형 배열로 표현된다.
컴퓨터는 가산 혼합 색 시스템을 사용하여 색을 표현한다. (빨간색 + 녹색 + 파란색을 여러비율로 혼합해서 모든 색을 만든다.)
이미지를 샘플링 할 때 모눈 달린 각각 사각형에 색을 기록한다. 이때 전체 색을 채우는 것이 대신 사각형의 가운데에만 기록한다.
왼쪽 : 높은 해상도 -> 오른쪽 : 낮은 해상도 (높은 해상도로 샘플링한 이미지가 더 보기 좋다)
오디오에서 로우필터, 하이필터 같은 것처럼 이미지에서도 필터링 방법이 있다.
슈퍼 샘플링
: 포인트 샘플링 값들의 평균을 내어 색을 기록한다.
이미지 압축
JPEG 압축
이웃한 픽셀의 색이 서로 비슷할 경우 개별의 픽셀을 저장하는 대신 이웃한 픽셀의 색을 저장하는 방식으로 압축한다.
비디오
비디오를 샘플링하는 방식은 이미지와 크게 다르지 않다.
그러나 물체가 움직이기 때문에 이를 고려해야한다.
비디오를 샘플링하는 과정이다.
대각선은 별 차이가 없지만, 샘플하고 난 후에는 사각형의 모습들이 많이 다른 이미지가 생긴다.
이 때는 슈퍼 샘플링(포인트 샘플링 값들의 평균을 내어 색을 기록)을 활용하여 필터링을 하면 이러한 현상을 줄일 수 있다.
비디오 압축
움직임 보상
변경된 영역의 데이터만 저장하거나 송신하는 기법.
그림에서는 아주 일부분만 변함.
그러나, 데이터를 제대로 전송받지 못할 경우 데이터가 왜곡될 수 있음.
화면이 네모난 블록 단위로 깨지는 현상.
데이터 복구 방법
정기적으로 데이터에 키프레임(그 순간의 이미지) 추가.
이미지가 손상 된다면, 다음 키프레임에서 그 키프레임으로 이미지 복구.
압축표준
MPEG4
: 레이어링을 지원
: 레이어링이란 레이어를 중첩시켜서 비디오 이미지를 만들어 내는 것
참고자료
필터 자세한 그림 참고하면 좋을 것 (오디오 필터 자세한 내용)
'Computer Science' 카테고리의 다른 글
| 7장. 데이터베이스, 인덱스, 데이터 이동, 벡터를 사용한 I/O (0) | 2022.03.02 |
|---|---|
| 5장. 프로시저, 서브루틴, 함수, 스택 (0) | 2022.01.31 |
| 2장. 간단한 전기 이론 가이드 (0) | 2022.01.25 |
| 1장. 정수를 비트로 표현하는 방법 (0) | 2022.01.18 |
