Please enable JavaScript.

Coggle requires JavaScript to display documents.

경량 모델이 뭐가 있냐? image - Coggle Diagram

- - - - TinyML
        
        MCU를 이용해서 하는구나
        
        예를 들어 Google의 LiteRT for Microcontrollers(구 TFLM 계열)는
        
        동적 메모리할당도 최소화 했고
        
        OS필요 없고
        
        KB메모리만 있어도 되고 MB가 아니
        
        그래서 실수를 float32를 int8로 변환해서 가볍게 만들고 있데!
        
        펌웨어에 넣는다...
        
        모델을 압축 시킨다..정수화 시킨다
        
        PC에서 학습시킨다....
        
        센서 데이타 모으기
        마이크
        가속도
        온도
        진동
        간단한 카메라 등.........
        
        전자레인지
        세탁기
        장난감에 이미 들어가고 있는건가????
        
        👉 “이 소리 박수냐?” 같은 단순 판단 전용
        
        킬로 바이트라고 하는구나!!!!
        KB
        
        세상에 이런것도 있구나!!!
        
        타이니 ML??
        얼마나 작길래 타이니 ML이라고 하는 거여????
        
        KB이다. MB아이고 말이다.
        
        TensorFlw Lite
        
        https://github.com/mit-han-lab/llm-awq
        
        음.모델양자화를 이용한 최적화 프로젝트
        2024년 최우수 논문이라고 함
        
        최적화 cuda 커널을 구현했다고 한다!!!
        
        Efficient CUDA kernel implementation for fast inference (support context and decoding stage).
        
        https://github.com/mit-han-lab/llm-awq/blob/main/awq/kernels/csrc/quantization/gemm_cuda_gen.cu
        
        쿠다 커널을 구현했다고 한다.
        음...가중치를 압축하고 있다고
        실제사용할때 압축을 해제한다고 한다!!!
        
        이런것을 quqntization 양자화라고 하는 것 같다!!
        
        중요하지 않은 가중치만 양자화 시킨 최우수 논문!!!!
        
        왜? 양자화라고 하는 건가?
        
        👉 모델 사이즈를 줄이는 게 양자화가 아니라,
        “숫자를 세는 방식 자체를 바꾸는 것”이 양자화야.
        
        1 more item...