AI10 딥러닝에서 JIT을 사용해야 하는 이유 해당 글의 목적 최근 Pytorch2.0, Jax, TransFormers, Diffusers등 딥러닝 라이브러리에서 JIT을 사용하는 방식으로 업데이트가 이루어지고 있다. 따라서 JIT이 어떤 것이고, 딥러닝에서 JIT을 사용하였을 때 어떤 장점이 있는 지 가볍게 알아보는 것을 글의 목적으로 한다. 배경지식 먼저 JIT을 알기 위해서는 인터프리터와 컴파일러 방식을 알아야 한다. 인터프리터와 컴파일러는 프로그래머가 작성한 코드를 실행하기 위한 두가지 방식이라고 할 수 있다. 아주 간단하게 정리하고 넘어가겠다. 컴파일러 소스코드를 컴퓨터가 이해할 수 있는 기계어로 번역하는 프로그램 모든 코드를 분석한뒤 실행할 수 있는 목적코드 파일을 생성하는 컴파일 과정이 필요 장점 프로그램의 동작 속도가 빠름 컴파일 과.. 2023. 2. 25. Triton:오픈소스 GPU프로그래밍 언어 트리톤은 파이썬과 유사한 프로그래밍 언어 및 컴파일러입니다. 트리톤의 목표 최신 GPU 하드웨어의 성능을 최대로 유지하는 커스텀 DNN(Deep Neural Network) 계산 커널 코드를 작성할 수 있는 프로그래밍 환경을 제공하는 것 트리톤이 만들어진 이유 딥러닝의 성공 딥러닝은 자연어 처리, 컴퓨터 비전, 계산 신경과학 등 다양한 분야에서 성공을 거두었습니다. 많은 계산량을 요구하는 딥러닝 모델 하지만 딥러닝은 계층적 구조이고, 많은 파라미터를 가지고 있어 계산량이 아주 많습니다. 이러한 딥러닝모델 계산은 멀티 코어와 멀티 코어 프로세서에 적합한 고도로 병렬화가 가능한 작업이며, GPU로 구현하는 것이 효율적인 방법으로 대두되었습니다. 하지만 GPU 아키텍처가 고도화 되면서 최적화가 잘되지 않는 문.. 2023. 2. 17. 파이토치2.0 번역[수정중] 개요 파이토치의 차세대 2시리즈 릴리스를 향한 첫 걸음인 파이토치 2.0을 소개합니다. 지난 몇 년 동안 파이토치는 파이토치 1.0부터 최신 1.13까지 혁신과 반복을 거듭해왔으며, 리눅스 재단의 일부인 새로 설립된 파이토치 재단으로 이전했습니다. 파이토치의 가장 큰 강점은 놀라운 커뮤니티 외에도 최고 수준의 파이썬 통합, 명령형 스타일, API 및 옵션의 단순성을 계속 유지한다는 것입니다. PyTorch 2.0은 동일한 열성적인 모드 개발 및 사용자 경험을 제공하는 동시에, 내부적으로 컴파일러 수준에서 PyTorch가 작동하는 방식을 근본적으로 변경하고 강화했습니다. 더 빠른 성능과 동적 모양 및 분산 지원을 제공할 수 있게 되었습니다. 아래에서 파이토치 2.0이 무엇인지, 어디로 나아가고 있는지, 그.. 2023. 2. 13. YAKE:단일문서 키워드 추출기. 문서에서 키워드를 추출하는 것은 NLP에서 중요한 태스크중 하나이다. 그래서 오늘은 YAKE라는 키워드 추출기에 대해서 소개한다. 어떤 방식으로 키워드를 추출하는 지는 간단하게만 소개하고, 실제 사용법은 다음 글에 작성하려 한다. 논문링크 https://repositorio.inesctec.pt/server/api/core/bitstreams/ef121a01-a0a6-4be8-945d-3324a58fc944/content YAKE의 장점 많은 양의 훈련데이터에 의존하지 않고, 단일 문서만 있어도 키워드 추출이 가능하다. 다국어에서 사용이 가능하다. 정확히 말하면 언어에 구애받는 부분이 매우 적다.(언어별로 stopword만 정의해주면 된다.) 추출 단계(6단계) 텍스트 사전 처리 특징 추출 개별 용어 점.. 2022. 12. 25. 이전 1 2 3 다음
