Transformers documentation
열심히 번역 중입니다. 조금 이따 만나요!
시작하기
Base classes
모델
모델 로드하기사용자 정의 모델 공유하기모델 구성 요소 맞춤 설정하기만든 모델 공유하기transformers에서의 모듈성🤗 Transformers에 새로운 모델을 추가하는 방법(번역중) Documenting a model(번역중) Customizing attention function
전처리기(Preprocessors)
추론(Inference)
파이프라인 API
거대 언어 모델(LLMs)
대규모 언어 모델로 생성하기텍스트 생성 전략 사용자 정의(번역중) Generation features대규모 언어 모델 프롬프팅 가이드LLM 추론 최적화(번역중) Caching(번역중) KV cache strategies모델 서빙하기LLM을 최대한 활용하기고정 길이 모델의 펄플렉서티(Perplexity)
모델을 사용해 대화하기
Transformers로 채팅하기챗봇 템플릿 익히기Tools 와 RAG(번역중) Multimodal templates(번역중) Template writing(번역중) Tools and RAG
서빙(Serving)
최적화(Optimization)
학습(Training)
양자화(Quantization)
(번역중) Overview(번역중) Selecting a quantization method(번역중) Quantization concepts(번역중) AQLM(번역중) AutoRoundAWQ(번역중) BitNetbitsandbytes(번역중) compressed-tensorsEETQ(번역중) FBGEMM(번역중) Fine-grained FP8GGUF 파일들과의 상호 운용성GPTQ(번역중) HIGGS(번역중) HQQ(번역중) OptimumQuantoQuark(번역중) torchao(번역중) SpQR(번역중) VPTQ(번역중) Contribute
배포환경에 내보내기
(번역중) 개발자 가이드
태스크 레시피
자연어처리
오디오
컴퓨터 비전
멀티모달
(번역중) 경량화 메소드
(번역중) Getting startedbitsandbytesGPTQAWQ(번역중) AQLM(번역중) VPTQQuantoQuarkEETQ(번역중) HQQ(번역중) Optimum(번역중) Contribute new quantization method
(번역중) 성능 및 확장성
(번역중) QuantizationLLM 추론 최적화어텐션 행렬 캐싱 디버깅(번역중) Optimize inference using `torch.compile()`
(번역중) 효율적인 학습 기술들
(번역중) Methods and tools for efficient training on a single GPU다중 GPU에서 훈련 진행하기DeepSpeed완전 분할 데이터 병렬 처리CPU에서 훈련다중 CPU에서 훈련하기Apple 실리콘에서 PyTorch 학습훈련용 사용자 맞춤형 하드웨어Trainer API를 사용한 하이퍼파라미터 탐색
추론 최적화하기
리소스
🤗 Transformers에 기여하는 방법🤗 Transformers에 새로운 모델을 추가하는 방법어떻게 🤗 Transformers에 파이프라인을 추가하나요?테스트Pull Request에 대한 검사
기여하기
API
메인 클래스
Auto Classes(번역중) BackbonesCallbacksConfigurationData CollatorLoggingModels텍스트 생성최적화모델 출력PEFT파이프라인프로세서양자화(번역중) Tokenizer토크나이저Trainer(번역중) DeepSpeedExecuTorch피쳐 추출기(번역중) Image Processor(번역중) Video Processor
모델
텍스트 모델
ALBERTArceeBambaBARTBARThezBARTphoBERTBertGenerationBertJapaneseBERTweetBigBirdBigBirdPegasusBioGptBitNetBlenderbotBlenderbot SmallBLOOMBORTByT5CamemBERTCANINECodeGenCodeLlamaCohereCohere2ConvBERTCPMCPMANTCTRLDBRXDeBERTaDeBERTa-v2DeepSeek-V3DialoGPTDiffLlamaDistilBERTDogedots1DPRELECTRAEncoder Decoder ModelsERNIEErnieMESMEXAONE-4.0EXAONE-MoEEXAONE-4.5FalconFalcon3FalconH1FalconMambaFLAN-T5FLAN-UL2FlauBERTFNetFSMTFunnel TransformerFuyuGemmaGemma2GLMglm4GPTGPT NeoGPT NeoXGPT NeoX JapaneseGPT-JGPT-2GPTBigCodeGPTSAN JapaneseGPTSw3GraniteGraniteMoeGraniteMoeHybridGraniteMoeSharedHeliumHerBERTHGNet-V2I-BERTJambaJetMoeJukeboxLEDLFM2LFM2-VLLLaMALlama2Llama3LongformerLongT5LUKEM2M100MADLAD-400MambaMamba2MarianMTMarkupLMMBart and MBart-50MEGAMegatronBERTMegatronGPT2MiniMaxMistralMixtralmLUKEMobileBERTModernBertModernBERTDecoderMPNetMPTMRAMT5MVPmyt5NemotronNEZHANLLBNLLB-MoENyströmformerOLMoOLMo2OLMoEOpen-LlamaOPTPegasusPEGASUS-XPersimmonPhiPhi-3PhiMoEPhoBERTPLBartProphetNetQDQBertQwen2Qwen2MoEQwen3Qwen3MoERAGREALMRecurrentGemmaReformerRemBERTRetriBERTRoBERTaRoBERTa-PreLayerNormRoCBertRoFormerRWKVSplinterSqueezeBERTStableLmStarcoder2SwitchTransformersT5T5GemmaT5v1.1TAPEXTransformer XLUL2UMT5X-MODXGLMXLMXLM-ProphetNetXLM-RoBERTaXLM-RoBERTa-XLXLM-VXLNetYOSOZambaZamba2
비전 모델
Aimv2BEiTBiTConditional DETRConvNeXTConvNeXTV2CvTD-FINEDAB-DETRDeepSeek-V2Deformable DETRDeiTDepth AnythingDepth Anything V2DepthProDETADETRDiNATDINOV2DINOv2 with RegistersDiTDPTEfficientFormerEfficientNetEoMTFocalNetGLPNHieraI-JEPAImageGPTLeViTLightGlueMask2FormerMaskFormerMLCDMobileNetV1MobileNetV2MobileViTMobileViTV2NATPoolFormerPrompt Depth AnythingPyramid Vision Transformer (PVT)Pyramid Vision Transformer v2 (PVTv2)RegNetResNetRT-DETRRT-DETRv2SegFormerSegGptSegment Anything High Quality (SAM-HQ)SuperGlueSuperPointSwiftFormerSwin TransformerSwin Transformer V2Swin2SRTable TransformerTextNetTimm WrapperUperNetVANVision Transformer (ViT)ViT HybridViTDetViTMAEViTMatteViTMSNViTPoseYOLOSZoeDepth
오디오 모델
Audio Spectrogram TransformerBarkCLAPCSMdacDiaEnCodecFastSpeech2ConformerGraniteSpeechHubertKyutai Speech-To-TextMCTCTMimiMMSMoonshineMoshiMusicGenMusicGen MelodyPop2PianoSeamless-M4TSeamlessM4T-v2SEWSEW-DSpeech2TextSpeech2Text2SpeechT5UniSpeechUniSpeech-SATUnivNetVITSWav2Vec2Wav2Vec2-BERTWav2Vec2-ConformerWav2Vec2PhonemeWavLMWhisperxclipXLS-RXLSR-Wav2Vec2
비디오 모델
멀티모달 모델
ALIGNAltCLIPAriaAyaVisionBLIPBLIP-2BridgeTowerBROSChameleonChinese-CLIPCLIPCLIPSegCLVPColPaliColQwen2Data2VecDePlotDonutEmu3FLAVAGemma3Gemma3nGITglm4vGOT-OCR2GraniteVision(번역중) GITGrounding DINOGroupViTIDEFICSIdefics2Idefics3InstructBLIPInstructBlipVideoInternVLJanusKOSMOS-2LayoutLMLayoutLMV2LayoutLMV3LayoutXLMLiLTLlama4LlavaLLaVA-NeXTLLaVa-NeXT-VideoLLaVA-OnevisionLXMERTMatChaMGP-STRMistral3mllamaNougatOmDet-TurboOneFormerOWL-ViTOWLv2PaliGemmaPerceiverPerceptionLMPhi4 MultimodalPix2StructPixtralQwen2.5-OmniQwen2.5-VLQwen2AudioQwen2VLSegment AnythingSegment Anything High QualityShieldGemma2SigLIPSigLIP2SmolLM3소형 비전 언어 모델Speech Encoder Decoder ModelsTAPASTrOCRTVLTTVPUDOPVideoLlavaViLTVipLlavaVision Encoder Decoder ModelsVision Text Dual EncoderVisualBERTVoxtralX-CLIP
강화학습 모델
시게열 모델
내부 헬퍼(Internal helpers)
사용자 정의 레이어 및 유틸리티(번역중) Utilities for Model Debugging파이프라인을 위한 유틸리티토크나이저를 위한 유틸리티Trainer를 위한 유틸리티생성을 위한 유틸리티이미지 프로세서를 위한 유틸리티오디오 처리를 위한 유틸리티일반 유틸리티(번역중) Importing Utilities시계열을 위한 유틸리티
Reference