【记录】lightning-hydra-template工具

[183****0229]

感想

个人感觉现在pytorch领域有两个法宝，一个是pytorch-lighting
https://github.com/PyTorchLightning/pytorch-lightning ，另一个是transformers库
https://github.com/huggingface/transformers。
之前想着要是能同时使用这两大法宝就好了，transformers专注于模型，pytorch-lighting专注于训练。
现在pytorchlightning团队，也开发了https://github.com/PyTorchLightning/lightning-transformers，感觉可能自己扩展起来不怎么方便。
后来发现有个lightning-hydra-template，https://github.com/ashleve/lightning-hydra-template 感觉可以自己自定义可插拔式的类进行实验。

pytorch-lighting

The lightweight PyTorch wrapper for high-performance AI research. Scale your models, not the boilerplate.

transformers

Transformers: State-of-the-art Natural Language Processing for Pytorch, TensorFlow, and JAX.
（huggingface全家桶，感觉用起来还是很不错，accelerate，datasets，tokenizer）

end

有没有同是使用transformers全家桶+pytorch lightning的小伙伴？