Sparse-learning methods for bidirectional LSTM model of digital predistorter

Abstract

Two sparse-learning methods for recurrent neural network used as a digital predistorter for microwave power amplifier linearization are presented. Comparative analysis of investigated approaches with unstructured pruning is carried out. Described methods make it possible to build a sparse digital predistorter without using additional hyperparameters and fine-tuning. Sparse neural network, in turn, is a compact implementation of digital predistorter with reduced computational complexity. Such attractive feature allows effective digital predistortion in the transmitter path of both user equipment and multichannel base stations.

• digital predistorter
• nonlinear power amplifier
• recurrent neural network
• sparse variational dropout
• regularization

Аннотация (на русском)

Методы разреживания двунаправленной LSTM модели цифрового корректора

В работе представлены два подхода к формированию разреженной рекуррентной нейронной сети, используемой в качестве модели цифрового корректора в задаче линеаризации СВЧ усилителя мощности. Проведен сравнительный анализ исследуемых методов с широко распространенным бесструктурным прунингом модели. Изложенная методика позволяет синтезировать цифровой корректор с высоким уровнем разреженности без введения дополнительных гиперпараметров и необходимости тонкой настройки нейронной сети. Разреженная модель, в свою очередь, имеет компактный вид и снижает вычислительную сложность корректора, тем самым допуская эффективное введение цифровых предыскажений в передающем тракте как пользовательского оборудования, так и многоканальных базовых станций.

For citation

References

1. Назаров Л.Е., Зудилин А.С. Влияние нелинейностей передатчика на многочастотные сигналы с ортогональным частотным мультиплексированием // Журнал радиоэлектроники. - 2010. - №. 12. - С. 5-5.
2. Аверина Л.И., Шутов В.Д., Рыбалкин Р.А. Бесструктурное моделирование усилителей мощности с учетом инерционных свойств // Известия высших учебных заведений. Радиоэлектроника. - 2013. - Т. 56. - №. 1. - С. 50-57.
3. Ghoniem A.A. et al. An error vector magnitude performance modeling and analysis methodology for 5G mm-Wave Transmitters // IEEE Microwave and Wireless Technology Letters. - 2023. - Т. 33. - №. 6. - С. 771-774.
4. Haider M.F. et al. Predistortion-based linearization for 5G and beyond millimeter-wave transceiver systems: A comprehensive survey // IEEE Communications Surveys & Tutorials. - 2022. - Т. 24. - №. 4. - С. 2029-2072.
5. Аверина Л.И., Гутерман Н.Е. Сравнительный анализ архитектур обучения цифрового корректора в задаче линеаризации широкополосного усилителя мощности // Радиотехника. - 2025. - №. 9. - С. 45-53.
6. Chen P. et al. Behavioral modeling of GaN power amplifiers using long short-term memory networks // 2018 International Workshop on Integrated Nonlinear Microwave and Millimeter-wave Circuits (INMMIC). - IEEE, 2018. - С. 1-3.
7. Аверина Л.И., Бугров О.В. Цифровые корректоры на основе нейронных сетей для линеаризации усилителей мощности // Вестник Воронежского государственного университета. Серия: Физика. Математика. - 2017. - №. 1. - С. 5-14.
8. Xu G. et al. GRU-Attention Model for Linearizing Millimeter-Wave Transmitters in Vehicle to Satellite Communication Systems // IEEE Transactions on Vehicular Technology. - 2024. - Т. 73. - №. 11. - С. 15992-16000.
9. He Z., Tong F. Residual RNN models with pruning for digital predistortion of RF power amplifiers // IEEE Transactions on Vehicular Technology. - 2022. - Т. 71. - №. 9. - С. 9735-9750.
10. Tanio M., Ishii N., Kamiya N. A sparse neural network-based power adaptive DPD design and its hardware implementation // IEEE Access. - 2022. - Т. 10. - С. 114673-114682.
11. Watanabe T., Ohseki T., Kanno I. Hardware-efficient Neural Network Digital Predistortion for Terahertz Power Amplifiers Using DeepShift and Pruning // IEEE Access. - 2025.
12. Li W. et al. GPU-Based Implementation of Pruned Artificial Neural Networks for Digital Predistortion Linearization of Wideband Power Amplifiers // IEEE Journal of Microwaves. - 2025. - Т. 5. - №. 3. - С. 726-738.
13. Liu Z. et al. Low computational complexity digital predistortion based on convolutional neural network for wideband power amplifiers // IEEE Transactions on Circuits and Systems II: Express Briefs. - 2021. - Т. 69. - №. 3. - С. 1702-1706.
14. Molchanov D., Ashukha A., Vetrov D. Variational dropout sparsifies deep neural networks // International conference on machine learning. - PMLR, 2017. - С. 2498-2507.
15. Kingma D.P., Salimans T., Welling M. Variational dropout and the local reparameterization trick // Advances in neural information processing systems. - 2015. - Т. 28.
16. Louizos C., Welling M., Kingma D.P. Learning sparse neural networks through L0 regularization // arXiv preprint arXiv:1712.01312. - 2017.
17. Sun J. et al. Behavioral modeling and linearization of wideband RF power amplifiers using BiLSTM networks for 5G wireless systems // IEEE Transactions on Vehicular Technology. - 2019. - Т. 68. - №. 11. - С. 10348-10356.
18. Lobacheva E. et al. Structured sparsification of gated recurrent neural networks // Proceedings of the AAAI Conference on Artificial Intelligence. - 2020. - Т. 34. - №. 04. - С. 4989-4996.
19. Lobacheva E., Chirkova N., Vetrov D. Bayesian sparsification of recurrent neural networks // arXiv preprint arXiv:1708.00077. - 2017.
20. Wen L. et al. Structured pruning of recurrent neural networks through neuron selection // Neural Networks. - 2020. - Т. 123. - С. 134-141.
21. Ngoya E., Quindroit C., Nebus J.M. On the continuous-time model for nonlinear-memory modeling of RF power amplifiers // IEEE Transactions on Microwave Theory and Techniques. - 2009. - Т. 57. - №. 12. - С. 3278-3292.
22. Kingma D.P., Welling M. Auto-encoding variational bayes // arXiv preprint arXiv:1312.6114. - 2013.
23. Chirkova N., Lobacheva E., Vetrov D. Bayesian compression for natural language processing // arXiv preprint arXiv:1810.10927. - 2018.
24. Louizos C., Ullrich K., Welling M. Bayesian compression for deep learning // Advances in neural information processing systems. - 2017. - Т. 30.
25. Morgan D.R. et al. A generalized memory polynomial model for digital predistortion of RF power amplifiers // IEEE Transactions on signal processing. - 2006. - Т. 54. - №. 10. - С. 3852-3860.