XLS-R-300m-korean

This model is a fine-tuned version of facebook/wav2vec2-xls-r-300m on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.1320
• Wer: 0.0678

Model description

본 모델은 Facebook의 facebook/wav2vec2-xls-r-300m 모델을 kresnik/zeroth_korean 한국어 음성 데이터셋으로 파인튜닝한 모델입니다.

Training and evaluation data

kresnik/zeroth_korean 한국어 음성 데이터셋

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0003
• train_batch_size: 1
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 8
• total_train_batch_size: 8
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• num_epochs: 30
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
15.4029	0.1437	400	4.7553	0.9992
4.4278	0.2875	800	3.1016	0.9893
2.1991	0.4312	1200	1.7757	0.9133
1.3727	0.5749	1600	1.2008	0.7931
1.0682	0.7187	2000	1.0807	0.7359
0.9359	0.8624	2400	0.9476	0.6856
0.8484	1.0061	2800	0.8240	0.6258
0.7433	1.1498	3200	0.7457	0.6065
0.6888	1.2936	3600	0.7119	0.6159
0.6251	1.4373	4000	0.6032	0.5449
0.5748	1.5811	4400	0.5876	0.5478
0.5392	1.7248	4800	0.5805	0.5187
0.5132	1.8685	5200	0.4993	0.4618
0.4808	2.0122	5600	0.4804	0.4517
0.3949	2.1560	6000	0.4807	0.4603
0.3767	2.2997	6400	0.4220	0.4096
0.3711	2.4434	6800	0.4246	0.4042
0.3592	2.5872	7200	0.3800	0.3670
0.3288	2.7309	7600	0.3802	0.3740
0.3206	2.8746	8000	0.3670	0.3350
0.3024	3.0183	8400	0.3837	0.3388
0.251	3.1621	8800	0.3424	0.3248
0.2396	3.3058	9200	0.3103	0.2980
0.2391	3.4495	9600	0.3104	0.2896
0.2429	3.5933	10000	0.3211	0.2920
0.2335	3.7370	10400	0.3054	0.2894
0.2297	3.8807	10800	0.2952	0.2649
0.2237	4.0244	11200	0.2696	0.2426
0.1737	4.1682	11600	0.2733	0.2466
0.1798	4.3119	12000	0.2799	0.2516
0.1864	4.4556	12400	0.2762	0.2665
0.1789	4.5994	12800	0.2823	0.2873
0.1909	4.7431	13200	0.2597	0.2628
0.1814	4.8869	13600	0.2499	0.2325
0.1749	5.0305	14000	0.2639	0.2329
0.1528	5.1743	14400	0.2668	0.2326
0.1505	5.3180	14800	0.2555	0.2296
0.1495	5.4618	15200	0.2348	0.2113
0.1534	5.6055	15600	0.2542	0.2525
0.1451	5.7492	16000	0.2318	0.2462
0.1468	5.8930	16400	0.2419	0.2564
0.1407	6.0367	16800	0.2428	0.2144
0.1284	6.1804	17200	0.2523	0.2573
0.1347	6.3241	17600	0.2531	0.2361
0.1308	6.4679	18000	0.2301	0.2459
0.1228	6.6116	18400	0.2237	0.2250
0.1271	6.7553	18800	0.2307	0.2117
0.1231	6.8991	19200	0.2350	0.2230
0.1268	7.0428	19600	0.2342	0.2236
0.1138	7.1865	20000	0.2347	0.2250
0.1173	7.3302	20400	0.2350	0.2227
0.1097	7.4740	20800	0.2156	0.2217
0.1148	7.6177	21200	0.2245	0.2241
0.1228	7.7614	21600	0.2156	0.2248
0.1108	7.9052	22000	0.2064	0.1796
0.1044	8.0489	22400	0.2170	0.2182
0.0937	8.1926	22800	0.2112	0.2110
0.0959	8.3363	23200	0.2134	0.2174
0.1014	8.4801	23600	0.2141	0.2009
0.1029	8.6238	24000	0.2142	0.2117
0.0998	8.7676	24400	0.2172	0.1945
0.1033	8.9113	24800	0.2000	0.2055
0.0999	9.0550	25200	0.2393	0.2161
0.0975	9.1987	25600	0.2305	0.2096
0.0964	9.3425	26000	0.2093	0.1635
0.0854	9.4862	26400	0.2226	0.1821
0.0883	9.6299	26800	0.2008	0.1628
0.0926	9.7737	27200	0.2182	0.1828
0.0917	9.9174	27600	0.1988	0.1863
0.0834	10.0611	28000	0.2200	0.1589
0.0782	10.2048	28400	0.2125	0.1643
0.0759	10.3486	28800	0.2142	0.1616
0.0797	10.4923	29200	0.2077	0.1605
0.0809	10.6360	29600	0.2026	0.1599
0.0822	10.7798	30000	0.1940	0.1539
0.0789	10.9235	30400	0.1938	0.1534
0.0744	11.0672	30800	0.2014	0.1578
0.0698	11.2109	31200	0.2045	0.1477
0.0733	11.3547	31600	0.1870	0.1391
0.0657	11.4984	32000	0.1928	0.1452
0.0723	11.6421	32400	0.2054	0.1598
0.0716	11.7859	32800	0.1930	0.1581
0.0735	11.9296	33200	0.2016	0.1724
0.0705	12.0733	33600	0.1917	0.1518
0.0624	12.2170	34000	0.1987	0.1512
0.0689	12.3608	34400	0.2064	0.1955
0.0673	12.5045	34800	0.1977	0.1824
0.0673	12.6483	35200	0.1984	0.1807
0.0626	12.7920	35600	0.1983	0.1944
0.0655	12.9357	36000	0.1943	0.1614
0.0619	13.0794	36400	0.1904	0.1510
0.0573	13.2232	36800	0.1966	0.1891
0.0579	13.3669	37200	0.1874	0.1426
0.0567	13.5106	37600	0.1980	0.1575
0.0599	13.6544	38000	0.1850	0.1589
0.0591	13.7981	38400	0.1812	0.1551
0.0575	13.9418	38800	0.1745	0.1440
0.0562	14.0855	39200	0.1864	0.1563
0.0532	14.2293	39600	0.1856	0.1750
0.0592	14.3730	40000	0.1911	0.1735
0.0587	14.5167	40400	0.1899	0.1574
0.0521	14.6605	40800	0.1887	0.1373
0.0528	14.8042	41200	0.1765	0.1340
0.0526	14.9479	41600	0.1791	0.1336
0.0479	15.0916	42000	0.1831	0.1427
0.0506	15.2354	42400	0.1929	0.1607
0.05	15.3791	42800	0.1844	0.1306
0.0512	15.5228	43200	0.1747	0.1295
0.045	15.6666	43600	0.1790	0.1301
0.0504	15.8103	44000	0.1815	0.1286
0.0517	15.9540	44400	0.1689	0.1212
0.0492	16.0977	44800	0.1674	0.1316
0.0442	16.2415	45200	0.1857	0.1510
0.0425	16.3852	45600	0.1776	0.1245
0.0441	16.5289	46000	0.1772	0.1223
0.0465	16.6727	46400	0.1734	0.1431
0.0434	16.8164	46800	0.1811	0.1548
0.0425	16.9602	47200	0.1691	0.1250
0.0395	17.1038	47600	0.1737	0.1168
0.0398	17.2476	48000	0.1776	0.1206
0.0386	17.3913	48400	0.1722	0.1236
0.0399	17.5351	48800	0.1792	0.1224
0.0414	17.6788	49200	0.1810	0.1220
0.0436	17.8225	49600	0.1650	0.1122
0.0431	17.9663	50000	0.1684	0.1087
0.0392	18.1100	50400	0.1739	0.1156
0.0389	18.2537	50800	0.1643	0.1101
0.0343	18.3974	51200	0.1658	0.1080
0.0377	18.5412	51600	0.1732	0.1126
0.0387	18.6849	52000	0.1781	0.1077
0.0364	18.8286	52400	0.1641	0.1123
0.0362	18.9724	52800	0.1550	0.1053
0.0365	19.1161	53200	0.1548	0.0991
0.0322	19.2598	53600	0.1654	0.1074
0.0338	19.4035	54000	0.1532	0.1080
0.0323	19.5473	54400	0.1594	0.1048
0.0334	19.6910	54800	0.1584	0.0985
0.0329	19.8347	55200	0.1569	0.1021
0.032	19.9785	55600	0.1533	0.0929
0.0317	20.1222	56000	0.1628	0.0997
0.0324	20.2659	56400	0.1546	0.0985
0.0326	20.4096	56800	0.1605	0.0985
0.0294	20.5534	57200	0.1604	0.0953
0.0295	20.6971	57600	0.1559	0.0923
0.0292	20.8409	58000	0.1571	0.0952
0.0292	20.9846	58400	0.1543	0.0890
0.0273	21.1283	58800	0.1664	0.0971
0.0261	21.2720	59200	0.1610	0.0962
0.0287	21.4158	59600	0.1538	0.0973
0.0291	21.5595	60000	0.1573	0.0910
0.0271	21.7032	60400	0.1521	0.0919
0.0267	21.8470	60800	0.1546	0.0937
0.0284	21.9907	61200	0.1565	0.0875
0.0245	22.1344	61600	0.1546	0.0908
0.0257	22.2781	62000	0.1627	0.0965
0.0255	22.4219	62400	0.1473	0.0992
0.0241	22.5656	62800	0.1540	0.1033
0.0237	22.7093	63200	0.1586	0.1018
0.0253	22.8531	63600	0.1571	0.1000
0.024	22.9968	64000	0.1561	0.0974
0.0232	23.1405	64400	0.1572	0.0931
0.0232	23.2842	64800	0.1647	0.0956
0.0225	23.4280	65200	0.1543	0.0970
0.0223	23.5717	65600	0.1543	0.0922
0.0226	23.7154	66000	0.1421	0.0860
0.0217	23.8592	66400	0.1510	0.0858
0.0224	24.0029	66800	0.1469	0.0902
0.0204	24.1466	67200	0.1465	0.0836
0.0208	24.2903	67600	0.1414	0.0872
0.022	24.4341	68000	0.1440	0.0884
0.0209	24.5778	68400	0.1435	0.0861
0.0218	24.7216	68800	0.1434	0.0876
0.0202	24.8653	69200	0.1465	0.0872
0.0202	25.0090	69600	0.1445	0.0840
0.0197	25.1527	70000	0.1463	0.0911
0.0174	25.2965	70400	0.1446	0.0834
0.0175	25.4402	70800	0.1431	0.0830
0.0197	25.5839	71200	0.1451	0.0794
0.0182	25.7277	71600	0.1404	0.0824
0.0184	25.8714	72000	0.1402	0.0788
0.018	26.0151	72400	0.1396	0.0798
0.0185	26.1588	72800	0.1374	0.0780
0.0149	26.3026	73200	0.1422	0.0786
0.017	26.4463	73600	0.1403	0.0768
0.017	26.5900	74000	0.1403	0.0780
0.0156	26.7338	74400	0.1379	0.0751
0.0158	26.8775	74800	0.1456	0.0756
0.0156	27.0212	75200	0.1409	0.0769
0.0142	27.1649	75600	0.1395	0.0778
0.0134	27.3087	76000	0.1407	0.0753
0.0141	27.4524	76400	0.1405	0.0732
0.0144	27.5961	76800	0.1379	0.0765
0.0153	27.7399	77200	0.1356	0.0744
0.014	27.8836	77600	0.1326	0.0724
0.0136	28.0273	78000	0.1313	0.0729
0.013	28.1710	78400	0.1344	0.0736
0.0134	28.3148	78800	0.1303	0.0717
0.0127	28.4585	79200	0.1327	0.0705
0.0122	28.6023	79600	0.1334	0.0709
0.0121	28.7460	80000	0.1356	0.0685
0.0137	28.8897	80400	0.1345	0.0676
0.0131	29.0334	80800	0.1293	0.0664
0.0114	29.1772	81200	0.1321	0.0666
0.0123	29.3209	81600	0.1322	0.0681
0.0117	29.4646	82000	0.1328	0.0681
0.0109	29.6084	82400	0.1322	0.0673
0.0109	29.7521	82800	0.1321	0.0672
0.0118	29.8958	83200	0.1320	0.0678

Framework versions

• Transformers 4.51.3
• Pytorch 2.5.1+cu121
• Datasets 3.5.0
• Tokenizers 0.21.1

개발자

• [손영훈, [email protected]]

참고 문헌

• XLS-R: Self-supervised Cross-lingual Speech Representation Learning
• Zeroth Korean Dataset