Помогите с ошибкой RandomForest в Python could not allocate bytes
Ребят привет, такая проблема. Загрузил свой датасет, если он маленький, то всё работает, а если загрузить 4gb или больше (основной у меня на 35gb), то вылезает вот такая ошибка:
MemoryError: could not allocate 13485735936 bytes
Что с этим делать? ОЗУ у меня 16 gb
Мой датасет (на 4gb)
0 1 2 3 4 5 6
0 7894.0 8185.0 9493.0 8662.0 19415.0 13716.0 10658.0
1 7930.0 8219.0 9481.0 8687.0 19156.0 13726.0 10712.0
2 7898.0 8231.0 9501.0 8706.0 19210.0 13684.0 10682.0
3 7909.0 8220.0 9519.0 8733.0 19107.0 13599.0 10635.0
4 7858.0 8222.0 9500.0 8736.0 18907.0 13588.0 10693.0
... ... ... ... ... ... ... ...
9808450 8996.0 9727.0 10756.0 11150.0 14640.0 17862.0 14758.0
9808451 8707.0 9687.0 10750.0 11160.0 14626.0 17556.0 14749.0
9808452 8797.0 9678.0 10761.0 11236.0 15000.0 17699.0 14672.0
9808453 8800.0 9721.0 10813.0 11320.0 15059.0 17735.0 14715.0
9808454 8865.0 9728.0 10637.0 11274.0 14651.0 17880.0 15305.0
9808455 rows × 7 columns
Мой отрывок кода:
f #вывод датасета
X=f.iloc[:, :-1]
X=f
y=f.iloc[: , 1]
clf = RandomForestClassifier(n_estimators=10)
clf = clf.fit(X, y)
Ошибка: MemoryError: could not allocate 13485735936 bytes