Рекурсивно обойти папки и из файлов json и csv получить информацию о станциях метро, после создать json файл по образцу
Нужно написать программу, которая получает
HTML-код страницы «Список станций Московского метрополитена» с помощью библиотеки jsoup.
Парсит полученную страницу и получает из неё: линии московского метро (имя и номер линии, цвет не нужен); станции московского метро (имя станции и номер линии).
Собирает данные о станциях метро — даты их открытия и глубину станций — из файлов формата CSV и JSON, обходя папки, лежащие в архиве. Разархивируйте архив и напишите код, который будет обходить все вложенные папки, искать в папках файлы JSON и CSV и обрабатывать их в зависимости от формата. Метод для обхода папок должен принимать путь до папки в которой надо производить поиск.
Создаёт и записывает на диск два JSON-файла: Файл со списком станций по линиям и списком линий по формату JSON-файла из проекта SPBMetro (файл map.json) Файл stations.json со свойствами станций в следующем формате:
{ "station": [ { "name": "Ленинский поспект", "line": "Калужской - Рижская", "date": "13.10.1962", "depth": "-16", "hasConnection": true }, { ....... }, ] }
По первому json файлу всё понятно, с html разобралась, json собран. Для создания второго файла и рекурсивного обхода создала класс DataCollector. Собираю данные из файлов в Map<String,Station> listStations.
Класс Station
package core;
public class Station implements Comparable<Station>{
private String numberLine;
private String name;
private String lineName;
private String date;
private String depth;
private boolean hasConnection;
public Station(String name) {
this.name = name;
}
public Station(String name, String lineName, String date, String depth, boolean hasConnection) {
this.name = name;
this.lineName = lineName;
this.date = date;
this.depth = depth;
this.hasConnection = hasConnection;
}
public Station(String name, String numberLine) {
this.name = name;
this.numberLine = numberLine;
}
public String getLineName() {
return lineName;
}
public String getDate() {
return date;
}
public String getDepth() {
return depth;
}
public boolean isHasConnection() {
return hasConnection;
}
public String getNumberLine() {
return numberLine;
}
public String getName() {
return name;
}
public void setNumberLine(String numberLine) {
this.numberLine = numberLine;
}
public void setName(String name) {
this.name = name;
}
public void setLineName(String lineName) {
this.lineName = lineName;
}
public void setDate(String date) {
this.date = date;
}
public void setDepth(String depth) {
this.depth = depth;
}
public void setHasConnection(boolean hasConnection) {
this.hasConnection = hasConnection;
}
@Override
public String toString() {
return name;
}
@Override
public int compareTo(Station station) {
int lineComparison = numberLine.compareToIgnoreCase(station.getNumberLine());
if(lineComparison != 0) {
return lineComparison;
}
return name.compareToIgnoreCase(station.getName());
}
@Override
public boolean equals(Object obj) {
return compareTo((Station) obj) == 0;
}
}
Класс DataCollector
import core.Station;
import org.apache.commons.csv.CSVParser;
import org.json.simple.JSONArray;
import org.json.simple.JSONObject;
import org.json.simple.parser.JSONParser;
import org.json.simple.parser.ParseException;
import java.io.BufferedReader;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileReader;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
public class DataCollector {
@Override
public String toString() {
return "DataCollector{" +
"listStations=" + listStations +
'}';
}
Map<String,Station> listStations = new HashMap<>();
String DATA_FILE = "";
public Map<String, Station> getListStations() {
return listStations;
}
public Map<String, Station> fileReader(String path) throws ParseException, FileNotFoundException {
File doc = new File(path);
if (doc.isFile()) {
DATA_FILE = doc.getAbsolutePath();
if (doc.getName().endsWith(".json")) {
getDatesFromJson(doc); //!!!!
}
if (doc.getName().endsWith(".csv")) {
getDatesFromCsv(doc);
}
}
else {
File[] files = doc.listFiles();
for (File file : files) {
fileReader(file.getAbsolutePath()); //!!!!!!
}
}
return listStations;
}
private void getDatesFromJson(File doc) throws ParseException {
JSONParser parser = new JSONParser();
JSONArray jsonData = (JSONArray) parser.parse(getJsonFile());
for (Object it : jsonData) {
JSONObject stationJsonObject = (JSONObject) it;
String stationName = (String) stationJsonObject.get("station_name");
if (!listStations.containsKey(stationName)) {
listStations.put(stationName, new Station(stationName));
}
if (doc.getName().startsWith("dates")) {
String date = (String) stationJsonObject.get("dates");
listStations.get(stationName).setDate(date);
} else if (doc.getName().startsWith("depths")) {
String depth = (String) stationJsonObject.get("depth_meters");
listStations.get(stationName).setDepth(depth); // !!!вот здесь выдаёт ошибку
}
}
}
private void getDatesFromCsv(File doc) throws FileNotFoundException {
String filePath = doc.getAbsolutePath();
BufferedReader reader = new BufferedReader(new FileReader(filePath)); //filePath
try {
String splitBy = ",";
String line = "";
while ((line = reader.readLine()) != null) {
String[] lines = line.split(splitBy);
for (int i = 0; i < lines.length; i++) {
if (i % 2 == 0) {
String stationName = lines[i];
if (!listStations.containsKey(stationName)) {
listStations.put(stationName, new Station(stationName));
}
if (doc.getName().startsWith("dates")) {
listStations.get(stationName).setDate(lines[++i]);
} else if (doc.getName().startsWith("depth")) {
listStations.get(stationName).setDepth(lines[++i]);
}
}
}
}
} catch (Exception e) {
e.printStackTrace();
}
}
private String getJsonFile() {
StringBuilder builder = new StringBuilder();
try {
List<String> lines = Files.readAllLines(Paths.get(DATA_FILE));
lines.forEach(line -> builder.append(line));
} catch (Exception ex) {
ex.printStackTrace();
}
return builder.toString();
}
}
При запуске Debug все файлы читаются и данные благополучно сохраняются в listStations. А при запуске main выбрасывает вот что:
Exception in thread "main" java.lang.ClassCastException: class java.lang.Long cannot be cast to class java.lang.String (java.lang.Long and java.lang.String are in module java.base of loader 'bootstrap')
at DataCollector.getDatesFromJson(DataCollector.java:69)
at DataCollector.fileReader(DataCollector.java:39)
at DataCollector.fileReader(DataCollector.java:49)
at Main.main(Main.java:31)
В методе getDatesFromJson отметила строку с этим исключением и строки, где этом метод вызывается. Что не так??
Вот ссылка на github https://github.com/AnBogdanova/FilesAndNetworks/tree/master/FilesAndNetwork/Data__Collector