components/parser/features/README.md

# Features Module

> ВАЖНО!!! README.md сгенерировано автоматически, поэтому может содержать неточности.

Модуль для создания структурированного датасета из обработанных документов. Включает в себя функциональность для парсинга иерархической структуры документов, создания датасета и его векторизации.

## Основные компоненты

### HierarchyParser

Класс для извлечения иерархической структуры из текста документа. Позволяет:
- Парсить текстовый контент с учетом уровней вложенности
- Парсить табличный контент
- Создавать иерархическое представление документа

### DatasetCreator

Класс для создания структурированного датасета из обработанных документов. Функциональность:
- Обработка иерархической структуры текста и таблиц
- Создание унифицированного представления данных
- Интеграция с векторизатором для создания эмбеддингов

### DocumentsDataset

Класс для хранения и управления данными датасета. Возможности:
- Хранение структурированных данных документов
- Векторизация текстов с помощью предоставленного векторизатора
- Экспорт данных в pandas DataFrame
- Сохранение датасета в pickle формате

## Структура данных

Каждая строка датасета (`DatasetRow`) содержит следующие поля:
- Index: уникальный идентификатор строки
- Text: текстовое содержание
- DocName: имя документа
- Title: заголовок документа
- DocNumber: номер документа
- LevelParagraph: уровень параграфа
- Pargaraph: номер параграфа
- Duplicate: метка дубликата
- PartLevel1, PartLevel2: уровни частей
- Appendix: информация о приложении
- Table: информация о таблице

## Использование

```python
from components.embedding_extraction import EmbeddingExtractor
from components.parser.features import DatasetCreator, DocumentsDataset

# Инициализация создателя датасета
vectorizer = EmbeddingExtractor()
creator = DatasetCreator(vectorizer)

# Создание датасета
dataset = creator.create_dataset(parsed_xmls, hierarchies)

# Векторизация текстов
dataset.vectorize_with(vectorizer)

# Экспорт в pandas DataFrame
df = dataset.to_pandas()
```

## Зависимости

- numpy
- pandas
- компоненты для векторизации текста (EmbeddingExtractor)