Please enable JavaScript.

Coggle requires JavaScript to display documents.

src/project/spades/pipeline.cpp AddConstructionStage, KMerDiskStorage,…

- - - - CompositeStageBase
        src/common/pipeline/stage.hpp
        Наследуется от AssemblyStage
        
        Есть подкласс PhaseBase
        Наследуется от AssemblyStage
        Можно add PhaseBase
        Или можно add просто по набору аргументов, тогда будет создана фаза, с этими аргументами.
        
        При run вызывается init,
        Потом run у всех подфаз
        В конце finit
      - Есть свой подкласс Phase наследуется от PhaseBase, разница видимо в том, что parent определенного типа.
      - Виртаульные методы, которые дают Storage
  - - - src/common/utils/extension_index/kmer_extension_index_builder.hpp
        BuildExtensionIndexFromKPOMers
        Создаются splitters и counters
        BuildIndex -- строится какой-то индекс
        FillExtensionFromIndex
        
        BuildIndex
        src/common/utils/ph_map/perfect_hash_map_builder.hpp
        KeyIteratingIndexBuilder().BuildIndex(index, counter, bucket_num, thread_num)
        phmbuilder.BuildIndex(...)
        index.kmers_ = res.final_kmers()
    - - CoverageHashMapBuilder().BuildeIndex
        src/common/utils/ph_map/coverage_hash_map_builder.hpp
        PerfectHashMapBuilder::BuildIndex(..)
        FillCoverageFromStream -- по пстроенному индексу
        
        PerfectHashMapBuilder.BuildIndex()
        src/common/utils/ph_map/perfect_hash_map_builder.hpp
        KmerIndexBuilder.BuildIndex(...)
        
        KmerIndexBuilder
        /src/common/utils/kmer_mph/kmer_index_builder.hpp
        counter.Count() подсчитваем количество уникальных камеров
        BuildIndex
        сливаем всё в kmerStorage
        
        KmerIndexBuilder
        /src/common/utils/kmer_mph/kmer_index_builder.hpp
        BuildIndex(index, kmerStorage)
        Теперь непосредственно сам алгоритм в boomphf
        В зависимости от политики, либо строим параллельно по разным бакитам
        Или в одном баките и параллелим на другом уровне.
        Делается index.index_[i].build oт bucketа
        Index, который в данном случае используется: PerfectHashMap<...>::KMerIndexT
        
        PerfectHashMap<...>::KMerIndexT --> IndexWrapper<...>::KMerIndexT --> kmers::KMerIndex<traits>
        src/common/utils/ph_map/perfect_hash_map.hpp
        
        KmerIndex
        src/common/utils/kmer_mph/kmer_index.hpp
        index_ std::vector<KmerDataIndex>
        
        1 more item...
        
        FillCoverageFromStream
        src/common/utils/ph_map/coverage_hash_map_builder.hpp
    - - EdgeIndex это??
      - storage.ext_index??
      - DeBruijnGraphExtentionConstructor<>()
        src/common/assembly_graph/construction/debruijn_graph_constructor.hpp
        extindex помещается в origin
      - ConstructGraph
        src/common/assembly_graph/construction/debruijn_graph_constructor.hpp
        edge_sequence
        Если keep_perfect_loop то добыть UnbranchingPathsAndLoops
        Иначе просто UnbranchingPaths -- Здесь мы просто получаем в итоге последовательности для каждого из рёбер без дублей
        
        FastGraphFromSequnceConstructor<Graph>(kmersize, origin).ConstructGraph(graph_, edge_sequnce)
        
        UnbranchingPathExtractor
        src/common/assembly_graph/construction/debruijn_graph_constructor.hpp
        origin_.kmer_begin(nchunk) -- получаем nchunk итераторов на самое-самое начало.
        Мы создаем sequnces по количеству nchunk
        CalculateSequnces для каждого из итераторов
        snum -- суммарное количество последовательностей
        Засовываем это все в один вектор с sequence
        
        CalculateSequnces
        src/common/assembly_graph/construction/debruijn_graph_constructor.hpp
        SequnceBuilder
        std::vector<DeEdge> start_edges
        Итерируемся по итератору, каждый итератор в результате порадит одну последовательность, которую мы добавим.
        KeyWithHash = origin_.ConstructKWH(Kmer(kmer_size, *it)) -- видимо по камеру строим хэш??
        AddStartDeEdge(kh, start_edges) -- добавляем последовательность ребер
        итеррируемся по добавленым ребрам.
        ConstructSequneceWithEdge(edge, builder)...
        И если эта последовательность меньше реверс комплементарной, то её добавляем.
        АААА, видимо мы рассматриваем эту вершину, потом рассматриваем все ребра, которые начинаются с этого камера и это всё счастье добавляем в массив последовательностей.
        
        FastGraphFromSequnceConstruction(...).ConstructGraph(graph_, edge_sequnce)
        src/common/assembly_graph/construction/debruijn_graph_constructor.hpp
        Создается std::vector<LinkRecord> records -- что такое LinkRecord??
        CollectLinkRecord
        Сортируем records -- сортируем по хэшу с маской, если хэш равен, то по EdgeID
        Оставляем только уникальные records. id уникальных records сохраняем в vertex_pos
        Резервируем места под чуть больше чем 2*на количество уникальных рекордов места под вершинки.
        Теперь для каждого уникального такого record
        VertexId -- создаем вершину каким-то магическим способом
        Пробегаемся по всем records с таким же хэшом и для них LinkEdge
        
        LinkRecord
        src/common/assembly_graph/construction/debruijn_graph_constructor.hpp
        hash_and_mask
        EdgeId
        Видимо для каждого ребра хранит его хэш и информацию это реверс комплементарная штука или нет и является ли эта штука началом.
        
        CollectLinkRecord
        src/common/assembly_graph/construction/debruijn_graph_constructor.hpp
        Перебираем все возможные последовательности в нашем множестве. Потом домножаем id*2 и добавляем такое ребрно с заданной последовательностью.
        record[j] = StartLink(edge, sequence[i])
        Если реверскомплементарное не такой же, до тогда в рекорд добавляем ещё одну такую же, но только EndLink
        Иначе просто пуской LinkRecord. А как мы пустые LinkRecord Если LinkRecord пустой, то кладем -1
        
        StartLink
        src/common/assembly_graph/construction/debruijn_graph_constructor.hpp
        Берем первый kmer.
        Если он меньше, чем RC, то добавляем Record с хэшом от этого камера и пометкой, что он старт и не RC
        Иначе добавляем RC и с пометкой что это старт и RC
        Добавялем хэш от этого самого камера.
        
        EndLink
        src/common/assembly_graph/construction/debruijn_graph_constructor.hpp
        Тоже самое, что и StartLink, только берем камер с конца.
        
        Graph::HelperT helper = graph.GetConstructionHelper
        src/common/assembly_graph/core/construction_helper.hpp
        
        LinkEdge
        src/common/assembly_graph/construction/debruijn_graph_constructor.hp
        В зависимости от параметров переворачиваем и вызваем функцию в graph.GetConstructionHelper соответсвующую.
      - Graph -> ConjugateDeBruijnGraph -> DeBruijnGraph
        src/common/assembly_graph/core/graph.hpp
        
        DeBruijnGraph
        src/common/assembly_graph/core/graph.hpp
        
        ObservableGraph
        src/common/assembly_graph/core/observable_graph.hpp
        typedef ConstructionHelper<DataMaster> HelperT
        GetConstructionHelper() {
        return HelperT(*this)
        }
        
        GraphCore
        src/common/assembly_graph/core/graph_core.hpp
        private class ConstructionHelper<DataMaster>
- - - - Ему нужно partask::create_empty_stream_list
        Что такое create_empty_stream_list -- я не знаю, нужно идти искать и разбираться, возможно, перетаскивать.
- - - - Добавился parallel_sort для ребер.
        Требуется использовать Sequence::RawCompare -- что это такое не определено.
        Так, а зачем собственно эта сортирвка нужна??
        
        Sequnce
        src/common/sequence/sequence.hpp
        Добавила Static функцию RawCompare... Хотя в этом файле куча всего появилось... Какие-то сложные интерфейсы. Но на них пока забить.
      - src/common/assembly_graph/construction/debruijn_graph_constructor.hpp
        FastGraphFromSequnceConstruction(...).ConstructGraph(graph_, edge_sequnce)
        
        Разбираем разницу версии в мастере и в mpi_3.14
        Видмо функции таки индентичны, просто два раза независимо были исправлены....
        Сама эта функция :check: :!:
        В helper ничего нового не добавлялось по сравнению с master
        
        Сортировка в mpi_3.14 с помощью компоратора GetHash, EdgeAndMask... Зачем??
        Здесь мы сравниваем hash_and_mash и если равны, то сравниваем edge. Если с помощью компортатора.
        
        У mpi_3.14 очень странно, что мы сортируем как-то по-другому, берем unique, который будет точно таким же, а потом ещё раз сортируем.
        
        src/common/assembly_graph/construction/debruijn_graph_constructor.hp
        LinkEdge :check:
        
        helper.LinkOutgoingEdge(v1, edge)
        :check:
        
        CollectionLinkRecords(....)
        src/common/assembly_graph/construction/debruijn_graph_constructor.hpp
        :check:
      - UnbranchedPathExtractor
        Уже имеет friend UnbranchedPathExtractor friend!!! Это хорошо, значит вот этот кусочек MPI...
        
        А вот теперь нужен ExtractUnbrancedPath от итератора
    - - class utils::DeBruijnExtentionIndex<> raw_data нужен...
        src/common/utils/extension_index/kmer_extension_index.hpp
        :check:
        
        Нужен ValueArray
        src/common/utils/ph_map/values.hpp
        Нужно и сюда добавить всякие raw_data
        Хныыыккк, а этого файлика-то уже нету....
        Раньше PerfectHashMap наследовался от ValueArray, а теперь data_ храниться просто в контейнере в PHM
      - Sequence
        src/common/sequence/sequence.hpp
        Не хватает RawCompare :check:
      - io::binary::GraphIO нет
      - Нет
        GraphPach.g
        /src/common/pipeline/graph_pack.hpp
        Нужно заменить на
        gp.get<Graph>() :check:
- - - - RemoveInconsistentForwardLink
      - src/common/assembler_graph/construction/early_simplification.hpp
        RemoveForward
        Перебираем все нуклеотиды. Проверяем что есть вот такое выходящее ребро. Потом делаем какой-то FindForward, запоминаем длину типа и находим самый длинный тип и зачем-то запускаем RemoveTips
        TipsArray состоит всего из 4 ячеек.
        
        FindForward
        Идём вперед по индексу пока можем. Если тип очень длинный или ветвящийся, то всё сбрасываем.
        
        RemoveTips
        Удаляем все типы, кроме максимального. То есть если тип уже сам по себе большой или ветвяшийся, то его не трогаем.
        
        RemoveTip
        IsolateVertex все по очереди.
- - - - PerfectHashMapBuilder().BuildIndex
        
        /src/common/utils/kmer_mph/kmer_index_builder.hpp
        KMerIndexBuilder<> builder.BuildIndexMPI
        BuildKmerIndexTask :check:
      - KeyStoringIndexBuilder().BuildIndex
      - KeyIteratingIndexBuilder().BuildIndex