MS Excel может отображать 1 048 576 строк. Хотя при обычном использовании это число может показаться очень большим, существует множество сценариев, в которых этого недостаточно.
Просматриваете ли вы файлы журналов или большие наборы данных, легко найти файлы CSV с миллионами строк или огромные текстовые файлы. Поскольку Эксель не может поддерживать файлы такого размера, как именно их открыть? Давайте выясним.
Почему обычные текстовые редакторы не могут открывать действительно большие файлы?
Компьютер имеет гигабайты памяти, так почему же текстовые редакторы не могут открывать большие файлы?
Здесь действуют два фактора. Некоторые приложения имеют жестко запрограммированное ограничение на объем данных, которые они могут отображать. Неважно, сколько памяти у вашего компьютера, они просто не будут ее использовать.
Вторая проблема — оперативная память. Многие текстовые редакторы не имеют жесткого ограничения на количество строк, но не могут отображать большие файлы из-за ограничений памяти. Они загружают весь файл в оперативную память системы, поэтому, если этой памяти недостаточно, процесс завершается неудачей.
Метод №1: использование бесплатных редакторов
Лучший способ просмотреть очень большие текстовые файлы — использовать… текстовый редактор. Не просто текстовый редактор, а инструменты, предназначенные для написания кода. Такие приложения обычно без проблем справляются с большими файлами и бесплатны.
Просмотрщик больших текстовых файлов — вероятно, самое простое из этих приложений. Он действительно прост в использовании, работает быстро и требует очень мало ресурсов. Единственный недостаток? Он не может редактировать файлы. Но если вы хотите просматривать только большие файлы CSV, это лучший инструмент для этой работы.
Для редактирования больших текстовых файлов также следует попробовать Эмакс. Первоначально созданный для систем Unix, он отлично работает и в Windows и может обрабатывать большие файлы. Аналогичным образом, Неовим и Возвышенный текст — это две облегченные IDE, которые можно использовать для открытия текстовых файлов CSV размером в гигабайт.
Если все, что вам нужно, — это поиск данных в больших файлах журналов, то Клогг — это именно то, что вам нужно. Это приложение, являющееся обновленной версией популярного приложения глогг, позволяет с легкостью выполнять сложные операции поиска в огромных текстовых файлах. Поскольку файлы журналов, создаваемые компьютером, часто могут содержать миллионы строк, klogg без проблем работает с файлами такого размера..
Метод №2: разделение на несколько частей
Вся проблема с попыткой открытия больших файлов CSV заключается в том, что они слишком велики. Но что, если разделить их на несколько файлов меньшего размера?
Это популярное решение, поскольку оно обычно не требует изучения интерфейса нового текстового редактора. Вместо этого вы можете использовать один из многих разделителей CSV, доступных в Интернете, чтобы разбить большой файл на несколько файлов, которые легко открыть. После этого к каждому из этих файлов можно будет получить доступ в обычном режиме.
Однако это не лучший способ сделать это. Разделение большого файла часто может привести к странным опечаткам или неправильной настройке файлов. Более того, если открыть каждый фрагмент отдельно, вы не сможете фильтровать все данные сразу.
Метод №3: импорт в базу данных
Текстовые файлы и файлы .csv размером в несколько гигабайт обычно представляют собой большие наборы данных. Так почему бы просто не импортировать их в базу данных?
SQL — наиболее распространенный язык разметки баз данных, используемый в настоящее время. Используются множество версий SQL, но самым простым, вероятно, является MySQL. И как назло, можно преобразовать файл CSV в таблицу MySQL.
Это ни в коем случае не самый простой способ работы с большими файлами CSV, поэтому мы рекомендуем его только в том случае, если вы хотите регулярно работать с большими наборами данных. Если MySQL звучит слишком сложно, вы всегда можете вместо этого импортировать файлы .csv в MS Доступ.
Метод №4: анализ с помощью библиотек Python
Когда вы работаете с файлом .csv с миллионами строк данных, вы, очевидно, не сможете разобраться в нем вручную. Вероятно, вы захотите отфильтровать данные и выполнить определенные запросы, чтобы понять тенденции.
Так почему бы написать код Python не сделать именно это?
Опять же, это не самый удобный метод. Хотя Python — не самый сложный язык программирования для изучения это кодирование, возможно, это не лучший подход для вас. Тем не менее, если вам приходится ежедневно анализировать очень большие файлы CSV, возможно, вам захочется автоматизировать задачу с помощью кода Python.
Метод №5: с помощью премиум-инструментов
Текстовые редакторы, которые мы видели в первом методе, не были специальными инструментами, предназначенными для обработки CSV. Это были инструменты общего назначения, которые можно было использовать и для работы с большими файлами .csv.
А как насчет специализированных приложений? Неужели нет приложений, созданных для решения этой проблемы?.
На самом деле есть. Например, CSV-проводник основан на том же процессе, который мы описали в двух последних методах (база данных SQL и код Python), для создания приложения, способного просматривать и редактировать файлы CSV любого размера. Вы можете делать все, что ожидаете от инструмента работы с электронными таблицами, например создавать графики или фильтровать данные в CSV Explorer.
Другой вариант — УльтраПравить. В отличие от предыдущего инструмента, он предназначен не только для файлов .csv, но и для текстовых файлов любого типа. Он может легко обрабатывать текстовые файлы и файлы CSV размером до нескольких гигабайт, а его интерфейс аналогичен многим бесплатным редакторам, которые мы обсуждали ранее.
Единственным недостатком этих инструментов является то, что это приложения премиум-класса, и для их использования требуется платная лицензия. Вы всегда можете опробовать их бесплатные пробные версии, чтобы проверить их возможности или использовать их только один раз.
Как лучше всего открывать большие текстовые файлы и файлы CSV?
В век больших данных нередко встречаются текстовые файлы размером в гигабайты, которые сложно просмотреть даже с помощью встроенных инструментов, таких как Блокнот или MS Excel. Чтобы открыть такие большие файлы CSV, вам необходимо загрузить и использовать стороннее приложение.
Если все, что вам нужно, это просматривать такие файлы, то программа просмотра больших текстовых файлов — лучший выбор для вас. Для их редактирования вы можете попробовать многофункциональный текстовый редактор, например Emacs, или воспользоваться инструментом премиум-класса, например CSV Explorer.
Такие методы, как разделение CSV-файла или его импорт в базу данных, требуют слишком много шагов. Если вам приходится много работать с огромными текстовыми файлами, лучше приобрести платную лицензию на специальный инструмент премиум-класса.
.