Jumat, 20 November 2026
14:15 WIB
TERKINI
Bandar Lampung Jaksa Ungkap Dana Tantiem Mengalir ke Politisi di Kasus Korupsi Migas Lampung Pringsewu Anggota DPRD Pringsewu Pantau Ketat Perbaikan Jalan Raden Intan Wonodadi Pesawaran Pesawaran Prioritaskan Kesehatan Atlet di Porprov X Lampung 2026 dengan Tim Medis Khusus Tanggamus Polres Tanggamus Ungkap Pembobolan Rumah Rp45 Juta, Satu Pelaku Ditangkap di Wonosobo Nasional Era Baru Pemberantasan Korupsi: RUU Perampasan Aset Resmi Jadi Undang-Undang Lampung Timur Pendekatan Humanis Operasi Zebra Krakatau: Pelajar Lampung Timur Dididik Lewat Lagu Kebangsaan Bandar Lampung Bendungan Batutegi Kritis, BBWS Mesuji Sekampung Gelar Modifikasi Cuaca Jelang Musim Tanam Nasional Bareskrim Geledah Rumah Irjen Eko Terkait Dugaan Makar Eks Kapolri Listyo Sigit Ekonomi Dan Bisnis Harga Emas Antam 18 November 2026: Turun Tipis, Ini Rincian Lengkapnya Advertorial Layanan Publik Makin Dekat: Natar Kini Miliki Samsat Drive Thru dan MPP Mini Bandar Lampung Jaksa Ungkap Dana Tantiem Mengalir ke Politisi di Kasus Korupsi Migas Lampung Pringsewu Anggota DPRD Pringsewu Pantau Ketat Perbaikan Jalan Raden Intan Wonodadi Pesawaran Pesawaran Prioritaskan Kesehatan Atlet di Porprov X Lampung 2026 dengan Tim Medis Khusus Tanggamus Polres Tanggamus Ungkap Pembobolan Rumah Rp45 Juta, Satu Pelaku Ditangkap di Wonosobo Nasional Era Baru Pemberantasan Korupsi: RUU Perampasan Aset Resmi Jadi Undang-Undang Lampung Timur Pendekatan Humanis Operasi Zebra Krakatau: Pelajar Lampung Timur Dididik Lewat Lagu Kebangsaan Bandar Lampung Bendungan Batutegi Kritis, BBWS Mesuji Sekampung Gelar Modifikasi Cuaca Jelang Musim Tanam Nasional Bareskrim Geledah Rumah Irjen Eko Terkait Dugaan Makar Eks Kapolri Listyo Sigit Ekonomi Dan Bisnis Harga Emas Antam 18 November 2026: Turun Tipis, Ini Rincian Lengkapnya Advertorial Layanan Publik Makin Dekat: Natar Kini Miliki Samsat Drive Thru dan MPP Mini

Tokenisasi

Bagikan:

Tokenisasi adalah proses untuk membagi teks yang dapat berupa kalimat, paragraf atau dokumen, menjadi token-token/bagian-bagian tertentu.[1][2] Sebagai contoh, tokenisasi dari kalimat "Aku baru saja makan bakso pedas" menghasilkan enam token, yakni: "Aku", "baru", "saja", "makan", "bakso", "pedas". Biasanya, yang menjadi acuan pemisah antar token adalah spasi dan tanda baca.[3]

Tokenisasi sering kali dipakai dalam linguistik dan hasil tokenisasi berguna untuk analisis teks lebih lanjut. Contoh program tokenisasi yang dapat diakses dan digunakan secara daring adalah MorphAdorner dan NLTK Tokenizer.[4][5]

Rujukan

  1. ↑ "Tokenization". nlp.stanford.edu. Diakses tanggal 2021-03-27.
  2. ↑ "Sentiment Symposium Tutorial: Tokenizing". sentiment.christopherpotts.net. Diakses tanggal 2021-03-27.
  3. ↑ Ratnasari, C. I., Kusumadewi, S., & Rosita, L. (2014). Model natural language processing untuk perumusan keluhan pasien. Seminar Nasional Informatika Medis (SNIMed) V (pp. 11-18) hlm. 14
  4. ↑ "Python NLTK Word Tokenization Demo for Tokenizing Text". text-processing.com. Diakses tanggal 2021-03-27.
  5. ↑ Burns, Philip R. (2013-08-01). "MorphAdorner Word Tokenizer Example". morphadorner.northwestern.edu. Diakses tanggal 2021-03-27.


Ikon rintisan

Artikel bertopik linguistik ini adalah sebuah rintisan. Anda dapat membantu Wikipedia dengan mengembangkannya.

Konten disalin dari Wikipedia Bahasa Indonesia (lisensi CC BY-SA) Lihat versi asli di Wikipedia

Rekomendasi Pilihan