Categories
Berita PDSI

Data Science / Big Data UNISA Yogyakarta Tahap II

Dalam rangka pengembangan Data Science / Big Data, maka Universitas ‘Aisyiyah (UNISA) Yogyakarta membentuk Tim Task Force Pengembangan Data Science Universitas ‘Aisyiyah Yogyakarta pada tanggal 27 Desember 2021. Alhamdulillah-nya, BPTSI telah melaksanakan pelatihan pada https://pdsi.unisayogya.ac.id/administrasi-big-data-studi-kasus-hadoop/, https://pdsi.unisayogya.ac.id/flume-sqoop-dan-kafka-mengumpulkan-dan-memasukkan-big-data/ dan https://pdsi.unisayogya.ac.id/pig-hive-dan-hbase-mengolah-big-data/.

Daftar Isi

Data Science / Big Data UNISA Yogyakarta Tahap II

Data Science / Big Data Tahap II berfokus pada pengumpulan data melalui API dengan token yang dapat ditentukan targetnya oleh analis kemudian engineer membantu menfasilitasi ke dalam pengaturan.

— Data Science / Big Data UNISA Yogyakarta Tahap II
https://pdsi.unisayogya.ac.id/data-science-big-data-unisa-yogyakarta-tahap-ii/ 2022-03-25 12:55:44
Sketsa (Mind Map) Big Data Tahap II

Pengambilan data dimulai dari definisi data yang diberikan oleh analis. Engineer akan memasukkan alamat API dan pengaturannya ke dalam pengaturan. Dimungkinkan Engineer akan membuat API, terutama untuk mendapatkan data dari log dan sistem informasi.

Mesin akan mencoba login ke target menggunakan token dan mengambil data-data apabila berhasil melakukan login. Data dalam bentuk json akan disimpan as is (apa adanya).

Setiap target diatur setiap berapa hari akan dilakukan pengambilan data ulang setiap interval waktu tertentu tanpa batasan berapa kali. Data yang diambil adalah rentang dari tanggal terakhir visit sampai tanggal eksekusi visit.

Tahap II adalah pengambilan data text based untuk platform tertutup (dapat diakses publik dengan token/login). Tahap I klik di sini.

Programmer hanya membuat mesin untuk pengambilan data tanpa pengaturan yang terintegrasi dengan coding. Pengaturan ada di tabel terpisah yang dibaca oleh mesin. Tidak perlu ‘membongkar’ coding hanya demi menambah target.

Demikian, semoga bermanfaat. [bst]

By basit

Biro Pengembangan Teknologi Dan Sistem Informasi

One reply on “Data Science / Big Data UNISA Yogyakarta Tahap II”

Leave a Reply

Your email address will not be published.

This site uses Akismet to reduce spam. Learn how your comment data is processed.